jsoup示例-爬取广西师大首页信息

package com.tan.code; import java.io.IOException; import java.util.ArrayList; import java.util.List; import org.jsoup.Jsoup; import org.jsoup.nodes.Document; import org.jsoup.nodes.Element; import org.jsoup.select.Elements; import com.tan.code.DeleteHtml.HtmlText; public class SpiderForGxnuInfo extends AbstractSpider { public SpiderForGxnuInfo() { super("http://www.gxnu.edu.cn/", "Guangxi Normal University --- 广西师范大学：尊师重道　敬业乐群"); // TODO Auto-generated constructor stub } @Override public List<NewsModel> getNews() throws IOException { // TODO Auto-generated method stub String content = ""; List<NewsModel> list = new ArrayList<NewsModel>(); Document document = Jsoup.connect(url).timeout(6000).get(); Elements tdelements = document.select("td[align=left]"); for (Element tde : tdelements) { String col_value = tde.attr("colspan"); // 如果colspan的值为5，说明是新闻标签-有點亂，第一次寫不想把代碼提取出來了 if (col_value.equals("5")) { Elements aelements = tde.getElementsByTag("a"); for (Element linkElement : aelements) { NewsModel newsModel = new NewsModel(); String link = linkElement.attr("href"); Document contentDocument = Jsoup.connect(link) .timeout(6000).get(); Element contentElement = contentDocument.select("div.bd") .first(); // 获取标题 Elements tElement = contentElement.getElementsByTag("dt"); // 设置标题 newsModel.setTitle(tElement.text()); Elements pElements = contentElement.getElementsByTag("p"); if (!pElements.isEmpty()) { for (Element pElement : pElements) {// 得到文章的每一段 content += pElement; } } newsModel.setContent(HtmlText.Html2Text(content)); content = ""; list.add(newsModel); } } // 如果colspan的值为6，说明是公告信息 else if (col_value.equals("6")) { Elements aelements = tde.getElementsByTag("a"); for (Element linkElement : aelements) { NewsModel newsModel = new NewsModel(); String link = linkElement.attr("href"); // 获取链接的文本内容 String linktext = linkElement.text().toString(); if (!linktext.contains("[")) { Document contentDocument = Jsoup.connect(link) .timeout(6000).get(); // 获取标题div // Element contentElement = contentDocument.select( // "div[align]").first(); // newsModel.setTitle(contentElement.text()); // 获取内容标签 Element content_div = contentDocument.select( "div#detailContent").first(); //--------------------------------------------------------------淩亂的判斷，算了不提取信息了，遭罪--------------------------------------- // // 遍历p，获取内容[无分类的公告信息的内容是p标签] // Elements pels = content_div.select("p"); // if (!pels.isEmpty()) { // // 第一个p标签为标题标签 // newsModel.setTitle(pels.get(0).text()); // for (Element pel : pels) { // content += pel.text(); // // } // } // 【通知】【校内公示】内容在div标签里面 // -----------------------看到这个师大的html标签，我凌乱了，这个是哪位大神做的---------------------// // else { // // 文档的第一个align属性为center的div标签为标题 // newsModel.setTitle(contentDocument // .select("div[align=center]").first().text() // .toString()); // // // 文档的align属性为left的div标签为内容 // Elements c_divs = contentDocument // .getElementsByAttribute("div[align=left]"); // for (Element c_div : c_divs) { // content += c_div.text(); // } // } //else //------------------------------------------------------------------------------------------------------------------------------- content+=content_div.text(); newsModel.setContent(HtmlText.Html2Text(content)); content = ""; list.add(newsModel); } } } } return list; } }