java利用json规则抓取网页内容源码（爬虫）

package util; import java.io.IOException; import java.io.InputStream; import java.util.ArrayList; import java.util.HashMap; import java.util.Iterator; import java.util.List; import java.util.Map; import org.json.JSONException; import org.json.JSONObject; import org.jsoup.Jsoup; import org.jsoup.nodes.Document; import org.jsoup.nodes.Element; import org.jsoup.select.Elements; /** * 说明：规则抓取2.0版本 * 用途：根据json规则 抓取指定网页的内容 * @author 旋律 * 2017 8 24 */ public class JsonJsoupUtil2 { /** * 说明：json子节点中带有json 的解析方法 * @author 旋律 * 2017 8 18 */ public List<List> toJsonIter(JSONObject jsonContent){ List<List> listAll = new ArrayList<List>(); Iterator iter = jsonContent.keys(); while(iter.hasNext()){ List list= new ArrayList(); // 获得key String key = (String) iter.next(); // 根据key获得value, value也可以是JSONObject,JSONArray,使用对应的参数接收即可 try { JSONObject valueJson = jsonContent.getJSONObject(key); list.add(key); list.add(valueJson); listAll.add(list); } catch (JSONException e) { e.printStackTrace(); return null; } } return listAll; } /** * 说明：json子节点中不带有json 的解析方法 * @author 旋律 * 2017 8 18 */ public List<List> toJsonStringIter(JSONObject jsonContent){ List<List> listAll = new ArrayList<List>(); Iterator iter = jsonContent.keys(); while(iter.hasNext()){ List list= new ArrayList(); // 获得key String key = (String) iter.next(); // 根据key获得value, value也可以是JSONObject,JSONArray,使用对应的参数接收即可 try { String valueJson = (String) jsonContent.get(key); list.add(key); list.add(valueJson); listAll.add(list); } catch (JSONException e) { e.printStackTrace(); return null; } } return listAll; } /** * 说明：根据json解析html的main方法 * 参数1：url(支持直接传入html标签的字符串) 参数2：json规则的路径 * @author 旋律 * 2017 8 18 */ public List<Map<String,String>> getHTMLListMap(String urlJsoup,String jsonName){ List<Map<String,String>> listMap =new ArrayList<Map<String,String>>(); try{ Document document = null; //判断是url还是html标签 if(urlJsoup.substring(0,4).indexOf("http")!=-1){ document = Jsoup.connect(urlJsoup).get(); }else{ document = Jsoup.parse(urlJsoup); } String json = getJson(jsonName); JSONObject jsonYuan = new JSONObject(json); String htmlContent = (String) jsonYuan.get("HtmlContent"); //获得属性内容HtmlContent String strArr[] = getKey(htmlContent,"="); Object ojcet= getObject(document,strArr); if(null == ojcet){ //为空直接返回 return null; }else if(ojcet instanceof String){ //如果返回的是String则代表直接return Map<String,String> map = new HashMap<String,String>(); map.put("HtmlContent", (String)ojcet); }else if(ojcet instanceof Elements){ Element oelem = ((Elements) ojcet).get(0); JSONObject itmJson = jsonYuan.getJSONObject("itm");//获得详细规则json String itmKey = (String) itmJson.get("key");//解析键 String itmStrArr[] = getKey(itmKey,"="); Object itmOjcet= getObject(oelem,itmStrArr); if(itmOjcet instanceof Elements){ JSONObject jsonContent = itmJson.getJSONObject("content");//解析内容json List<List> listAll = toJsonIter(jsonContent); Elements els = (Elements) itmOjcet;//等待解析内容集合 for(int i =0;i<els.size();i++){ Map<String,String> map = new HashMap<String,String>(); Element el = els.get(i); if(null != listAll&& listAll.size()>0){ for (List li : listAll) {//只有下标0和1 //li.get(0);//map 的 key JSONObject listValJson = (JSONObject) li.get(1); String id = (String) listValJson.get("id"); String itmIdArr[] = getKey(id,"="); Object itmIdOjcet= getObject(el,itmIdArr); Object elId =null; if(itmIdOjcet instanceof Elements){ if(itmIdOjcet==null || ((Elements) itmIdOjcet).size()<=0){ map=null; break; } elId = ((Elements) itmIdOjcet).get(0); }else if(itmIdOjcet instanceof Element){ elId = (Element) itmIdOjcet; }else { map=null; break; } List<List> listValAll = toJsonStringIter(listValJson); if(null != listValAll&& listValAll.size()>0){ for(List lival : listValAll){ String keyA = (String) lival.get(0); if(!"id".equals(keyA)){ String iterNoIdStrArr[] = getKey((String)lival.get(1),"="); elId = getObject(elId,iterNoIdStrArr); } } if(elId instanceof String){ if(null !=elId &&!"".equals(((String) elId).trim())){ map.put((String)li.get(0),(String)elId); } } } } if(map!=null&&map.size()>0){ listMap.add(map); } } } }else if(itmOjcet instanceof Element){ JSONObject jsonContent = itmJson.getJSONObject("content");//解析内容json List<List> listAll = toJsonIter(jsonContent); Element el = (Element) itmOjcet;//等待解析内容集合 Map<String,String> map = new HashMap<String,String>(); if(null != listAll&& listAll.size()>0){ for (List li : listAll) {//只有下标0和1 //li.get(0);//map 的 key JSONObject listValJson = (JSONObject) li.get(1); String id = (String) listValJson.get("id"); String itmIdArr[] = getKey(id,"="); Object itmIdOjcet= getObject(el,itmIdArr); Object elId =null; if(itmIdOjcet instanceof Elements){ if(itmIdOjcet==null || ((Elements) itmIdOjcet).size()<=0){ map=null; break; } elId = ((Elements) itmIdOjcet).get(0); }else if(itmIdOjcet instanceof Element){ elId = (Element) itmIdOjcet; }else { map=null; break; } List<List> listValAll = toJsonStringIter(listValJson); if(null != listValAll&& listValAll.size()>0){ for(List lival : listValAll){ String keyA = (String) lival.get(0); if(!"id".equals(keyA)){ String iterNoIdStrArr[] = getKey((String)lival.get(1),"="); elId = getObject(elId,iterNoIdStrArr); } } if(elId instanceof String){ if(null !=elId &&!"".equals(((String) elId).trim())){ map.put((String)li.get(0),(String)elId); } } } } if(map!=null&&map.size()>0){ listMap.add(map); } } } return listMap; }else if(ojcet instanceof Element){ //开始在此区域进行下一步解析 //开始在此区域进行下一步解析 JSONObject itmJson = jsonYuan.getJSONObject("itm");//获得详细规则json String itmKey = (String) itmJson.get("key");//解析键 String itmStrArr[] = getKey(itmKey,"="); Object itmOjcet= getObject(ojcet,itmStrArr); if(itmOjcet instanceof Elements){ JSONObject jsonContent = itmJson.getJSONObject("content");//解析内容json List<List> listAll = toJsonIter(jsonContent); Elements els = (Elements) itmOjcet;//等待解析内容集合 for(int i =0;i<els.size();i++){ Map<String,String> map = new HashMap<String,String>(); Element el = els.get(i); if(null != listAll&& listAll.size()>0){ for (List li : listAll) {//只有下标0和1 //li.get(0);//map 的 key JSONObject listValJson = (JSONObject) li.get(1); String id = (String) listValJson.get("id"); String itmIdArr[]