import java.awt.*;
import java.awt.event.*;
import javax.swing.*;
import java.util.*;
import java.io.*;
import com.heaton.bot.*;
import org.w3c.dom.*;
import org.cyberneko.html.parsers.*;
import org.xml.sax.*;
import org.apache.html.dom.*;
import javax.xml.parsers.*;
import javax.xml.transform.*;
import javax.xml.transform.dom.*;
import javax.xml.transform.stream.*;
/**
* 网络爬虫，通过深度优先算法将互联网上的网页下载解析。经过测试，能正常运行！
*/
public class mySpider extends JFrame implements ISpiderReportable {
/**
* @param args
*/
Spider _Spider = null;
Document doc = null;
int _pagesCount;
public mySpider(){
setTitle("网络爬虫之Spider");
getContentPane().setLayout(null);
setSize(405,268);
setVisible(false);
D.setHorizontalTextPosition(
SwingConstants.LEFT);
D.setVerticalTextPosition(
SwingConstants.TOP);
D.setVerticalAlignment(
SwingConstants.TOP);
D.setText("下载的页面数目： ");
getContentPane().add(D);
D.setBounds(12,12,384,24);
JLabel2.setText("URL:");
getContentPane().add(JLabel2);
JLabel2.setBounds(12,36,36,24);
getContentPane().add(_url);
_url.setBounds(48,36,348,24);
JLabel3.setText("选择存储XML文档的目录：");
getContentPane().add(JLabel3);
JLabel3.setBounds(12,72,384,24);
getContentPane().add(_save);
_save.setBounds(12,96,384,24);
_go.setText("GO!");
getContentPane().add(_go);
_go.setBounds(96,228,216,24);
getContentPane().add(_current);
_current.setBounds(12,204,384,12);
JLabel4.setText("Number of pages:");
getContentPane().add(JLabel4);
JLabel4.setBounds(12,180,120,12);
_pages.setText("0");
getContentPane().add(_pages);
_pages.setBounds(120,180,108,12);
JLabel6.setText("选择Log，当前需要保存的日志:");
getContentPane().add(JLabel6);
JLabel6.setBounds(12,120,384,24);
_logPath.setText("./Spider.log");
getContentPane().add(_logPath);
_logPath.setBounds(12,144,384,24);
_go.setActionCommand("jbutton");
SymAction lSymAction = new SymAction();
_go.addActionListener(lSymAction);
SymWindow aSymWindow = new SymWindow();
this.addWindowListener(aSymWindow);
try{
DOMImplementation domImpl = DocumentBuilderFactory
.newInstance().newDocumentBuilder().getDOMImplementation();
doc = domImpl.createDocument(null,"spider",null);
}catch(ParserConfigurationException e){
e.printStackTrace();
}catch(DOMException e){
e.printStackTrace();
}
}
public void setVisible(boolean b){
if(b)
setLocation(50,50);
super.setVisible(b);
}
public static void main(String[] args) {
// TODO Auto-generated method stub
(new mySpider()).setVisible(true);
}
public void addNotify(){
Dimension size = getSize();
super.addNotify();
if(frameSizeAdjusted)
return;
frameSizeAdjusted = true;
Insets insets = getInsets();
JMenuBar menuBar = getRootPane().getJMenuBar();
int menuBarHeight = 0;
if(menuBar!=null)
menuBarHeight = menuBar.getPreferredSize().height;
setSize(insets.left+
insets.right+
size.width,
insets.top+
insets.bottom+
size.height+menuBarHeight);
}
boolean frameSizeAdjusted = false;
JLabel D = new JLabel();
JLabel JLabel2 = new JLabel();
JTextField _url = new JTextField();
JLabel JLabel3 = new JLabel();
JTextField _save = new JTextField();
JButton _go = new JButton();
JLabel _current = new JLabel();
JLabel JLabel4 = new JLabel();
JLabel _pages = new JLabel();
JLabel JLabel6 = new JLabel();
JTextField _logPath = new JTextField();
class SymAction implements ActionListener{
public void actionPerformed(ActionEvent event){
Object object = event.getSource();
if(object == _go)
Go_actionPerformed(event);
}
}
protected void processFile(HTTP file){
try{
if(_save.getText().length()>0){
int i=file.getURL().lastIndexOf('/');
if(i!=-1){
int iPoint = file.getURL().lastIndexOf('.');
String extendName = file.getURL().substring(iPoint+1);
if(extendName.equals("html") || extendName.equals("htm") || extendName.equals("shtml")){
String fileBody = new String(file.getBody().getBytes("iso-8859-1"),"GBK");
DOMFragmentParser parser = new DOMFragmentParser();
DocumentFragment node =
new HTMLDocumentImpl().createDocumentFragment();
try {
parser.setProperty("http://cyberneko.org/html/properties/default-encoding","GBK");
parser.parse(new InputSource(new ByteArrayInputStream(fileBody.getBytes())), node);
}catch (IOException e) {
e.printStackTrace();
}catch (SAXException e) {
e.printStackTrace();
}
StringBuffer sb = new StringBuffer();
getText(sb, node, "title");
String title = sb.toString();
sb.setLength(0);
getText(sb, node,"body");
String text = sb.toString();
text = text.replaceAll("<","<")
.replaceAll(">",">");
if(title.length()!=0 && text.length()!=0)
addElementNode(doc,title,text,file.getURL());
}
}
}
}catch(Exception e){
Log.logException("Can't save output file: ",e);
}
}
private Element createTitleElement(Document docs,String title){
Element titleElement = docs.createElement("TITLE");
titleElement.setTextContent(title);
return titleElement;
}
private Element createBodyElement(Document docs,String body){
Element bodyElement = docs.createElement("BODY");
bodyElement.setTextContent(body);
return bodyElement;
}
private Element createURLElement(Document docs,String URL){
Element URLElement = docs.createElement("URL");
URLElement.setTextContent(URL);
return URLElement;
}
public void addElementNode(Document docs,String title,String body,String URL){
Element HTMLElement = docs.createElement("HTMLPAPER");
HTMLElement.appendChild(createTitleElement(docs,title));
HTMLElement.appendChild(createBodyElement(docs,body));
HTMLElement.appendChild(createURLElement(docs,URL));
docs.getDocumentElement().appendChild(HTMLElement);
}
private void getText(StringBuffer sb, Node node) {
if (node.getNodeType() == Node.TEXT_NODE) {
sb.append(node.getNodeValue());
}
NodeList children = node.getChildNodes();
if (children != null) {
int len = children.getLength();
for (int i = 0; i < len; i++) {
getText(sb, children.item(i));
}
}
}
private boolean getText(StringBuffer sb, Node node,
String element) {
if (node.getNodeType() == Node.ELEMENT_NODE) {
if (element.equalsIgnoreCase(node.getNodeName())) {
getText(sb, node);
}
}
NodeList children = node.getChildNodes();
if (children != null) {
int len = children.getLength();
for (int i = 0; i < len; i++) {
if (getText(sb, children.item(i), element)) {
return true;
}
}
}
return false;
}
void Go_actionPerformed(ActionEvent event){
IWorkloadStorable wl = new SpiderInternalWorkload();
if(_Spider!=null){
Runnable doLater = new Runnable(){
public void run(){
_go.setText("Canceling...");
}
};
SwingUtilities.invokeLater(doLater);
_Spider.halt();
return;
}
try{
if(_url.getText().length()>0){
HTTPSocket http = new HTTPSocket();
http.send(_url.getText(),null);
}else{
_current.setText("<<distributed mode>>");
}
}catch(Exception e){
JOptionPane.showMessageDialog(this,e,"Error",JOptionPane.OK_CANCEL_OPTION,null);
return;
}
Runnable doLater = new Runnable(){
public void run(){
_go.setText("Cancel");
_current.setText("Loading...");
}
};
SwingUtilities.in
spider index.rar （9个子文件） 
mySpider.java.bak 11KB mySpider.java 11KB mySpider$SymWindow.class 613B mySpider$SymAction.class 663B mySpider$3.class 557B mySpider.class 11KB mySpider$UpdateTarget.class 847B mySpider$1.class 603B mySpider$2.class 702B资源评论
gongzifly2011-12-12没有窗口啊，我这个新手还是不会啊- ctangqh2012-02-19功能太单一，能丰富点就OK
love_inter_net
- 粉丝: 18
- 资源: 61
最新资源
- 自研DSP28335+移相全桥+纯程序实现同步整流 目前在DSP固有损耗2W的情况下，输出120W效率接近94% 就是铝基板+平面变压器玩起来太贵，不好做小批量，335现在也很贵 基于035的低
- 黏菌优化算法优化用于分类 回归 时序预测 黏菌优化支持向量机SVM，最小二乘支持向量机LSSVM，随机森林RF，极限学习机ELM，核极限学习机KELM，深度极限学习机DELM，BP神经网络，长短时记忆
- 灰狼优化算法优化用于分类 回归 时序预测 灰狼优化支持向量机SVM，最小二乘支持向量机LSSVM，随机森林RF，极限学习机ELM，核极限学习机KELM，深度极限学习机DELM，BP神经网络，长短时记忆
- 麻雀搜索算法优化用于分类 回归 时序预测 麻雀优化支持向量机SVM，最小二乘支持向量机LSSVM，随机森林RF，极限学习机ELM，核极限学习机KELM，深度极限学习机DELM，BP神经网络，长短时记忆
- 模型开发域控制Simulik自动生成代码 DSP2833x基于模型的电机控制设计 MATLAb Simulik自动生成代码 基于dsp2833x 底层驱动库的自动代码生成 MATLAB Simu
- 随机配置网络模型SCN做多输入单输出的拟合预测建模 程序内注释详细直接替数据就可以使用 程序语言为matlab 程序直接运行可以出拟合预测图，迭代优化图，线性拟合预测图，多个预测评价指标 P
- comsol中相场方法模拟多孔介质中驱替的计算案例 提供采用相场方法模拟多孔介质中驱替的算例，可在此基础上学会多孔介质中的驱替模拟，得到水驱油（或其他两相）后多孔介质中的残余油分布，计算采出程度随时间
- 该模型为内置式PMSM的电压反馈弱磁法，转速环输出给定转矩，输出转矩经牛顿迭代数值求的MTPA的最优dq电流，当电压超过直流母线电压时，构建电压闭环输出负的d轴电流进行弱磁扩速
- MATLAB应用数字散斑相关方法计算位移应变p文件资料包（参数可调） 专业性和针对性强
- 光伏控制器，mppt光伏最大功率点跟踪扰动观察法变步长扰动观察法仿真模型
- 基于fpga的半带滤波器仿真程序 1.软件：vivado 2.语言：Verilog 3.具体流程：包括ip核实现版本与非ip核实现版本，包含信号发生，合成，半带滤波器，抽取变频，fifo，fft流程
- 多目标 灰狼算法 多目标 冷热电微网 低碳调度 MATLAB代码：基于多目标灰狼算法的冷热电综合三联供微网低碳经济调度 参考文档：《基于改进多目标灰狼算法的冷热电联供型微电网运行优化-戚艳》灰狼算法
- 电动汽车控制器，纯电动汽车仿真、纯电动公交、纯电动客车、纯电动汽车动力性仿真、经济性仿真、续航里程仿真 模型包括电机、电池、车辆模型 有两种模型2选1： 1 完全用matlab simulink搭
- No.3 纵向速度控制-MPC控制(Carsim2019，Matlab2018a) 特殊说明：如需要电车版本的请咨询 采用上层控制器和下层控制器 目标为控制车辆的纵向速度，使其跟踪上期望纵向速度曲线
- HEV并联(IPS) 车辆仿真 simulink stateflow搭建 模型包含工况路普输入,驾驶员模型,车辆控制模型（CD CS 状态切 以及EV HEV Engine模式转), 电池及电机系统模
- 用信捷XDH总线控制6轴运动，电子凸轮定长切断带折叠，本程序用于一次性床单机，ST加梯形图编写，三期验证时间加密锁
资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！
点击此处反馈
