网页数据下载与控制

preview
试读
15页
网页数据
需积分: 0 2 下载量 91 浏览量 更新于2015-05-14 收藏 90KB DOC 举报
网页数据下载与控制是互联网应用中的重要环节，它涉及到如何从网页中获取所需信息并进行后续处理。在本文中，作者分享了一些心得和方法，主要包括以下几个方面： 1. **概述及感谢**：作者提到需要网页控制的情况，比如嵌入网页到程序中或下载数据到本地数据库。特别感谢Winland给予的指导。 2. **Maxthon的使用**：Maxthon浏览器的ViewPage功能可以帮助开发者找到真正请求数据的URL。通过查看"框架"和"表单"，可以识别出`Name`、`method`和`Action`等关键信息，其中`Action`通常表示处理表单提交的服务器端脚本地址。 3. **网页关键字解读**：文章简述了HTML的一些基本元素，如`<HTML>`、`<BODY>`、`<TABLE>`、`<TH>`、`<TR>`、`<TD>`等，并强调了表格操作中`<TABLE>`、`<TR>`和`<TD>`的重要性。此外，还介绍了输入控件的关键字，如`<INPUT>`用于创建文本框，`<SELECT>`用于创建下拉列表，`<INPUT type=radio>`用于创建单选按钮，以及`<INPUT type=submit>`用于创建提交按钮。 4. **POST、GET与NAME、VALUE**：HTTP请求中，`GET`和`POST`是两种常见的方法。`GET`一般用于获取资源，参数在URL中可见；`POST`用于发送数据，数据包含在请求体中。`NAME`和`VALUE`通常用于表单元素，`NAME`定义变量名，`VALUE`定义变量值。 5. **使用WebBrowser控件**：Windows应用程序中，可以使用WebBrowser控件嵌入网页，模拟浏览器行为，实现数据下载和交互。 6. **使用IE**：IE浏览器也可以作为数据下载的工具，通过编程接口（如ActiveX）可以控制其行为。 7. **查询结果新窗口控制**：如果网页的查询结果在新窗口中打开，可以通过修改`target`属性或处理JavaScript事件来控制是否在新窗口显示。 8. **使用POST方法**：对于需要提交数据的情况，使用POST方法可以发送更复杂的请求，包括多个参数，适合大数据量或安全性要求较高的场景。 9. **使用Excel获取网页数据**：Excel可以结合VBA（Visual Basic for Applications）脚本从网页抓取数据，适用于自动化数据处理和分析。 10. **利用WebBrowser获得网页数据**：通过WebBrowser控件，可以触发JavaScript事件，获取页面上的动态数据，实现数据的下载和处理。 作者最后提到了XMLHttp对象的用法示例，这是用于异步HTTP请求的组件，常用于网页数据的无刷新加载。DOM（Document Object Model）是HTML和XML文档的结构化表示，允许程序和脚本动态更新、添加和删除文档内容，但本文并未深入展开。 通过上述方法，开发者可以实现对网页数据的自动化访问、下载和控制，这对于数据分析、信息爬取和网页自动化测试等领域至关重要。理解这些基础概念和技术，有助于构建高效的数据获取系统。
网页数据下载与控制
（ 年 月 日）

近期写了一段程序：从网上下载数据，写入数据库，查询、分析、打印。找了很多的资料，现作一回
顾总结，本篇主要写网页数据下载与控制。（以下均为本人的一些心得，写的不对的，请各位师傅指正。
希望本文能对和我一样菜的朋友有一些帮助。）
一、概述及感谢
二、 的使用
三、网页关键字（录入、按钮、数据）解读
四、、 与 、
五、使用 
六、使用
七、查询结果是新弹出窗口的控制
八、使用  方法
九、使用 !" 获取网页数据
十、例：利用  获得网页数据
附件一、!#$%& 对象用法示例与说明
一、概述及感谢
需要用到网页控制的方面，大致概括一下为：
'、程序中需要嵌入一个网页，例如：天气预报。
、需要从网上下载数据，写入到本地数据库中。
特别需要感谢 ($) 对我的指导。
二、 的使用
无论哪方面的应用，首要的是找到网址（也许是废话）。
以 ($) 的天气预报为例，假如我的程序需要这样一个东西，我该如何下爪：
'、打开 &*++,'-,.
、点击“天气预报”，打开：&*++,'-,.+(/(
0、查一个城市试试，此时结果找到了，但网址没变。
1、点击  的 2(&3。
4、在“框架”中，发现一个“内嵌框架”，点击打开。发现原来天气预报的网址为：
&*++,'-,.+ 5 5#,&6"(7#89499.99:9:.
、下一步，在我们自己的程序中就可以使用这个网址，直接来查询了。
综上所述，通过 ，我们可以很方便地找到我们所需要的真正的网址。
在 2(&3 中还有一个“表单”，里面很清楚地显示了 #;#);以及 .(。我理解这个
.( 就是“结果网页”的网址的后半部分（不知对不对？）。
（在网页的表单里面 .( 是目标地址，就是处理这些递交内容的服务器端脚本。 如果 .( 为
空的话，就是当前文件。）
三、网页关键字（录入、按钮、数据）解读
<9和 9= 脚本片断的开始和结束。在<9和9=标签之间的脚本代码，在主页
传递给用户浏览器之前 会在服务器上执行。
<%=和 <+%= <%=标示网页的开头，<+%=标示网页的结束。
<>?=和 <+>?= 网页上的文本应该放置在这些标示之间
<=和 <+= 表格的开始和结束
<)8@'A= 表格边框参数明确表格边框的宽度
<%=和 <+%= 放置表格标题于这些标示之间
<B=和 <+B= 标示<B=在表格里开始一新行。表格中每行以<+B=标示结束。
<>=和 <+>= 使用这些标示来明确表格单元格。每个单元格以<>=标示开始，以<
+>=标示结束。表格单元格可以包含任何内容，包括另一个表格。
我们需要重点关注的就是：<=和 <+=，<B=和 <+B=以及<>=和 <+>=。
文本框：< ?8CC8C#-C8C'C D8'=，有的省略了
?，及 D，但应该是有关键字 及。
选择框：<"8CE#C D84"38C".FGHC=
< 8CBC">=B-<+ =I当前值
< 8C>C=>()>$$<+ =
< 8C">C=">")>$$<+ =
J
<+"=<B=
单选钮：< 7&8)("%"K>2$-8'#8)=升序 ‘当前选择
< 7&8)(2$-8#8)=降序
按健：< $3-38L2.(&.$(.F8C-.$(.F'GHC7&8-#(2$-8查询
#85.2=
（($) 注解：这个地方建议写的详细一点，先介绍一下简单的 % 文档格式，再说说 >.-#
L.)$，这个对下面的内容更有帮助。）（查了一下关于 > 的内容，大致看了一下，好像很复
杂，也没有一个介绍的比较系统的，所以，暂时写不出来。）
四、、 与 、
为了从网页获取数据，需要明确参数。要在网络查询里，向网络服务器发送参数的话，那么需要在
核实某个具体网络服务器使用哪种方法后，使用  或者  方法。
打开源码，查找“A，如果给网络服务器发送参数使用的是  方法，那么文本  就应该
出现。如果网络服务器使用  方法接收参数的话，那么可以在浏览器地址栏里看到该参数名称和值。
例如：
&*++,7.,)-+)(M.+.+.-$+&68NO38
.$ 5
（第一个参数前面带有一个问号，参数之间使用N符号分割开来，参数的先后排列顺序不重要）
查找“#A，在单词#之后，可以看到括号里有一些文本， 这些文本就是第一个参数的名称。
在单词
“
2$-8
A后
面，是参数的当前值。例如：
< ?8CC8C#-C8C'C D8'=<B=
在上面的%语句中，
单词“
#-
A是参数
名
称，“
'
A是
该参数的当前值。参数值也可以是
%<&(=标签中的 选项之一。例如：
<"8CE#C D84"38C".FGHC=
< 8CBC">=B-<+ =I当前值
< 8C>C=>()>$$<+ =
< 8C">C=">")>$$<+ =
< 8CC=()K(3)#-)<+ =
< 8C>C=>#7>-.F<+ =
J
<+"=<B=
 与  的区别：
'、 是用来从服务器上获得数据，而  是用来向服务器上传递数据。
、 将表单中数据的按照 2($82$- 的形式，添加到 .( 所指向的 B 后面，并且两
者使用“6A连接，而各个变量之间使用“NA连接； 是将表单中的数据放在 5# 的数据体中，按照变量
和值相对应的方式，传递到 .( 所指向 B。
0、 是不安全的，因为在传输过程，数据被放在请求的 B 中，而如今现有的很多服务器、代理
服务器或者用户代理都会将请求 B 记录到日志文件中，然后放在某个地方，这样就可能会有一些隐私
的信息被第三方看到。另外，用户也可以在浏览器上直接看到提交的数据，一些系统内部消息将会一同显
示在用户面前。 的所有操作对用户来说都是不可见的。
1、 传输的数据量小，这主要是因为受 B 长度限制，只能传递大约 '1 字节；而  可以
传输大量的数据，可以达到 ，所以在上传文件只能使用 。
4、 限制 E# 表单的数据集的值必须为 " 字符；而  支持整个 '1 字符集。
、 是 E# 的默认方法。
五、使用 
使 用  需 要 添 加 “ (.5  浏 览 器 ”（  ） 或 “ (.5 (
.$A（）。
'、 的简要使用方法：
I打开前
$8C&*++,'-,.+ 5 5#,&6"(7#89499.
99:9:.C
EM/7,',2(3$
EM/7,I这句话屏蔽时， 同样打开网页，不过不显示在桌面上
(2-'M-"3G7$(3H
 5',B)7<=B>?M"(-I页面调用是否
完毕
JJ
)-
、我们想要的网页内容：
一 般 说 来 ， 我 们 想 要 的 网 页 内 容 ， 就 在 ',).-#,)7,(#$ 和
',).-#,)7,( 中，通过替换、分析，得到我们想要的数据。
#$ 中的内容就是网页源码。
( 中的内容则是网页上所显示的内容。（这个内容就是我们把网页另存为文本时的内容）
个人认为使用 #$ 要方便一些。

剩余14页未读，继续阅读

资源推荐
资源评论
红叶如雪
  • 粉丝: 7
  • 资源: 14
上传资源 快速赚钱
voice
center-task 前往需求广场，查看用户热搜

最新资源