C# 抓取网页内容的方法

C# 抓取网页内容的方法 在本文中，我们将介绍如何使用 C# 语言来抓取网页内容。抓取网页内容是指从互联网上下载或获取指定网页的内容，以便于后续的处理或分析。下面将介绍两种抓取网页内容的方法，分别是抓取一般内容和抓取网页图片内容。 抓取一般内容 要抓取一般内容，需要使用三个类：WebRequest、WebResponse 和 StreamReader。其中，WebRequest 类的 Create 方法用于创建一个新的网页请求，WebResponse 类用于获取网页的响应，而 StreamReader 类用于读取响应流中的内容。 核心代码如下： ``` WebRequest request = WebRequest.Create("//www.jb51.net/"); WebResponse response = request.GetResponse(); StreamReader reader = new StreamReader(response.GetResponseStream(), Encoding.GetEncoding("gb2312")); ``` 在上面的代码中，我们首先使用 WebRequest.Create 方法创建一个新的网页请求，然后使用 GetResponse 方法获取网页的响应。接着，我们使用 StreamReader 读取响应流中的内容，并将其编码设置为 gb2312。 抓取网页图片内容 要抓取网页图片内容，需要使用四个类：WebRequest、WebResponse、Stream 和 FileStream。其中，WebRequest 类的 Create 方法用于创建一个新的网页请求，WebResponse 类用于获取网页的响应，Stream 类用于读取响应流中的内容，而 FileStream 类用于将读取的内容写入到文件中。 核心代码如下： ``` <%@ Page Language="C#" %> <%@ Import Namespace="System.Net" %> <%@ Import Namespace="System.IO" %> // ... using (FileStream fs = new FileStream("image.jpg", FileMode.Create)) { byte[] buffer = new byte[1024]; int bytesRead; while ((bytesRead = response.GetResponseStream().Read(buffer, 0, buffer.Length)) > 0) { fs.Write(buffer, 0, bytesRead); } } ``` 在上面的代码中，我们首先使用 WebRequest.Create 方法创建一个新的网页请求，然后使用 GetResponse 方法获取网页的响应。接着，我们使用 FileStream 将读取的内容写入到文件中。 总结 在本文中，我们介绍了两种抓取网页内容的方法，分别是抓取一般内容和抓取网页图片内容。通过使用 C# 语言和相关的类，我们可以轻松地抓取网页内容，以便于后续的处理或分析。