c_根据url获取网站内容
4星 · 超过85%的资源 需积分: 0 7 浏览量
更新于2012-09-26
收藏 17KB DOCX 举报
"根据URL获取网站内容"
本篇文章主要介绍了如何使用C#语言根据URL获取网站的HTML内容和XML数据。该方法可以应用于各种场景,例如爬虫、数据采集、网页解析等。
让我们来看一下获取网站HTML内容的方法。该方法使用了HttpWebRequest和HttpWebResponse类来发送请求和获取响应。代码如下:
```csharp
public string GetHtmlContentByUrl(string url, out string msg)
{
var htmlContent = string.Empty;
try
{
var httpWebRequest = (HttpWebRequest)WebRequest.Create(url);
httpWebRequest.Timeout = int.Parse(httpRequesttsdbTimeout);
var httpWebResponse = (HttpWebResponse)httpWebRequest.GetResponse();
var stream = httpWebResponse.GetResponseStream();
if (stream != null)
{
var streamReader = new StreamReader(stream, System.Text.Encoding.UTF8);
htmlContent = streamReader.ReadToEnd();
streamReader.Close();
streamReader.Dispose();
stream.Close();
stream.Dispose();
}
httpWebResponse.Close();
msg = "";
return htmlContent;
}
catch (Exception ex)
{
msg = "失败:" + ex.Message;
return "";
}
}
```
该方法使用了HttpWebRequest类来发送请求,并使用HttpWebResponse类来获取响应。然后使用StreamReader类来读取响应流,并将其转换为字符串形式的HTML内容。
接下来,让我们来看一下获取XML数据的方法。该方法可以使用XmlDocument类来加载XML数据。代码如下:
```csharp
string url = "http://www.baidu.com";//请修改成实际路径,要确保该地址返回的是 xml 格式的字符串
XmlDocument xmlDoc = new XmlDocument();
xmlDoc.Load(url);
```
或者使用WebRequest和WebResponse类来获取XML数据。代码如下:
```csharp
string url = "http://www.baidu.com";//请修改成实际路径,要确保该地址返回的是 xml 格式的字符串
XmlDocument xmlDoc = new XmlDocument();
WebRequest req = WebRequest.Create(url);
WebResponse res = req.GetResponse();
Stream receiveStream = res.GetResponseStream();
xmlDoc.Load(receiveStream);
```
该方法使用了WebRequest类来发送请求,并使用WebResponse类来获取响应。然后使用XmlDocument类来加载XML数据。
本篇文章总结了如何使用C#语言根据URL获取网站的HTML内容和XML数据。这些方法可以应用于各种场景,例如爬虫、数据采集、网页解析等。
此外,本篇文章还涉及到了一些相关的知识点,例如ASP.NET、SQLDBA、毕业设计、开题报告、答辩PPT等等。这些知识点对于IT行业的从业者来说非常重要。
本篇文章希望能够帮助读者更好地理解如何使用C#语言根据URL获取网站的HTML内容和XML数据,并应用于实际的开发中。