c_根据url获取网站内容

preview
4星 · 超过85%的资源 需积分: 0 56 下载量 7 浏览量 更新于2012-09-26 收藏 17KB DOCX 举报
"根据URL获取网站内容" 本篇文章主要介绍了如何使用C#语言根据URL获取网站的HTML内容和XML数据。该方法可以应用于各种场景,例如爬虫、数据采集、网页解析等。 让我们来看一下获取网站HTML内容的方法。该方法使用了HttpWebRequest和HttpWebResponse类来发送请求和获取响应。代码如下: ```csharp public string GetHtmlContentByUrl(string url, out string msg) { var htmlContent = string.Empty; try { var httpWebRequest = (HttpWebRequest)WebRequest.Create(url); httpWebRequest.Timeout = int.Parse(httpRequesttsdbTimeout); var httpWebResponse = (HttpWebResponse)httpWebRequest.GetResponse(); var stream = httpWebResponse.GetResponseStream(); if (stream != null) { var streamReader = new StreamReader(stream, System.Text.Encoding.UTF8); htmlContent = streamReader.ReadToEnd(); streamReader.Close(); streamReader.Dispose(); stream.Close(); stream.Dispose(); } httpWebResponse.Close(); msg = ""; return htmlContent; } catch (Exception ex) { msg = "失败:" + ex.Message; return ""; } } ``` 该方法使用了HttpWebRequest类来发送请求,并使用HttpWebResponse类来获取响应。然后使用StreamReader类来读取响应流,并将其转换为字符串形式的HTML内容。 接下来,让我们来看一下获取XML数据的方法。该方法可以使用XmlDocument类来加载XML数据。代码如下: ```csharp string url = "http://www.baidu.com";//请修改成实际路径,要确保该地址返回的是 xml 格式的字符串 XmlDocument xmlDoc = new XmlDocument(); xmlDoc.Load(url); ``` 或者使用WebRequest和WebResponse类来获取XML数据。代码如下: ```csharp string url = "http://www.baidu.com";//请修改成实际路径,要确保该地址返回的是 xml 格式的字符串 XmlDocument xmlDoc = new XmlDocument(); WebRequest req = WebRequest.Create(url); WebResponse res = req.GetResponse(); Stream receiveStream = res.GetResponseStream(); xmlDoc.Load(receiveStream); ``` 该方法使用了WebRequest类来发送请求,并使用WebResponse类来获取响应。然后使用XmlDocument类来加载XML数据。 本篇文章总结了如何使用C#语言根据URL获取网站的HTML内容和XML数据。这些方法可以应用于各种场景,例如爬虫、数据采集、网页解析等。 此外,本篇文章还涉及到了一些相关的知识点,例如ASP.NET、SQLDBA、毕业设计、开题报告、答辩PPT等等。这些知识点对于IT行业的从业者来说非常重要。 本篇文章希望能够帮助读者更好地理解如何使用C#语言根据URL获取网站的HTML内容和XML数据,并应用于实际的开发中。