HttpClient抓取网页Demo

HttpClient是Apache基金会开发的一个Java库，它为Java程序员提供了一个强大的工具来执行HTTP请求并处理响应。HttpClient允许你模拟浏览器行为，发送GET、POST以及其他HTTP方法的请求，并处理服务器返回的各种内容，包括HTML、XML、JSON等。在本文中，我们将深入探讨HttpClient的基本用法，以及如何使用它来抓取网页内容。 你需要在项目中引入HttpClient的依赖。如果你使用的是Maven，可以在pom.xml文件中添加以下依赖： ```xml <dependency> <groupId>org.apache.httpcomponents</groupId> <artifactId>httpclient</artifactId> <version>4.5.13</version> </dependency> ``` HttpClient的核心类是`HttpClient`和`HttpGet`。下面是一个简单的HTTP GET请求示例： ```java import org.apache.http.HttpEntity; import org.apache.http.client.methods.CloseableHttpResponse; import org.apache.http.client.methods.HttpGet; import org.apache.http.impl.client.CloseableHttpClient; import org.apache.http.impl.client.HttpClients; import org.apache.http.util.EntityUtils; public class HttpClientDemo { public static void main(String[] args) throws Exception { CloseableHttpClient httpClient = HttpClients.createDefault(); try { HttpGet httpGet = new HttpGet("http://example.com"); System.out.println("Executing request " + httpGet.getRequestLine() + " to " + httpGet.getURI() + " ..."); CloseableHttpResponse response = httpClient.execute(httpGet); try { System.out.println("----------------------------------------"); System.out.println(response.getStatusLine()); HttpEntity entity = response.getEntity(); if (entity != null) { System.out.println("Response content length: " + entity.getContentLength()); String content = EntityUtils.toString(entity, "UTF-8"); System.out.println("Response content: " + content); } } finally { response.close(); } } finally { httpClient.close(); } } } ``` 在这个例子中，我们创建了一个`CloseableHttpClient`实例，然后使用`HttpGet`构造一个GET请求到指定URL。`execute`方法执行请求，返回一个`CloseableHttpResponse`对象，我们可以从中获取状态行、响应体等信息。 如果需要进行POST请求，可以使用`HttpPost`类，并通过`setEntity`方法设置请求体。例如，模拟表单提交： ```java HttpPost httpPost = new HttpPost("http://example.com/form"); List<NameValuePair> params = new ArrayList<>(); params.add(new BasicNameValuePair("key1", "value1")); params.add(new BasicNameValuePair("key2", "value2")); UrlEncodedFormEntity entity = new UrlEncodedFormEntity(params, "UTF-8"); httpPost.setEntity(entity); ``` HttpClient还提供了许多高级功能，如重试策略、连接池管理、HTTPS支持、自定义请求头等。对于复杂的HTTP请求，可以使用`HttpContext`上下文对象存储请求相关的状态和数据。 在实际的网页抓取任务中，通常需要处理各种HTTP状态码，解析HTML内容，甚至可能涉及登录、验证码识别等。HttpClient可以与Jsoup等HTML解析库结合使用，提取页面中的有用信息。 例如，使用Jsoup解析返回的HTML内容： ```java Document doc = Jsoup.parse(content); Elements links = doc.select("a[href]"); for (Element link : links) { System.out.println("\nLink: " + link.attr("href")); System.out.println("Text: " + link.text()); } ``` HttpClient是Java中一个强大且灵活的HTTP客户端库，能够帮助开发者轻松地执行HTTP请求和处理响应。配合其他工具，如Jsoup，可以实现网页抓取、数据提取等任务。对于需要从Web获取信息的项目，HttpClient是一个不可或缺的工具。