首页 / 后端 / 文章

Apache HttpClient技术入门到实战详解

后端 潘老师 原 2周前 (04-08) 19 ℃ (0) 扫码查看

在Java 11之前，标准库中的HttpURLConnection功能相对基础，在面对复杂的HTTP场景，比如连接池管理、异步请求处理以及灵活的重试机制等需求时，往往显得力不从心。而Apache HttpClient作为Apache HttpComponents项目的重要一员，凭借其成熟的技术和全面的功能，在企业级开发中得到了广泛应用。接下来，本文将带大家深入了解Apache HttpClient，从它的基本概念、基础使用方法，再到高级配置与实战案例，一步步掌握这一强大的技术工具。

一、深入了解Apache HttpClient

Apache HttpClient是由Apache软件基金会精心维护的一款开源HTTP客户端库，它对HTTP/1.1协议提供了全面支持，具备一系列强大的功能，成为开发高效、可靠网络应用的有力助手。下面来详细看看它的核心优势：

  • 连接池管理：Apache HttpClient内置了一套高效的连接池管理机制。打个比方，连接池就像是一个“连接仓库”，它能够复用TCP连接。这意味着在多个请求之间，客户端可以共享这些连接，大大减少了连接建立和断开时的握手开销。这样不仅提升了应用程序的性能，还降低了系统资源的消耗。
  • 灵活的请求配置：该库提供了丰富多样的配置选项。无论是设置请求超时时间、配置代理服务器，还是管理重定向策略、处理Cookie，甚至实现身份认证等，它都能轻松应对。通过这些灵活的配置，HttpClient可以适应各种复杂的网络环境和不同的请求需求。
  • 扩展性：Apache HttpClient的拦截器（Interceptor）机制为其赋予了高度的扩展性。借助这一机制，用户可以自定义日志记录、请求重试、响应缓存等逻辑。这就好比给HttpClient安装了各种“插件”，使其能够轻松融入各种复杂的系统中，满足不同项目的个性化需求。
  • 同步/异步请求支持：HttpClient既支持传统的阻塞I/O模型，允许用户发起同步请求并等待响应，也提供了异步非阻塞请求的功能（不过这需要结合异步HTTP客户端来使用）。在处理大量并发请求时，异步请求支持能够让应用保持良好的响应性和可扩展性。

在选择HttpClient版本时，需要综合考虑项目的具体情况，比如项目所使用的Java版本、对新特性的需求等。目前，较为常用的版本有：

  • HttpClient 4.x：这是一个被广泛使用且经过充分测试和验证的稳定版本，能够满足大多数应用场景的需求。
  • HttpClient 5.x：作为新一代的API，它在性能和功能上都有不少改进，并且支持HTTP/2协议（但需要Java 8及以上版本）。

二、Apache HttpClient基础用法

（一）添加依赖

若想在Java项目中使用Apache HttpClient，首先要在项目的构建文件里添加相应的依赖。以Maven项目为例，添加4.5.13版本依赖的配置如下：

<dependency>
    <groupId>org.apache.httpcomponents</groupId>
    <artifactId>httpclient</artifactId>
    <version>4.5.13</version>
</dependency>

上述配置中，<groupId>指定了依赖的组织，<artifactId>表示依赖的具体模块，<version>则明确了依赖的版本号。通过添加这个依赖，项目就能够引入Apache HttpClient库，从而使用其提供的各种功能。

（二）创建HttpClient实例

  1. 创建默认实例：要发送HTTP请求，首先得创建一个CloseableHttpClient实例。通过HttpClients.createDefault()方法，我们可以轻松获取一个预配置好的HttpClient实例。这个实例采用了默认的参数设置，适用于一些对配置要求不高的简单场景。具体代码如下：
CloseableHttpClient httpClient = HttpClients.createDefault();
  1. 非默认配置的实例：在实际开发中，很多时候需要根据项目的特定需求对HttpClient进行定制化配置。下面的代码展示了如何通过HttpClientBuilder来定制CloseableHttpClient，包括连接超时、代理、重试策略、SSL证书校验等关键参数的设置：
import org.apache.http.HttpHost;
import org.apache.http.HttpRequestInterceptor;
import org.apache.http.client.config.RequestConfig;
import org.apache.http.conn.ssl.SSLConnectionSocketFactory;
import org.apache.http.conn.ssl.TrustSelfSignedStrategy;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClientBuilder;
import org.apache.http.impl.client.StandardHttpRequestRetryHandler;
import org.apache.http.impl.conn.PoolingHttpClientConnectionManager;
import org.apache.http.ssl.SSLContextBuilder;
import javax.net.ssl.SSLContext;
import java.security.KeyManagementException;
import java.security.KeyStoreException;
import java.security.NoSuchAlgorithmException;
import java.util.UUID;
import java.util.concurrent.TimeUnit;

public class ApacheHttpClientExample {
    public static CloseableHttpClient createCustomHttpClient() throws NoSuchAlgorithmException, KeyStoreException, KeyManagementException {
        // 连接池配置
        PoolingHttpClientConnectionManager connManager = new PoolingHttpClientConnectionManager();
        connManager.setMaxTotal(200);          // 最大连接数
        connManager.setDefaultMaxPerRoute(50); // 每个路由（目标主机）的最大并发连接数
        connManager.closeIdleConnections(60, TimeUnit.SECONDS); // 关闭空闲超时连接

        // 超时配置
        RequestConfig requestConfig = RequestConfig.custom()
               .setConnectTimeout(5000)    // 连接建立超时（5秒）
               .setSocketTimeout(15000)    // 数据传输超时（15秒）
               .setConnectionRequestTimeout(3000) // 从连接池获取连接的超时（3秒）
               .build();

        // SSL配置（信任自签名证书）
        SSLContext sslContext = SSLContextBuilder.create()
               .loadTrustMaterial(new TrustSelfSignedStrategy())
               .build();
        SSLConnectionSocketFactory sslSocketFactory = new SSLConnectionSocketFactory(
                sslContext,
                new String[]{"TLSv1.2", "TLSv1.3"}, // 支持的协议版本
                null,
                SSLConnectionSocketFactory.getDefaultHostnameVerifier()
        );

        // 重试策略
        StandardHttpRequestRetryHandler retryHandler = new StandardHttpRequestRetryHandler(
                3,      // 最大重试次数
                true    // 对非幂等请求（如POST）也重试（需业务确保安全性）
        );

        // 构建HttpClient
        return HttpClientBuilder.create()
               .setConnectionManager(connManager)          // 连接池
               .setDefaultRequestConfig(requestConfig)     // 超时配置
               .setSSLSocketFactory(sslSocketFactory)      // SSL配置
               .setRetryHandler(retryHandler)              // 重试策略
               .setProxy(new HttpHost("proxy.example.com", 8080)) // 代理服务器
               .disableCookieManagement()                  // 禁用Cookie管理（按需启用）
               .setUserAgent("Custom-Client/1.0")          // 自定义User-Agent
               .addInterceptorFirst((HttpRequestInterceptor) (request, context) ->
                        request.addHeader("X-Request-ID", UUID.randomUUID().toString())) // 自定义请求头
               .build();
    }

    public static void main(String[] args) {
        try {
            CloseableHttpClient httpClient = createCustomHttpClient();
            // 使用httpClient进行HTTP请求
            // ...
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

在这段代码中，我们依次对连接池、超时、SSL、重试策略等进行了配置，然后通过HttpClientBuilder构建出一个定制化的HttpClient实例。这样的实例能够满足更加复杂的业务需求。

（三）发送GET请求

发送GET请求是HttpClient最常用的功能之一。下面的代码展示了如何使用Apache HttpClient库发送HTTP GET请求：

import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;

public class ApacheHttpClientExample {
    public static void main(String[] args) {
        try (CloseableHttpClient httpClient = HttpClients.createDefault()) {
            HttpGet request = new HttpGet("https://jsonplaceholder.typicode.com/posts/1");
            try (CloseableHttpResponse response = httpClient.execute(request)) {
                System.out.println("Status Code: " + response.getStatusLine().getStatusCode());
                String responseBody = EntityUtils.toString(response.getEntity());
                System.out.println("Response Body: " + responseBody);
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

在这段代码中，我们使用try - with - resources语句创建了CloseableHttpClient实例，这能确保资源在使用完毕后被正确关闭。接着创建了一个HttpGet请求对象，指定了目标URL为https://jsonplaceholder.typicode.com/posts/1 ，这个URL提供一些假数据用于测试。再次使用try - with - resources语句执行请求并获取响应对象。在响应对象的作用域内，我们打印出了HTTP响应的状态码，并通过EntityUtils.toString方法将响应实体转换为字符串，最后打印出响应体的内容。如果在执行请求或处理响应的过程中出现异常，程序会捕获并将异常信息打印到标准错误输出。

目标URLhttps://jsonplaceholder.typicode.com/posts/1返回的内容如下：

{
    "userId": 1,
    "id": 1,
    "title": "sunt aut facere repellat provident occaecati excepturi optio reprehenderit",
    "body": "quia et suscipit\nsuscipit recusandae consequuntur expedita et cum\nreprehenderit molestiae ut ut quas totam\nnostrum rerum est autem sunt rem eveniet architecto"
}

运行上述代码后，得到的结果如下：

Status Code:200 
Response Body:{
"userId":1, "id":1,
"title": "sunt aut facere repellat provident occaecati excepturi optio reprehenderit",
"body": "quia et suscipit\nsuscipit recusandae consequuntur expedita et cum\nreprehenderit molestiae ut ut quas totam\nnostrum rerum est autem sunt rem eveniet architecto"
}

（四）发送POST请求

发送POST请求和GET请求的流程类似，不过POST请求通常用于提交表单数据或JSON数据，需要在请求体中包含要发送的数据。下面的代码展示了如何使用Apache HttpClient库发送包含JSON请求体的HTTP POST请求，并处理响应：

import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpPost;
import org.apache.http.entity.ContentType;
import org.apache.http.entity.StringEntity;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;

public class ApacheHttpClientExample {
    public static void main(String[] args) {
        try (CloseableHttpClient httpClient = HttpClients.createDefault()) {
            HttpPost request = new HttpPost("https://jsonplaceholder.typicode.com/posts");
            // 设置JSON请求体
            String json = "{\"title\":\"foo\",\"body\":\"bar\",\"userId\":1}";
            request.setEntity(new StringEntity(json, ContentType.APPLICATION_JSON));
            // 添加自定义请求头
            request.addHeader("X-Custom-Header", "value");
            try (CloseableHttpResponse response = httpClient.execute(request)) {
                System.out.println("Status Code: " + response.getStatusLine().getStatusCode());
                String responseBody = EntityUtils.toString(response.getEntity());
                System.out.println("Response Body: " + responseBody);
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

在这段代码中，同样使用try - with - resources语句创建了CloseableHttpClient实例。创建HttpPost请求对象并指定目标URL后，设置了JSON格式的请求体内容，并添加了自定义请求头。执行请求并捕获响应后，打印出HTTP响应的状态码和响应体内容。

运行该代码后，得到的结果如下：

Status Code: 201
Response Body: {"title":"foo","body":"bar","userId":1,"id":101}

三、Apache HttpClient高级配置与实战案例

（一）连接池优化

在高性能的HTTP客户端应用开发中，连接池的管理是一个关键环节。Apache HttpClient库提供的PoolingHttpClientConnectionManager工具，能够帮助开发者高效地管理和复用HTTP连接，进而提升应用的性能和资源利用率。下面是一个使用PoolingHttpClientConnectionManager管理连接池的示例：

import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.impl.conn.PoolingHttpClientConnectionManager;

public class ApacheHttpClientExample {
    public static void main(String[] args) {
        PoolingHttpClientConnectionManager connManager = new PoolingHttpClientConnectionManager();
        connManager.setMaxTotal(200);          // 最大连接数
        connManager.setDefaultMaxPerRoute(20); // 每个路由（目标主机）的最大连接数

        try (CloseableHttpClient httpClient = HttpClients.custom()
               .setConnectionManager(connManager)
               .build()) {
            // 执行高并发请求...
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

在这个示例中，我们创建了PoolingHttpClientConnectionManager实例，并设置了最大连接数和每个路由的最大连接数。然后通过HttpClientBuilder将这个连接池管理器应用到HttpClient实例中，这样在执行高并发请求时，就能充分利用连接池的优势，提高应用性能。

（二）超时与重试配置

在构建高性能、高可靠性的HTTP客户端应用时，超时与重试配置不容忽视。它们对应用的响应速度、稳定性以及用户体验都有着直接影响。下面的代码展示了如何进行超时与重试配置：

import org.apache.http.client.config.RequestConfig;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.DefaultHttpRequestRetryHandler;
import org.apache.http.impl.client.HttpClientBuilder;
import org.apache.http.impl.client.HttpClients;

public class ApacheHttpClientExample {
    public static void main(String[] args) {
        RequestConfig requestConfig = RequestConfig.custom()
               .setConnectTimeout(5000)    // 连接超时5秒
               .setSocketTimeout(10000)    // 数据传输超时10秒
               .build();

        // 自定义重试策略（默认重试3次）
        HttpClientBuilder builder = HttpClients.custom()
               .setDefaultRequestConfig(requestConfig)
               .setRetryHandler(new DefaultHttpRequestRetryHandler(3, true));

        try (CloseableHttpClient httpClient = builder.build()) {
            // 执行请求...
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

在这段代码中，我们首先通过RequestConfig.custom()创建了一个请求配置对象，设置了连接超时和数据传输超时的时间。接着，使用HttpClientBuilder构建HttpClient实例，并设置了默认的请求配置和重试策略。这里采用的是默认的重试策略，最多重试3次，并且对非幂等请求（如POST请求）也进行重试，但在实际业务中需要确保这种重试的安全性。

（三）文件上传（Multipart）

如果要在Java项目中使用Apache HttpClient进行文件上传，除了需要httpclient依赖外，还得添加httpmime依赖。Maven配置如下（以4.5.13版本为例）：

<dependency>
    <groupId>org.apache.httpcomponents</groupId>
    <artifactId>httpmime</artifactId>
    <version>4.5.13</version>
</dependency>

下面是一个使用Apache HttpClient发送包含文件上传的HTTP POST请求的示例：

import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpPost;
import org.apache.http.entity.mime.MultipartEntityBuilder;
import org.apache.http.entity.mime.content.FileBody;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import java.io.File;

public class ApacheHttpClientExample {
    public static void main(String[] args) {
        try (CloseableHttpClient httpClient = HttpClients.createDefault()) {
            HttpPost request = new HttpPost("https://example.com/upload");

            // 构建Multipart请求体
            MultipartEntityBuilder builder = MultipartEntityBuilder.create();
            builder.addPart("file", new FileBody(new File("test.txt")));
            builder.addTextBody("comment", "Sample File");

            request.setEntity(builder.build());

            try (CloseableHttpResponse response = httpClient.execute(request)) {
                // 处理响应...
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

在这个示例中，我们创建了一个HttpPost请求对象，并指定了文件上传的目标URL。然后使用MultipartEntityBuilder构建Multipart请求体，添加了要上传的文件和文本信息。最后将构建好的请求体设置到请求对象中，并执行请求。在实际应用中，还需要根据具体需求处理响应内容。

四、总结

Apache HttpClient在Java 11之前的版本中，是处理复杂HTTP通信的理想选择。因为凭借灵活的配置、高效的连接池管理以及丰富的扩展能力，能够很好地满足企业级应用。

版权声明：本站文章，如无说明，均为本站原创，转载请注明文章来源。如有侵权，请联系博主删除。
本文链接：https://www.panziye.com/back/17015.html
喜欢 (0)赏
【请潘老师喝杯Coffee吧！】
分享 (0)

相关文章

用户头像
发表我的评论
取消评论
表情 贴图 签到 代码

Hi，您需要填写昵称和邮箱！

  • 昵称【必填】
  • 邮箱【必填】
  • 网址【可选】