云计算百科
云计算领域专业知识百科平台

Java【代码 17】httpclient PoolingHttpClientConnectionManager 连接池使用举例

httpclient 连接池使用举例

  • 1. 问题
    • 1.1 TIME_WAIT 状态连接的原因和解决策略
    • 1.2 CLOSE_WAIT 状态连接的原因和解决策略
    • 1.3 诊断工具
  • 2. 依赖
  • 3. 代码
    • 3.1 线程池配置
    • 3.2 方法调用
  • 4. 说明

1. 问题

服务器上有大量的time_wait或者close_wait状态的连接,故查询了 GPT。

1.1 TIME_WAIT 状态连接的原因和解决策略

  • 大量短连接
    • 大量短暂的连接会导致短时间内生成大量的TIME_WAIT状态连接。
    • 解决方案:尽量使用长连接,减少连接的创建和销毁次数。
  • TCP 时间等待池溢出
    • 如果服务器短时间内有大量的连接进入TIME_WAIT状态,可能会导致TCP时间等待池溢出。
    • 解决方案:可以通过调整内核参数来增加时间等待池的大小,或者减少TIME_WAIT状态的持续时间。
  • 连接复用
    • 如果服务器的连接复用率低,可能会导致更多的TIME_WAIT状态连接。
    • 解决方案:使用连接池技术,提高连接的复用率。
  • 内核参数调整
    • 可以通过调整内核参数来缩短TIME_WAIT状态的持续时间,例如调整net.ipv4.tcp_fin_timeout。
    • 解决方案:在Linux系统中,可以通过调整内核参数来减少TIME_WAIT状态的持续时间,例如:
  • # 减少TIME_WAIT状态的持续时间
    sysctl -w net.ipv4.tcp_fin_timeout=30

  • SYN Cookies
    • 如果服务器面临SYN Flood攻击,可以启用SYN Cookies机制来缓解这种攻击。
    • 解决方案:在Linux系统中,可以通过设置net.ipv4.tcp_syncookies为1来启用SYN Cookies。
  • 1.2 CLOSE_WAIT 状态连接的原因和解决策略

  • 应用程序未正确关闭连接
    • 如果客户端或服务器的应用程序没有正确关闭连接,可能会导致连接停留在CLOSE_WAIT状态。
    • 解决方案:检查应用程序代码,确保所有连接在使用完毕后都正确关闭。
  • 资源泄露
    • 如果应用程序未能释放资源或调用必要的关闭方法,也可能导致CLOSE_WAIT状态。
    • 解决方案:使用资源管理框架或工具来自动管理资源的生命周期。
  • 第三方库问题:
    • 如果您使用了第三方库或框架,可能存在某些库未能正确处理连接关闭的情况。
    • 解决方案:更新第三方库到最新版本,或者寻找替代方案。
  • 网络延迟:
    • 如果网络延迟较高,可能会导致关闭握手过程变慢,从而产生CLOSE_WAIT状态的连接。
    • 解决方案:优化网络配置,减少网络延迟。
  • 1.3 诊断工具

    • netstat命令:使用netstat -an | grep TIME_WAIT或netstat -an | grep CLOSE_WAIT来查看当前处于TIME_WAIT或CLOSE_WAIT状态的连接。
    • ss命令:使用ss -t -a | grep TIME_WAIT或ss -t -a | grep CLOSE_WAIT来获取更详细的连接信息。

    不得不说,大模型的回答还会很全面的。

    2. 依赖

    SpringBoot 项目依赖:

    <!– https://mvnrepository.com/artifact/org.apache.httpcomponents/httpclient –>
    <dependency>
    <groupId>org.apache.httpcomponents</groupId>
    <artifactId>httpclient</artifactId>
    <version>4.5.13</version>
    </dependency>

    非 SpringBoot 项目需要引入:

    • httpclient-4.5.13.jar
    • httpcore-4.4.13.jar

    3. 代码

    3.1 线程池配置

    import org.apache.http.impl.client.CloseableHttpClient;
    import org.apache.http.impl.client.HttpClientBuilder;
    import org.apache.http.impl.client.HttpClients;
    import org.apache.http.impl.conn.PoolingHttpClientConnectionManager;

    /**
    * HttpClientManager管理
    */

    public class HttpClientManager {

    private static HttpClientBuilder httpClientBuilder = null;
    private static CloseableHttpClient closeableHttpClient = null;

    private HttpClientManager() {
    // 创建连接管理器
    PoolingHttpClientConnectionManager connMgr = new PoolingHttpClientConnectionManager();
    // 整个连接池的最大连接数
    connMgr.setMaxTotal(50);
    // 每个路由的最大连接数
    connMgr.setDefaultMaxPerRoute(50);
    // 创建HttpClientBuilder并设置连接管理器
    httpClientBuilder = HttpClients.custom().setConnectionManager(connMgr);
    }

    public static synchronized CloseableHttpClient getCloseableHttpClient() {
    if (closeableHttpClient == null) {
    new HttpClientManager();
    closeableHttpClient = httpClientBuilder.build();
    }
    return closeableHttpClient;
    }

    }

  • setMaxTotal(int max):设置整个连接池的最大连接数。
  • setDefaultMaxPerRoute(int max):设置每个路由(例如到同一主机的所有连接)的最大连接数【默认值是 2】。
  • 在HTTP客户端中,“路由”是指客户端与服务器之间的一条逻辑路径。通常情况下,当客户端发送请求到不同的端点(即使是同一个服务器的不同URL),只要目标服务器相同,这些请求都会经过相同的网络路径,因此会被视为同一个路由。

  • setMaxPerRoute(HttpRoute route, int max):可以针对特定路由设置最大连接数。
  • 3.2 方法调用

    public JSONObject postHttpReq(String json, String url) {
    // 获取http客户端
    CloseableHttpClient httpClient = HttpClientManager.getCloseableHttpClient();
    // 设置超时时间
    RequestConfig requestConfig = RequestConfig.custom().setConnectTimeout(5000).setSocketTimeout(20000).setConnectionRequestTimeout(5000).build();
    // 封装请求参数
    byte[] b = json.getBytes();
    HttpEntity httpEntity = new ByteArrayEntity(b);
    String responseMsg = "";
    int statusCode = 0;
    CloseableHttpResponse response = null;
    try {
    // 创建httpPost请求
    HttpPost httpPost = new HttpPost(url);
    httpPost.setConfig(requestConfig);
    httpPost.setEntity(httpEntity);
    httpPost.setHeader("Content-Type", "application/json;charset=GBK");
    // 执行请求
    response = httpClient.execute(httpPost);
    // 获取请求结果
    statusCode = response.getStatusLine().getStatusCode();
    responseMsg = EntityUtils.toString(response.getEntity());
    } catch (IOException e1) {
    e1.printStackTrace();
    } finally {
    try {
    // 关闭当前请求
    response.close();
    } catch (IOException e2) {
    e2.printStackTrace();
    }
    }
    // 解析请求结果
    if (statusCode != 200) {
    // 输出错误信息
    } else {
    return new JSONObject(responseMsg);
    }
    }

    4. 说明

    • 代码并不完善,没有关闭httpclient的方法和关闭连接池的方法。
    赞(0)
    未经允许不得转载:网硕互联帮助中心 » Java【代码 17】httpclient PoolingHttpClientConnectionManager 连接池使用举例
    分享到: 更多 (0)

    评论 抢沙发

    评论前必须登录!