为什么Go HTTPS Client不重用连接？

一尘不染

为什么Go HTTPS Client不重用连接？

我有一个http客户端，可以创建与主机的多个连接。我想设置它可以设置到特定主机的最大连接数。go的request.Transport中没有此类选项。我的代码看起来像

package main

import (
  "fmt"
  "net/http"
  "net/url"
)

const (
  endpoint_url_fmt      = "https://blah.com/api1?%s"
)


func main() {

  transport := http.Transport{ DisableKeepAlives : false }

  outParams := url.Values{}
  outParams.Set("method", "write")
  outParams.Set("message", "BLAH")

  for {
    // Encode as part of URI.
    outboundRequest, err := http.NewRequest(
      "GET",
      fmt.Sprintf(endpoint_url_fmt, outParams.Encode()),
      nil
    )
    outboundRequest.Close = false
    _ , err = transport.RoundTrip(outboundRequest)
    if err != nil {
      fmt.Println(err)
    }
  }

}

我希望这会创建1个连接。正如我在for循环中所说的那样。但这一直在创建无限数量的连接。

使用请求库的类似python代码仅创建一个连接。

#!/usr/bin/env python
import requests
endpoint_url_fmt      = "https://something.com/restserver.php"
params = {}
params['method'] = 'write'
params['category'] = category_errors_scuba
params['message'] = "blah"
while True:
  r = requests.get(endpoint_url_fmt, params = params)

由于某种原因，go代码没有重用http连接。

编辑：go代码需要关闭主体才能重用连接。

 resp , err = transport.RoundTrip(outboundRequest)
 resp.Close() //  This allows the connection to be reused

阅读 322

2020-07-02

共1个答案

一尘不染

根据OP的进一步说明。默认客户端不会重用连接。

确保关闭响应。

读取完后，呼叫者应关闭res.Body。如果未关闭resp.Body，则客户端的基础RoundTripper（通常是Transport）可能无法将与服务器的持久TCP连接重新用于后续的“保持活动”请求。

另外，我发现在调用Close（）之前，我还 需要阅读直到响应完成 。

例如

res, _ := client.Do(req)
io.Copy(ioutil.Discard, res.Body)
res.Body.Close()

为确保重用http.Client连接，请确保执行以下两项操作：

读取直到响应完成（即ioutil.ReadAll(resp.Body)）
呼叫 Body.Close()

旧答案，对速率限制很有用，但对OP的作用却不大：

我认为无法通过golang 1.1 http
API设置最大连接数。这意味着如果您不小心的话，可以通过大量的TCP连接（直到用完文件描述符或其他内容）使自己陷入困境。

也就是说， 您可以 通过time.Tick 限制为特定主机 调用go例程的速率 （并因此限制出站请求和连接）。

例如：

import "time"

requests_per_second := 5
throttle := time.Tick(1000000000 / requests_per_second)

for i := 0; i < 16; i += 1 {
  <-throttle  
  go serveQueue()
}

2020-07-02