golang 使用http包实现curl命令功能【在不使用exec时】

最新推荐文章于 2024-05-10 17:37:42 发布

玉言心

最新推荐文章于 2024-05-10 17:37:42 发布

阅读量1.6k

点赞数

文章标签： golang http ssl linux

本文链接：https://blog.csdn.net/weixin_43563169/article/details/125369642

版权

golang 使用http包实现curl命令功能

背景

直接调用exec包不好控制curl的进程
curl执行的协程数量不易管理，在高并发时会出现协程泄漏

实现思路

基于net/http包实现curl功能，由于curl本质上也是一个客户端，用来进行文件的传输，多用于文件的上传下载，在这种场景下，可使用net/http的功能替换，以便于在程序中更好的控制底层的运行情况。

实例应用

采集参数【部分】
- 文件大小 filesize
- 建联时间 conntime
- 响应状态 httpstatus

核心代码

定义结构体存放基本信息

type Params struct {
		Url       string          //目标url
		HttpType  string          //请求方式，默认get
		Timeout   int             // 超时时间 秒
		Transport *http.Transport // 请求配置
		Headers   *http.Header    // 头部信息
	}
dUrl := &CurlParams{}

设置代理(-x)

u, _ := url.Parse("http://" + ip + `:` + strconv.Itoa(int(port)))
dUrl.Transport.Proxy = http.ProxyURL(u)

设置头部

例如：
dUrl.Headers.Set("User-Agent", "curl/7.29.0")
dUrl.Headers.Set("Host", host)

设置–referer 跳转查询
```
dUrl.Headers.Set("Referer", url)
```

设置SSL跳过检测

dUrl.Transport.TLSClientConfig = &tls.Config{
	InsecureSkipVerify: true,
}

参数计算

初始化
```
client := &http.Client{}
```

http链路跟踪

var start,dns, connect time.Time
var connectTime,dNSDoneTime, firstRespByteTime int64
// 创建客户端请求跟踪
trace := &httptrace.ClientTrace{
	DNSStart: func(dsi httptrace.DNSStartInfo) {
		dns = time.Now()
	},
	DNSDone: func(ddi httptrace.DNSDoneInfo) {
		dNSDoneTime = time.Since(dns).Milliseconds()
	},

	ConnectStart: func(network, addr string) { connect = time.Now() },
	ConnectDone: func(network, addr string, err error) {
		connectTime = time.Since(connect).Milliseconds()
	}
}
req = req.WithContext(httptrace.WithClientTrace(req.Context(), trace))

采集计算

statusCode := resp.StatusCode  // 响应状态码
dnsTime := dNSDoneTime  //dns
fileSize := resp.ContentLength // 获取响应内容大小
connTime:= connectTime

玉言心

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
打赏
0
评论
golang 使用http包实现curl命令功能【在不使用exec时】

golang 使用http包实现curl命令功能
复制链接

扫一扫