如何解决使用Go HTTP客户端时,为什么我的HTTP POST请求有60秒的延迟?
我的目标是抓取一个网站,该网站要求我首先使用Golang中的HTTP请求登录。实际上,我发现可以将邮寄请求发送到网站,并将表单数据写入请求的正文中,因此我成功了。当我通过我使用的称为Postman的API开发软件进行测试时,响应是即时的,没有延迟。但是,在Go中使用HTTP客户端执行请求时,每次都会有60秒的一致延迟。我最终得到一个登录页面,但是对于我的程序,我需要响应几乎是瞬时的。
正如您在我的代码中看到的那样,由于我想 maaaaaybe ,因此我尝试向请求中添加一堆标头,例如“ Connection”,“ Content-Type”,“ User-Agent”该网站可以告诉我我正在请求某个程序,并强迫我等待60秒以做出响应。添加这些标头以使我的请求更合法(?)根本不起作用。
Go的HTTP客户端造成的延迟是否很慢,或者我形成HTTP POST请求的方式有问题吗?另外,我是否处理了标头,HTTP客户端在发送标头时正在重写标头?
这是我的简单程序...
package main
import (
"bytes"
"fmt"
"mime/multipart"
"net/http"
"net/http/cookiejar"
"os"
)
func main() {
url := "https://easypronunciation.com/en/log-in"
method := "POST"
payload := &bytes.Buffer{}
writer := multipart.NewWriter(payload)
_ = writer.WriteField("email","foo@bar.com")
_ = writer.WriteField("password","*********")
_ = writer.WriteField("persistent_login","on")
_ = writer.WriteField("submit","")
err := writer.Close()
if err != nil {
fmt.Println(err)
}
cookieJar,_ := cookiejar.New(nil)
client := &http.Client{
Jar: cookieJar,}
req,err := http.NewRequest(method,url,payload)
if err != nil {
fmt.Println(err)
}
req.Header.Set("Content-Type",writer.FormDataContentType())
req.Header.Set("Connection","Keep-Alive")
req.Header.Set("Accept-Language","en-US")
req.Header.Set("User-Agent","Mozilla/5.0")
res,err := client.Do(req)
if err != nil {
fmt.Println(err)
}
defer res.Body.Close()
f,err := os.Create("response.html")
defer f.Close()
res.Write(f)
}
解决方法
我怀疑,这也是go客户端库。我建议打印出不同组件的等待时间,然后查看60秒延迟是否在哪里。我还将替换并尝试使用其他URL
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。