curl只能抓取页面的部分内容的原因

今天弄个小东西的时候,发现file_get_contents回来的一大串JSON并不完整,在6KB左右的地方断开了,然后用浏览器打开那个地址,却是可以访问。。。
命令行下curl,结果是这样的:
=20150723233044

curl: (18) transfer closed with outstanding read data remaining

这个情况之前工作也偶有出现,但是没有深入考究过原因。。今天百度了一下。贴出来。

1)“Expect: 100-continue”的来龙去脉:

HTTP/1.1 协议里设计100 (Continue) HTTP 状态码的的目的是,在客户端发送 Request Message 之前,HTTP/1.1 协议允许客户端先判定服务器是否愿意接受客户端发来的消息主体(基于 Request Headers)。 即,Client 和 Server 在 Post (较大)数据之前,允许双方“握手”,如果匹配上了,Client 才开始发送(较大)数据。 这么做的原因是,如果客户端直接发送请求数据,但是服务器又将该请求拒绝的话,这种行为将带来很大的资源开销。 协议对 HTTP/1.1 clients 的要求是:

如果 client 预期等待“100-continue”的应答,那么它发的请求必须包含一个 ” Expect: 100-continue” 的头域!

2)libcurl 发送大于1024字节数据时启用“Expect:100-continue‘特性:

这也就是 Laruence 在 2011 年撰文所写的:

在使用 curl 做 POST 的时候,当要 POST 的数据大于 1024 字节的时候,curl 并不会直接就发起 POST 请求,而是会分为两步: 1. 发送一个请求,包含一个 “Expect: 100-continue” 头域,询问 Server 是否愿意接收数据; 2. 接收到 Server 返回的 100-continue 应答以后,才把数据 POST 给 Server; 这是 libcurl 的行为。

3)PHP Curl-library 可以主动封禁此特性:

有人在PHP手册::curl_setopt下留言说: PHP curl 遵从 libcurl 的特性。由于不是所有 web servers 都支持这个特性,所以会产生各种各样的错误。如果你遇到了,可以用下面的命令封禁”Expect”头域:

留下评论