一、前言
最近发现网站内容收录量比较小,但是通过站长后台查询分析数据,发现抓取频次其实蛮正常的,为啥内容收录不了呢,于是通过收录分析工具分析了一下,发现报出了“400 Request Header Or Cookie Too Large”等客户端请求获取服务响应400限制异常,如下图所示
二、解决办法
1.修改nginx安装的conf目录下nginx.conf配置文件(增加client_header_buffer_size 128k;默认4k)
http {@b@ include mime.types;@b@ default_type application/octet-stream;@b@ #增加配置项client_header_buffer_size,修改默认4k大小为128k@b@ client_header_buffer_size 128k;@b@ @b@...
2.重新检测分析,测试正常,如下图所示