站长圈从不公开的日志技术真相

　　去年三月，我蹲在客户服务器后台看实时日志流，窗外下着雨，雨滴砸在空调外机上是钝响，隔壁装修的电钻突然停了三秒——就那三秒，我听见群里“叮”一声，老张发了个捂脸哭表情包，配字：“收录掉了八成。”

　　我手没抬，烟还夹在左手， ash 掉进键盘缝里。查一下收录——打开站长平台，点“快速收录”，输域名，回车；再点“普通收录”，输同一域名，回车；再点“历史数据”，拖到三月七号，放大镜图标点两下，页面卡住，刷新，白屏，重进，再查。不是接口崩了，是返回结果里三百七十二个词，全标“未提交”——可日志里清清楚楚记着，三月六号凌晨两点十七分，百度蜘蛛来过，User-Agent 里带 baiduspider/2.0，抓了四百一十九个页面，抓完还顺手带走了 sitemap.xml，gzip 解压后时间戳是对的。

　　我原以为是 sitemap 提交失效，结果翻完百度搜索资源平台所有操作记录，从三月一号到六号，没有一次手动提交失败提示；再查 Nginx access.log，百度 UA 的 200 响应行里，$request_time 全在 87–132 毫秒之间，没超时，没重定向，没 301 跳来跳去；而真正出问题的是那个叫“content-type”字段——它被我们开发改版时顺手加了个空格，变成 “text/html; charset=utf-8 ”，尾巴上多一个空格。这个我敢打包票：去年十一月我就在另一家客户的日志里见过一模一样的空格，当时他们快照停更十四天，没人信是我盯出来的，直到我把那段十六进制原始响应头截出来，贴到群里，老陈盯着看了两分钟，把茶杯往桌上一顿：“操，真他妈是空格。”

　　但这次，没人顿茶杯。群里安静了两小时，小马先说话：“是不是 UA 被识别成采集器了？”我回：“它连 robots.txt 都没绕，直接按规则来的。”他发了个挠头表情，又补一句：“那是不是 JS 渲染崩了？我们新上了 SSR。”我没回。SSR？我查了三月六号所有百度爬虫请求的 referer，全是空；查 response_body 大小，平均 128KB，和旧版差二十KB；查 gzip_ratio，从 4.3 降到 3.1——说明压缩没失效，只是内容体积缩了，可为什么收录反而断崖？我不知道。到底是哪次更新的事我说不准，三月四号百度算法小调、五号站长平台接口变更、还是六号凌晨我们自己误部署了一版 nginx 配置？我不确定。我只知道那天阳台衣服没收，晚上收进来全是潮气，黏在皮肤上，像一层没擦干的汗。

　　最荒的是友链那边。客户主站掉量，顺带牵连两个挂着他友情链接的小站，其中一个是我帮朋友搭的资讯聚合页，本来就不靠收录吃饭，结果那天他发来截图，问我：“你猜我外链失效了几条？”我扫一眼——失效名单里，排第三的居然是他自己主站的友链地址，链接文本写的是“行业观察”，href 是 http://xxx.com/guancha，可状态显示“目标页无法访问”。我点开，能打开；再点站长平台“外链分析”，又显示“无效”。我抓包重放请求，发现百度校验时加了额外 header：X-Bot-Verify: v3，而我们 Nginx 里恰好有条规则，把所有带 X-Bot-Verify 的请求，一律丢进 /dev/null ——因为前年防恶意扫描，运维老李写的，忘了注释，也忘了告诉任何人。这个规则去年七月上线，用了八个月，零报错，直到三月六号凌晨两点十七分，它第一次咬住了百度的牙齿。

文章配图，仅供参考

　　说到底，这玩意儿没道理可讲。你跟 SEO 服务商讲空格的事，对方说“不可能影响收录”，转身就推“内容深度不足”报告；你跟同行聊 header 空格，老张说“我们早砍掉 content-type 校验了”，可他不知道他们 CDN 默认 trim 了响应头；你跟客户解释“百度校验头被丢弃”，客户说“那快换个 CDN”，可换完之后，新 CDN 自带 WAF 规则，会把 User-Agent 里带 spider 的请求，主动塞进一个叫 “/baidu-spider-shield” 的伪路径里，而我们的后端根本没这条路——结果蜘蛛来一趟，返回 404，但日志里只记“404”，不记重写痕迹，得翻 CDN 原始 access.log 才看得见 rewrite_log 字段里那一行小字：“redirected to /baidu-spider-shield”。我看过三次这样的 log，三次都是不同 CDN，三次都发生在改版后第七天。规律？有。可靠？没有。

　　说到改版，想起九年前做站群那会儿，我们搞了三百多个模板站，全用 PHP include 拼首页，某天批量替换 footer 里的统计代码，脚本少写了个斜杠，把所有页面的 /js/stat.js 变成 /js/statjs，结果三天内，二百零七个站快照全退回到建站当天。那时没人怀疑是路径问题，全在查是否被判断为低质站群。后来我一个人蹲机房，拿 telnet 连每个站的 80 端口，手敲 GET /js/statjs HTTP/1.1，挨个看响应头里的 Server 字段——发现其中一百一十三个站，Server 显示是 “nginx/1.4.6 (Ubuntu)”，而剩下那些是 “nginx/1.10.3”，版本不同，处理 404 的方式居然不一样：旧版直接回 404 + 空 body，新版会自动 fallback 到 index.php，再走一遍路由……所以有些站蜘蛛还能继续抓正文，有些站直接卡死在 JS 报错里。这种事，谁写进 SEO 白皮书？写了也没人信。

　　我桌上烟灰缸堆满了，第三根烟快烧到手指才弹掉 ash。群里又响了一声，是客户发的语音，三十秒，我点开，他声音发紧：“王工，上午百度客服说，‘系统检测到贵站存在异常抓取抵抗行为’……啥叫异常抓取抵抗？”我没回。抵抗？我连蜘蛛进来的门朝哪开都不知道。我只看见日志里，同一 IP，同个 UA，抓了第一个页面返回 200，第二个页面返回 503（被限流），第三个页面返回 302（跳转到 /?from=spider），第四个页面直接 timeout——可 Nginx error.log 里干干净净，没报任何 upstream 错误，只有 access.log 里那个 timeout 行，后面跟着个破折号，表示 $upstream_response_time 没值。这个破折号，比所有算法公告都诚实。

　　优胜劣汰不是形容词，是动词。不是“优质内容胜出”，是“漏掉空格的人活下来，漏掉 header 的人掉队，忘了关 WAF 的人重做首页”。站长圈从不公开的日志技术真相？真相就是没人敢公开——怕被当成甩锅，怕被说吹牛，怕客户觉得“原来就这点破事还收我三万”……可它真的就这点破事。我掐灭烟，抬头看见窗外雨停了，对面楼晾衣绳上挂着三条裤衩，两条蓝的，一条灰的，风一吹，灰的那条转了个圈，正对着我办公室窗户。

　　明天先把手上那批页面删一半试试。

（编辑：站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!