测试架构师视角：运营中心三大支柱的技术实现

　　去年3月，我蹲在运营中心机房隔间里查收录——不是看百度站长平台那个红绿灯界面，是直接扒日志。空调外机滴水，一滴、两滴、三滴，砸在不锈钢接水盘上像倒计时。小陈当时还在群里发了个咧嘴笑的表情包，配字：“索引量涨了仨点。”结果他截图那会儿，后台正往ES里塞三百七十二个词的索引任务，塞到二百六十一就卡死，没人看见。

　　我原以为改版只动了模板层，结果前端工程师老周把history.pushState改成replaceState那天，连带着把所有带utm参数的页面生成了重复canonical——不是写错，是压根没配canonical。我说“这得重刷”，他说“缓存一小时就好”。可百度爬虫哪管你缓存几小时？它下午三点来，扫完就走，连个404都不留给你留口信。第二天快照回退到二月十八号，那页上还挂着春节促销倒计时动效，秒针停在23:59:58，不动了。

　　外链失效这事最邪门。客户王总凌晨两点微信语音炸进来：“友链全飘红！你们是不是动了服务器？”我没回，先翻了下CDN日志——原来上周四，运维小李给全站加了个自动压缩JS的规则，顺手把友链域名白名单里的“www”给删了。三百多个友链，有两百零七个带www前缀，剩下那一百来个，恰好是当年我亲手做的站群里的子站。对，就是2016年那批，后来被清掉八成，剩下几十个我当纪念品养着。它们现在反向拖累了主站，因为跳转链路上突然多了一层302，而百度最近半年不收302链了。这个我敢打包票，但到底是哪次更新的事我说不准——是2月17号的算法补丁，还是3月4号的爬虫UA策略调整？我不赌。

　　阳台的衣服没收。下雨第三天，灰蓝色衬衫挂在那儿，吸饱水往下滴，一滴砸进塑料盆，哐当一声。隔壁装修电钻声又来了，每三十秒响一次，像打拍子。我就在那种节奏里，盯着一个叫“运营中心三大支柱”的PRD文档发呆。三大支柱？呵。第一根写着“内容供给体系”，第二根“用户反馈闭环”，第三根“数据驱动决策”。漂亮。可没人写第四根：怎么让百度蜘蛛别把这三根柱子当废料回收站。

　　查一下收录。先登账号；再点左侧菜单第三项；再等三秒加载；再点“索引量查询”按钮；再输入domain:xxx.com；再选日期范围；再点击搜索——弹出个空表格。这时候我才想起来，上周五刚换过token密钥，但百度站长平台没同步权限组，旧密钥失效了三天。小陈还在群里发那个笑哭表情，说“今天流量回暖了”，我切回浏览器看他转发的截图——是UV，不是收录。他根本没看收录。

　　移动端和PC结果不一样这事，真不是玄学。我们测试环境压根没跑过双端对比。测试用例里只写了“页面加载成功”，没写“加载结果一致”。客户要的是能点开的页面，不是能同时出现在手机搜和电脑搜首页的页面。直到王总拿着他iPhone截图冲进会议室，指着两屏结果问我：“哪个算真实收录？”我看了眼他手机——首页第一页第三条，是我们一个删了两年的活动页，标题还带着“2021年度大促”。我翻后台，那页HTML文件早就被rm -rf掉了，只剩Nginx返回的自定义404页面，还被缓存了18个月。

　　采集被识别那晚我在抽烟。烟灰缸里堆着七截烟头，第三截还冒着细烟。监控报警说某IP每分钟抓127次详情页。我们加了滑块验证。结果它换了个User-Agent，把cookie池轮了一遍，半小时后从另一个C段IP重新开始。我调出原始请求头看了一眼——User-Agent里写着“Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)”。我愣了三秒。不是百度，是人，是同行，抄我们结构抄到连UA都懒得换。

文章配图，仅供参考

　　新站不收录这事我也干过。2008年自己搭的小站，挂了三个月没动静，最后发现robots.txt里写了Disallow: / ——就一行，前面加了BOM头，肉眼看不见。那次我没骂搜索引擎，骂了自己。这次我想骂SEO服务商，可他们合同里写得明明白白：“收录非服务承诺项”。所以只能骂自己。可骂自己又没用，因为问题不在人，在流程断层。架构师不管爬虫友好，爬虫工程师不管内容发布流，发布系统不知道百度索引周期。没人负责那个缝隙。优胜劣汰？对。活下来的不是最懂算法的，是最先把缝隙拿胶带糊住的。

　　前几天在茶水间碰见产品汪总监，她端着杯子说：“三大支柱落地了，下周做复盘。”我没接话，顺手把她保温杯盖拧松了半圈——水汽立刻顶开缝隙，嘶地一声。就像我们那套所谓“智能调度”接口，每次返回JSON，字段顺序随机，缓存键永远失效，而百度只认稳定结构。

　　明天先把手上那批页面删一半试试。不是按流量删，是按URL里含不含“v2”、“beta”、“temp”这些词删。反正已经这样了，再坏也坏不到哪去。要是删完还没起色，就去找小陈借他那台Mac，装个Safari，手动模拟蜘蛛跑一遍JavaScript渲染链路。不为别的，就想看看，到底哪一步，让那个本该显示在第一页第三位的页面，最终躺在了爬虫的404垃圾桶最底层。

（编辑：站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!