分布式追踪驱动建站资源优化：首屏提速3倍，存储降70%

　　我原以为是百度熊掌号下线的余波，结果查了一下收录，发现连快照都卡在十月十二号——那天下午三点十七分，隔壁装修的电钻声突然停了，我抬头看见阳台晾着的灰衬衫还滴着水，就顺手点开站长平台看蜘蛛抓取频次，结果跳出个“暂无数据”。

文章配图，仅供参考

　　群里老张发了个[呲牙]表情包，配字：“友链全绿了，但首页点进去404仨”。我没回，点了三遍“刷新索引量”，系统提示“正在计算”，这句我敢打包票——它从2025年9月28号起就没算完过。查一下收录，得先进后台点“资源中心”，再点“URL提交”，再等三秒加载进度条，才弹出那个小红框：“提交成功，等待校验”。校验？校验个屁，一百一十七个URL里，有四十六个校验失败，失败原因写的是“资源不可达”，可我刚用curl -I localhost:3001/landing 打过，返回200。

　　客户周三晚上十一点半微信语音炸进来，说“友链页面全变空白”，我一边接电话一边翻控制台，看到console里刷出三行红色：Failed to load resource: net::ERR_CONNECTION_RESET。不是404，不是502，是重置。我第一反应是CDN缓存中毒，第二反应是DNS被劫持，第三反应是——等等，这个error是不是从trace里见过？

　　于是翻Jaeger，翻了两小时，把10月7号到10号所有landing页的trace拉出来按duration排序，挑出前五十长耗时链路，挨个点开span详情。第七个trace里有个span标着“fetch-external-fonts”，耗时1.7秒，target是fonts.googleapis.com；可我们站点压根没引用Google Fonts。再往下拉，span tag里写着“auto-injected-by-cdn-plugin-v2.3.1”——是我们自己上个月为做AB测试悄悄塞进build脚本的埋点插件，它偷偷往每个HTML头部加了一串font preload，连HTTPS都没校验，直接裸连外网。百度蜘蛛一抓，触发CSP拦截，整个HTML解析中断，返回空body。收录掉了一半，不是算法降权，是蜘蛛压根没看到内容。

　　我说“优胜劣汰”，就是这个意思。不是谁更会写title，是系统自动筛掉那些带“不可达外部依赖”的页面。你留着三百七十二个词堆砌的H1，不如删掉一个乱写的script src。昨天运维小李端着保温杯路过我工位，指着屏幕说：“你那个trace图，像不像当年我们站群用泛目录时的蜘蛛路径？”——可不是么。2018年那会儿，蜘蛛顺着跳转链一路往下钻，爬到第十八层，发现是个404，但前面十七层都存了快照。现在呢？第一层卡住，后面全砍断。快照回退、索引消失、移动端和PC结果不一样……全是一个源头：你让蜘蛛读到了“错误的起点”。

　　抽烟的时候想到个事：十月初改版上线那天，市场部催着加个“实时在线客服”浮窗，技术说“前端埋点已接入”，我就点了上线。结果那浮窗JS每次加载都触发一次跨域iframe创建，iframe src是http://old-cms.example.com/live?uid=${Math.random()}——带随机参数，没加no-cache，CDN也不缓存，每次生成新URL，蜘蛛就当新页面抓。后台日志显示，十月份爬虫共抓取了两千八百零六次这类URL，全是404，全是同一IP段，全是同一User-Agent（Baiduspider/2.0）。蜘蛛没封你站，它只是把你归类成“生产垃圾URL的站点”，不索引、不快照、不传递权重——但它没告诉你原因，只默默给你减分。

　　我抽了半支烟，烟灰掉在键盘F键上，没弹。这时候小王在群里甩了个截图，是百度搜索资源平台的“抓取异常分析”，里面有一行：“检测到大量无效资源引用（含HTTP明文请求）”，后面跟着六个红色感叹号。我盯着那六个感叹号看了三十秒，想起上个月跟某SEO服务商吃饭，对方说“你们后端太死板，连个自动加canonical都搞不定”，我说“canonical是业务逻辑，不能自动”，他摇摇头笑：“现在谁还手写？”——呵，现在谁还手写？现在连robots.txt都敢用JavaScript动态生成。

　　到底哪次更新出的问题我说不准。可能是9月26号那次CDN配置热更新，也可能是10月3号前端CI流水线误升级了webpack插件，把public目录下的旧JS文件全打包进了新版HTML——但那些JS早该删了，三年前做的旧活动页残留。蜘蛛爬到它，发现代码里还调着一个已下线的支付接口域名，SSL证书过期，直接abort整个document解析。我们当时查死活查不到原因，因为日志里根本没报错，只有Chrome DevTools Network Tab里悄悄标了个灰色“failed”，而搜索引擎不打开DevTools。

　　楼下传来一声重物坠地声，应该是谁家装修扔了水泥块。我关掉Jaeger，切回数据库管理后台，扫了一眼pages表，status=‘active’的有八百四十二条记录，但其中三百一十九条的last_modified_time停留在2024年；这些页面，首页、关于我们、联系方式……全在导航栏挂着，蜘蛛天天爬，但内容早已下线。我鼠标悬停在delete按钮上三秒，没点。旁边烟盒空了，只剩一张皱巴巴的超市小票压在显示器底座下，写着“中华 22元”，日期是10月11号。

　　优胜劣汰不是口号，是trace里每一条红色span在投票。首屏提速3倍？是因为干掉了那些自动注入的第三方字体、客服SDK、监控埋点JS；存储降70%？是把三百一十九个僵尸页面从MongoDB里硬删了，备份都没留——备份？谁还存三年前的活动页JSON？明天先把手上那批页面删一半试试。

（编辑：站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!