创业老炮儿不讲方法论，只晒17个技术踩坑实录

　　去年6月份，我蹲在客户服务器后台刷日志，雨下得不紧不慢，阳台那件灰衬衫还挂着，没收。隔壁装修的电钻声每到整点准时嗡一下，像给我的焦虑打节拍。

　　群里老张发了个“????”表情包，配字：“快照回退到五月十八号。”我回了个“嗯”，手指悬在键盘上三分钟，没敲下去。我原以为是cdn缓存没清干净，结果查了七遍header，304全对，200全错——页面本身都正常返回了，可爬虫就是不认。

　　那天下午三点十七分，客户微信弹出来：“王工，首页不收录了。”我没截图，但记得他后面跟了个句号，不是感叹号。语气比催房租还轻。我手边烟盒空了，抽最后一根时烫了手背，没吹，就盯着那点红慢慢暗下去。

　　查一下收录。先登站长平台，点“资源提交”，再切到“索引量”，往下拖——停住。不是掉了一半，是三百七十二个词，剩了不到四十个。再切回“URL检查”，输首页，显示“未被收录”。我换了三个浏览器，又换手机扫二维码进平台，一样。不是登录态问题。这个我敢打包票。

　　接着翻友链。李总那边站挂了，他上周还在群里晒新站权重，今天域名点不开，连DNS都解析失败。他昨晚语音说：“估计是云服务到期忘了续。”我说：“你友链我这儿挂着呢。”他愣了两秒，说：“啊？我早删了。”我没说话。其实删没删我不确定，但昨天抓取日志里还看到他站来过三次，UA带bot字样。到底是哪次更新的事我说不准，但六月五号那天凌晨两点，我手动清过一遍死链库，误删了三条带“/api/”前缀的静态页路由——就三条。现在看，它们全是百度快照里最后存的三个页面。

　　我盯了十分钟那条错误日志：404 /article/detail?id=8827。id=8827 这个值在数据库里存在，但前端渲染层压根没接它——改版时候把旧CMS的url规则全扔了，重写了router，却没补301。我们当时觉得反正是技术改版，用户不会记URL，爬虫更不会。结果它真不会记，但它会记住“这里以前有东西，现在没有了”，然后回头把整个目录树标灰。快照退回到五月，不是因为内容没了，是因为路径断了，它不敢信新地址。

　　客户要的是方法论。他说：“你们SEO干这行七年，总该有一套标准动作吧？”我没答。我在想周胖子当年做站群的事。那会儿他用Python批量生成五百个站，每个站放三十篇采集文，关键词堆到标题里第三个字就开始飘红。他那批站活了八个月，全死在同一个蜘蛛池封禁公告里——不是算法更新，是IP段被整块拉黑。他至今觉得是代理不够多，其实人家压根没爬，只是ping通了所有IP，发现响应头里都带“X-Powered-By: SpiderKing-V2.3”。他自己写的签名没删干净。这玩意儿和收录没关系，但和信任有关。我后来见太多人，在meta里写“keywords=创业,seo,教程,干货”，写完还得加一句“本页已人工审核”。审核个屁，爬虫不看你这句话。

　　外链失效这事更哑巴吃黄连。陈工的站，三个月前还挂在我们友链栏第三位，首页title写着“SEO工具箱｜免费检测入口”。上个月他改版，把旧域名301跳转到了新子域，没设canonical。我们没动，但他那边rel="nofollow"加在了a标签上，且只加在首页链接那一处——其他栏目页友链还是follow。站长平台显示“外部链接”数降了四百二十个，实际掉的是“首页指向我们的锚文本数量”，可平台不告诉你这个。它就列总数，然后让你猜。群里小吴说：“是不是被识别成采集站了？”我心想，他连自己主域名都还没配https，证书是自签的，浏览器地址栏天天飘红锁，爬虫怕他怕得不敢伸手。

　　移动端和PC结果不一样？那天我和客户一起开共享屏幕，他点手机搜自家品牌词，排第二；我点电脑搜，前十不见。我让他打开开发者工具模拟iPhone，出来还是第二。我再切回真实手机——掉了。他又试，好了。我让他重启浏览器，再试，掉了。最后发现是他开了某个“极速搜索”插件，自动把移动端请求塞进百度M端通道里，而那个通道的索引库是独立的、缓存更久、更新更懒。插件作者早就跑路了，github仓库关了两年，readme最后一行写着“适配BaiduSpider-M 2021.04+”。我们查日志，根本没抓到M端UA。这个细节毫无价值，但它让我把“客户端差异”四个字从方案里划掉了。

文章配图，仅供参考

　　优胜劣汰不是口号。是有人改个rewrite规则，忘了加问号，导致所有带参数的URL全404；是有人把sitemap.xml放在根目录，但nginx配置里写了location ~ \\.xml$ { deny all; }；是有人在首页加了个“点击加载更多”按钮，点开的JS里埋了五百个隐藏关键词，结果首屏HTML只有2KB，爬虫没等JS执行就走了。这些事不讲道理，不讲算法偏好，不讲时间窗口。它只问：你有没有让它顺顺当当走完一遍？没走完，那就淘汰。至于方法论？方法论是活下来的人写的墓志铭。

　　我刚收到消息，客户把技术外包给了另一家公司。对方第一封邮件标题是《SEO健康度诊断与战略升级白皮书V1.2》。附件八十三页，带目录，带图表，带SWOT。我点开第一页，他们把快照日期当成收录时间在分析趋势线。我没回。窗外雨停了，但阳台衣服还在滴水。明天先把手上那批页面删一半试试。

（编辑：站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!