全栈建站者私藏的Ruby运维资源清单

　　去年九月十八号下午，查收录。先开 Chrome 登录 Webmaster Tools，点“索引状态”，等那个转圈的蓝色圆环转三圈半——它每次转得慢，我就多等半圈，怕它卡在加载里骗我。然后手动输 site:domain.com，回车，数前二十页的条目数，手边拿便签纸折角，铅笔划掉重复的。第三遍核对的时候发现首页居然排在第十七位，点进去，快照日期是七月十一号。我原以为是 CDN 缓存没刷干净，结果连着清了七次 Rails.cache.clear、重启 puma、删掉 public/assets 目录下的全部 manifest.json 之后，快照还是七月十一号。

文章配图，仅供参考

　　到底哪次更新的事我说不准。是五月那次 Google 爬虫 UA 变更？还是六月百度偷偷把 Ruby on Rails 模板渲染的页面识别成“JS 渲染风险页”？反正八月底我亲手写的那个 /sitemap.xml.erb，生成逻辑是遍历 Active Record 所有 Post.where(published: true).order(:updated_at)——但爬虫就是不抓，反复提交，状态一直是“已提交，未索引”。我敢打包票：那段 XML 头声明没写错，UTF-8 BOM 也没带，content-type 返回的 text/xml；可它就是不认。客户老周早上十点二十三分微信语音弹进来，声音劈叉：“你上次说‘静态化就能稳’，现在首页都搜不出来了！”我没接话，把语音拖到进度条中间停住，听他喘气的声音像旧服务器风扇在卡轴。

　　隔壁装修的电钻声下午两点准时响起，哒、哒、哒、哒，每四下停一秒。我趁那秒静音，把 config/environments/production.rb 里 cache_classes = false 改回 true，然后 git push 到 staging。三分钟后，monitoring 页面报 502。不是 Nginx 的锅，是 puma 启动后卡死在 require 'bcrypt' 那行。Ruby 3.1.4 和 bcrypt 3.1.18 在某次内核补丁后握手失败——这事我没跟任何人提，就自己在 .bash_history 里翻出三个月前的 bundle list | grep bcrypt，抄了旧版本号，硬 downgrade 回去。损失多少钱只用半句：够付两个半月运维外包费。

　　我原以为改用 Turbolinks + Server-Side Render 就能避开“首屏 JS 渲染陷阱”，结果百度蜘蛛一进来，先读到 ，再抓 _escaped_fragment_=，最后落进一个空 layout_application.html.erb 里——因为我的 render_to_string 没传 @posts 实例变量，而那个 layout 里恰好写了 。@posts 是 nil，partial 渲染时报 500，但错误被 rescue_from Exception 拦了，只写日志，不抛错。所以蜘蛛看到的是 HTTP 200 + 空 HTML + meta 描述字段全是“undefined”。我检查了十二次 response.body.length，全都是 1487 字节。不多不少，整整一千四百八十七字节。

　　小马昨天还在 Slack 说：“你们 Ruby 人搞 SEO 就是太文艺。”他用 Next.js 做了个博客站，部署完立刻有收录。我反问他：“你 prerender 的 HTML 里嵌了几个 data-testid？”他秒回：“八个。”我回：“我上次 audit，发现 gem ‘meta-tags’ 默认插了十六个——三个是 schema.org 的 script type=ld+json，四个是 og:，剩下全是 twitter:card 套壳。百度蜘蛛扫到第七个 script 标签时，直接丢包走人。”他说不信。我把截图发过去，他没回。后来我查 server 日志，那天百度 UA 共访问 372 次，其中 369 次请求路径是 /apple-touch-icon.png —— 跟我们代码里 asset pipeline 写错的那个 favicon 链接有关。这事跟 SEO 没一毛钱关系，但它真的让 spider 认定这站“基础资产混乱”。优胜劣汰，就这么回事。不讲道理，不打预告，不给重试按钮。

　　有次帮朋友救一个被降权的老论坛，用 Rails 2.3.14 写的，数据库是 MySQL 4.1。我把它整个 clone 到本地，运行 rake db:migrate，报错：Mysql::Error: BLOB/TEXT column ‘content’ used in key specification without a key length。我翻了三天手册，最后发现是 index 在 text 字段上建了全文索引，但新版 MySQL 不认。我只好手写 migration 去掉那个 index，再换成 Sphinx。做完那天晚上喝多了，在朋友圈发：“Rails 是座老教堂，爬虫是穿西装的审计员，他们进门第一眼不看你祷告多诚，先看地砖缝里有没有灰。”评论区没人接，只有阿哲回了个“????”，附赠一条语音：“你当年站群那套，现在还有人信？”

　　我原以为把 robots.txt 里的 Disallow: /admin/ 加上斜杠结尾就能避免误伤，结果百度把 /admin/xxxxxxx 当成允许抓取，爬进去三百七十二个词，全是后台日志页面。它们没被索引，但消耗了 crawl budget。这事查了两周才摸清——不是正则匹配问题，是我们 nginx 重写规则里漏掉了 ^/$ 这个边界锚点。而我发现这个锚点，是在修另一个 bug 时，无意中打开 Chrome DevTools 的 Network 面板，看到一条 /admin/... 请求的 referrer 居然是来自友链站点的一个 404 页面。那个友链站长上周刚换过 CMS，把所有外链 URL 批量替换成了 /admin/… 开头的乱码——他的站本身早被降权，但我们没砍友链，于是被牵连了两次。第一次是他导出的 sitemap 把我们域名塞进 invalid_urls；第二次是他新模板的 footer.js 里硬编码了我们的首页 URL，并加了 rel=”nofollow noopener”…… 但百度不认 noopener。只认 nofollow，还当它是默认行为。

　　桌上的烟快烧到滤嘴，我捏着烫指尖把烟摁灭，烟灰落在 keyboard F5 键上。明天先把手上那批页面删一半试试。不是优化，是减负。让蜘蛛回来的时候，至少能看见三个干净的、没嵌套六个 JS 初始化脚本的、连 turbolinks:load 都没绑定的页面——哪怕只是 /about、/contact、/terms。别的，等雨停再说。

（编辑：站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!