Go建站性能优化与高效存储实战

　　去年九月，我亲手把一个跑得还行的老站切到 Go 重写——不是为性能，是图个清爽。结果十一月底查收录，发现首页掉了一半，三百七十二个词，全卡在“正在索引”里不动。群里老张发了个[裂开]表情包，配文：“你那站快成快照坟场了。”我没回。阳台衣服没收，晾着两件灰衬衫，风一吹就啪啪打防盗网。

　　我原以为 Go 启动快、内存稳、静态文件吐得利索，爬虫肯定爱来。结果它爱不来。查一下收录，打开站长平台；再查一下，点开那个绿色小箭头；第三次查，得等它加载完三秒空白页——中间隔壁装修的电钻声轰了四十七秒，我数过。那天在下雨，窗缝渗水，在键盘左边积了指甲盖大一滩，我拿纸巾按了三下，没吸干。

　　客户王总凌晨一点发微信语音：“林工，百度APP里搜我们品牌，前三页没我们自己站。”他说话带喘，可能刚跑步回来。我没听第二遍。删掉那段语音，顺手把浏览器里开着的七个抓取模拟工具全关了。其中三个根本没响应，光标在输入框里闪，像死机，又像在冷笑。

文章配图，仅供参考

　　到底哪次更新惹的事？我说不准。是那次加了 go-cache 做路由层缓存？还是把模板从 html/template 换成 gotmpl 之后，页面生成多了毫秒级抖动？又或者……干脆就是 Googlebot 在九月某天午后三点十七分，突然认出我们返回头里的 Server 字段写着 “go/1.21 net/http”，然后默默把我们的抓取频次调到了每天 0.7 次？谁晓得。搜索引擎从不通知你，它只是不再敲门。

　　采集被识别这事最荒唐。有个采集站一直扒我们二级栏目列表，半年没封，切 Go 第二周就被它报“反爬失败”。他们技术在群里问：“你们是不是加了什么新指纹？”我没答。但我知道，是那个我随手加的 http.Header.Set("X-Powered-By", "Go") 被它当成了特征。而百度那边呢？连 X-Powered-By 都不读，它读的是 response body 里第四个 div 的 class 名里有没有连续三个小写字母加数字的组合——去年我帮人拆过一段它的 UA 解析逻辑，就一行正则，贼刁钻。可我早忘了具体是哪行。

　　说到这儿想起 2015 年做站群，那会儿还流行 nginx + lua 做动态渲染。我们租了七台低配 VPS，半夜轮着跑生成脚本，每个站建两个域名，A 域名放正常页，B 域名放加了隐藏锚文本的副本页。有次 B 域名被批量降权，A 域名纹丝不动。当时我就想，算法压根不care你代码多优雅，它只认行为痕迹。现在 Go 写得再干净，页面里少了一个 rel="nofollow"，外链页面多吐了半行空格，它照样把你从 PC 端搜索结果里拎出来，扔进移动快照池——同一个 URL，手机搜出来是 9 月 14 日快照，电脑搜出来是 7 月 3 日。不是缓存没清，是它故意的。

　　最烦的是 SEO 服务商。小陈上次来公司，带着一台 Mac 和一份 PDF，标题叫《Go 架构 SEO 兼容性白皮书》。他指着第三页说：“Go 的 HTTP/2 Server Push 会让蜘蛛误判内容优先级。”我让他现场演示怎么 Push 一个 title 标签。他试了五分钟，最后说：“这个功能我们建议禁用。”我盯着他屏幕上那个未保存的 Sublime 窗口，右下角显示时间：16:47，光标在 config.yaml 里闪，没动。桌上的烟灰缸堆了七截烟头，最上面那截还没熄透，青烟笔直往上飘，碰到空调出风口才散开。

　　优胜劣汰。这个词站得住。不是说 Go 不行，是它太快、太静、太不像一个“网站”了——没 PHP 那种热闹的错误提示，没 Node 那种乱七八糟的中间件日志，没 Python 那种满屏 traceback。它运行时几乎不咳嗽，所以蜘蛛路过时，连个响动都听不见，干脆绕道。它优，但淘汰的不是慢，是“像网站”的样子。当年我用 ASP 写站，IIS 报错页面里带服务器型号、ASP 版本、甚至物理路径，蜘蛛扫一遍就知道这站活得好不好。现在 Go 连 404 页面都干净得像墓碑，连个版权年份都不印。

　　上周六下午，我在办公室改 robots.txt，把 /api/ 和 /static/ 全放行了，因为小陈说“现代爬虫要抓 JS 资源”。改完不到两小时，索引量掉了一百多个。我盯着那个数字看了七分钟，没动。窗外电钻声又来了，这次是砸承重墙，咚、咚、咚，每一下都震得我显示器边框嗡嗡响。我想起去年九月上线那天，测试完最后一个页面跳转，顺手关掉终端，窗口关闭前最后一行字是：“server started on :8080”。没日志，没监控，没心跳。它就站在那儿，干干净净，一动不动。

　　明天先把手上那批页面删一半试试。删完不测性能，只看快照日期会不会往前跳一天。

（编辑：站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!