前几天过了一遍服务器的访问日志，404 那一列拉下来还是老长，中间夹着几条好几年前的地址，一看就是当年换程序留下的。那几个老网址后面跟的，不少还是搜索引擎蜘蛛的请求。
日志能看到 404 有多少条。链到它的那个页面在哪儿，日志里没写。
爬虫类的工具干的就是这个活。它把整个站顺着链接走一遍，走不通的挑出来，顺手记下每个页面返回的状态码。几百个页面的小站，跑一遍几分钟，几千个页面就得跑上小半天。出来的报告里，404 一列，301、302 又一列，标题重复、描述缺失这些也堆在同一份表里。我一般先扫 404 那列，再看跳转链。那种一连跳好几下的，点到最后落在一个不相干的页面上，多半是某次改版中间没接上。报告里偶尔还夹着几条 403，看着像死链，点开一看不一定是页面没了，服务器把爬虫挡在外面也会报这个。
还有一处是搜索平台自己的后台。百度搜索资源平台里有抓取异常和死链提交两个入口，Google 那边在页面索引和 404 报告里，记的都是它们自己爬的时候看到的东西。我以前只盯着自己这边看，那几个入口基本没点开过，后来发现有些地址它早就在报，我这边还在想当然。
站里想随时看也行，WordPress 装个链检查的插件，后台会多出一栏，哪条链接断了直接列在那儿，省了自己去日志里一条条翻。这类插件扫的时候吃资源，间隔定得越短吃得越多。
死链找出来之后怎么处理，得分两拨看。
老地址当年有流量、现在还有外链指过来的，这种做 301 指到新页面上。看那条链接还有没有人在访问就知道，后台里翻一眼的事。外链那头也能对一下，工具的外链报告里翻得到。没人管的那种，让它 404 就完了。我见过把死链一股脑跳到首页的站，后来收录比原来还乱。
同一份报告里，除了死链还堆着几类毛病。
有的页面状态码给的是 200，正文却没几个字，空壳一个。标题重复的一抓也是一批。再有被 robots 或 noindex 挡在外面的，这类在站里点开看着好好的，爬虫就是进不来。
现在我这边是改版前后各扫一遍，平时想起来就翻一趟日志，没按什么周期来。翻到没人访问的老地址就顺手记一下，凑一批再动手。
