本文描述一般的同步流程,不针对任何具体站点,也不涉及任何技术实现。
四道工序
第一道抓取:按列表或按链接把页面取回来。第二道清洗:去掉广告、脚本与无关元素,把内容整理成统一格式。第三道入库:写进自己的数据库,处理重复、缺失、编码问题。第四道发布:生成页面、更新索引,让访问者能看到。每一道都有耗时,也都有失败的可能。四道串起来,就构成了从「主站有了」到「这边也有了」之间的全部距离。理解这条链路,比记住某个页面的更新时间有用得多。
延迟主要出在哪一步
抓取通常最快,但也最不确定:多久抓一次、抓多少、遇到失败怎么重试,都取决于维护者的设置。清洗最容易被低估,因为格式混乱的页面需要判断哪些是正文、哪些是装饰,这一步经常要几小时到几天。入库的问题在一致性:同一篇内容可能在多个栏目重复出现,去重规则定得粗会漏,定得细会慢。发布最容易被看见,却最不耗时——它只是把准备好的东西展示出来。所以当有人问「为什么这边晚了三天」,答案往往在清洗,不在抓取。
「刚刚更新」不是实时性的证据
页面上的时间戳有三种可能:内容实际抓取的时间、页面生成的时间、模板渲染时自动填入的当前时间。第三种最危险,因为它每天都在变,看上去永远新鲜,实际上与内容毫无关系。判断一份镜像的新鲜度,看时间戳没有用,要看内容本身:主站最近新增了什么,这边有没有;主站最近改了什么,这边改了没有。这两个问题的答案,比任何时间标签都可靠。标签是别人写的,比对是自己做的。
可执行检查单
- 01判断新鲜度看内容差异,不看时间戳。
- 02抓取频率、清洗规则、去重标准,决定了延迟的量级。
- 03同一条内容在多个栏目重复出现,往往说明清洗与去重做得粗糙。
一个常见问题
为什么有的镜像几乎同步,有的慢一周
差别通常不在技术难度,而在投入。接近实时的同步需要持续运行的任务、稳定的带宽和处理失败的机制,这些都要人力和成本。慢一周的镜像往往是一次性抓取后长期不维护,只在想起来时补一次。所以同步速度可以反过来当信号:更新越规律,说明维护越持续;更新越随意,说明这个地址越可能是临时起意建起来的。即便更新出自自动化脚本,也代表有人在持续投入。
同步链路解释的三件事
第一,为什么内容会旧:链路有四道工序,每一道都要时间。第二,为什么删除传不过去:撤回不是链路上的一道工序,而是链路的反面——链路只负责「有」,不负责「没有」。第三,为什么两边计数不同:入库与发布各自维护自己的统计,从不互相校对。三件事看起来无关,其实是同一条链路的三个侧面。理解链路之后,很多看似奇怪的现象不必逐个解释,它们是同一机制的自然结果。