高频采集如何避免压垮商家服务器？本站采集守护进程与三层缓存设计

每 5 分钟轮询一次 60+ 家店铺，会不会给小商户带来服务器负担？详细揭秘本站的 ETag/304 校验、不可变 raw 本地快照与防压垮限速策略。

爬虫工程师的职业道德底线

数据采集不应以破坏目标源站的正常运转为代价。本站在采集引擎中设立了严苛的限速防护：
- 同店铺单次请求间隔 ≥ 500ms，杜绝并发冲击；
- 源级请求间隔根据商户类型动态设定为 30min 至 12h；
- HTTP 指针层采用 ETag / If-None-Match：若商户商品目录未发生变动，直接返回 304 Not Modified，网络数据传输量几乎为零；
- 不可变 raw 缓存：抓取的原始 JSON 先落地为本地文件，离线清洗不重复请求。