锦州企业做日志告警，防爬限流怎么配
上周一位锦州的企业负责人问我，网站一慢就要加带宽吗？先说结论：先看日志，多半是频次没人管。爬虫一次把页面扫一遍，带宽加多少都不够。北镇有家商户就吃过这个亏。我们的服务覆盖锦州全域，远程配合和上门都可以。
日志要留得住
日志留得全，才谈得上查。访问时间、来源地址、请求路径，这三项不能少。少一项，出事时就只能靠猜。我们一般这么办，会把访问记录按天切分，保存 30 天，交付含 1 年免费维护。凌海有家门店只存 3 天，想倒查也没得查。留得住，才查得动。
不翻等于没留。每天扫一眼异常状态码，几分钟就够。放到具体场景里，会看几条固定的统计口径。义县一家工厂早上开门先看昨天的异常访问，习惯了之后很顺手。看一眼，心里有底。
限流要按来源分
限流不能一刀切，容易误伤正常客户。按来源地址和接口分别限，正常访问不受影响。这一块我们通常会先观察一周的真实访问量。松山新区一家厂子把列表页限到每分钟 60 次，正常客户没什么感觉。爬取的那台机器很快就露了。分开限，才限得准。
爬得凶的要能单独处理。同一来源短时间内大量请求，可以直接拒掉。真做起来，会设一个观察名单。黑山有家公司的价格页被反复抓取，同行拿去比价。拦住之后，页面访问量降了一半。该拦就拦，不用客气。
告警要发到人
告警发到群里，很容易沉底。设置几条硬线：站点打不开、错误率突然升高。后台出现异常登录，也一样推给值班的人。在实施阶段，会把阈值写死，避免天天响。锦州经济技术开发区的几家企业把这几条定成值班的第一件事。响得少，才会有人看。
常见问题
日志要多久看一次
每天扫一眼异常，每周做一次汇总。看惯了，几分钟就能过一遍。
限流会不会误伤客户
按来源和接口分开限，正常访问影响很小。定之前先观察一周。
服务器要不要升级
先看日志再决定。多数卡顿是频次问题，升级硬件不一定解决得了。
锦州的企业做日志告警，先把日志留全、把限流按来源分开。频次管住了，扩容才不白花钱。你那边日均访问量和值班安排是什么情况？有需要的话，信服无限锦州会帮你把日志留存和限流规则过一遍。