数据采集的合法边界：能采什么、不能采什么

"帮我抓一下某网站的数据"——这类需求很常见，但必须先把边界说清楚。做技术的如果不懂这条线，很容易把客户和自己一起带进坑里。

合法的采集长什么样

• 抓公开可访问的页面，不需要登录、不需要破解验证码
• 遵守目标站 robots.txt 的约定
• 控制频率，不影响对方服务器正常运行
• 只用于自己内部分析、比价、舆情监控等用途
• 不抓取、不存储个人隐私信息（手机号、身份证、住址、行踪）

四条红线

1. 绕过技术保护措施。破解登录、绕过验证码、伪造 token 获取非公开数据，可能触犯《刑法》第 285 条非法获取计算机信息系统数据罪。这条不是"罚款了事"的级别。

2. 抓取个人信息。《个人信息保护法》下，未经同意收集、使用个人信息要担责。抓取用户昵称、头像、手机号并储存，风险很高。

3. 抓来直接商用或转卖。把别人的商品数据、内容数据打包卖给第三方，涉及不正当竞争和著作权。

4. 高频请求打垮对方服务。可能被认定为破坏计算机信息系统。

实操上的安全做法

给客户做采集项目时，我们固定做这几件事：

• 先看目标站的 robots.txt 和用户协议，把结论写进方案文档
• 默认 1 – 3 秒间隔，遇到 429/503 自动退避，不做并发轰炸
• 请求头带真实 UA 和联系方式，方便对方联系
• 只存业务必需字段，不存整页 HTML，不存个人信息
• 数据只落客户自己的服务器，不经我们中转

更好的替代方案

很多时候客户真正要的不是"爬"，而是"数据"。这时候优先考虑：

• 对方有没有开放 API（很多平台有，只是没宣传）
• 有没有官方数据合作渠道
• 能不能买第三方合规数据服务

这三条都比爬虫稳，而且不会某天因为对方改版全部失效。我们遇到过客户花两万做的爬虫，对方一次前端重构就全废了，重写又要一万。用 API 就没这个问题。

我们能做什么

公开数据采集、竞品价格监控、行业舆情汇总、政府/协会公开数据整理——这些是我们常做的。涉及需要登录的、涉及个人信息的、涉及绕过技术措施的，我们不做，也会直接告诉你为什么。