做完得到什么
带采集时间、来源和缺失字段的CSV或JSON。
开始之前
- 允许采集的公开页面和目标字段
- Python与Scrapling;动态页面另需浏览器依赖
怎么做
- 先定义字段、唯一键、空值含义和原始链接。
- 静态页面先走HTTP,确认内容后再选CSS或XPath。
- 只有确实缺少动态内容时才启用浏览器;限制并发和请求频率。
- 对字段类型、记录数量及重复项做校验,再输出CSV或JSON。
带走这段提示词
从这些公开页面提取[字段]:[链接]。先检查访问条件和页面是否真正包含数据。优先HTTP读取,必须执行JavaScript时再用浏览器。每条附source_url和fetched_at,缺失字段留空并说明,不猜值。先给一页样本核对,再进行有频率限制的采集。
哪些地方要留意
- 隐身或反检测能力不能保证所有目标网站成功。
- 安装包和Skill存在,不等于目标站点的采集流程已验证。
来源与验证范围
已核对官方抓取与解析能力;本机发现软件包,不将安装状态记为该场景实测。