● 资料核对FIELDNOTE / 004

把公开网页中的表格提取成结构化数据

用明确字段和选择器采集,而不是把整页HTML反复扔给模型。

Scrapling · Python核对于 2026-10-19进阶

做完得到什么

带采集时间、来源和缺失字段的CSV或JSON。

开始之前

  • 允许采集的公开页面和目标字段
  • Python与Scrapling;动态页面另需浏览器依赖

怎么做

  1. 先定义字段、唯一键、空值含义和原始链接。
  2. 静态页面先走HTTP,确认内容后再选CSS或XPath。
  3. 只有确实缺少动态内容时才启用浏览器;限制并发和请求频率。
  4. 对字段类型、记录数量及重复项做校验,再输出CSV或JSON。

带走这段提示词

从这些公开页面提取[字段]:[链接]。先检查访问条件和页面是否真正包含数据。优先HTTP读取,必须执行JavaScript时再用浏览器。每条附source_url和fetched_at,缺失字段留空并说明,不猜值。先给一页样本核对,再进行有频率限制的采集。

哪些地方要留意

  • 隐身或反检测能力不能保证所有目标网站成功。
  • 安装包和Skill存在,不等于目标站点的采集流程已验证。

来源与验证范围

已核对官方抓取与解析能力;本机发现软件包,不将安装状态记为该场景实测。

接着看看