AI Summary按项目使用的包管理器执行（pip / uv 等价命令见 ）： 先查阅 ，确认授权、robots.txt / ToS、Prompt injection、cookie 保存与 redaction 边界。 简单文本 / Markdown / selector 抽取优先用 Scrapling CLI quick path，并默认加 ：
Install
Copy this and paste it into Claude Code, Cursor, or any AI assistant:
I want to install the "scrapling" skill in my project. Please run this command in my terminal: # Install skill into your project mkdir -p .claude/skills/claude-code-skill-scrapling && curl --retry 3 --retry-delay 2 --retry-all-errors -o .claude/skills/claude-code-skill-scrapling/SKILL.md "https://raw.githubusercontent.com/Cedriccmh/claude-code-skill-scrapling/master/SKILL.md" Then restart Claude Code (or reload the window in Cursor) so the skill is picked up.
Description
使用 scrapling 进行网页抓取和数据提取。根据目标网站特征自动选择最佳 Fetcher， 生成并执行 Python 脚本完成任务。Use when: (1) 抓取/爬取网页内容或数据（scrape, crawl, fetch page, extract data） (2) 需要绕过 Cloudflare/WAF 等反爬保护 (3) 登录后抓取受保护页面 (4) 解析已有 HTML 提取结构化数据 (5) 用户提供 URL 并要求获取页面内容或特定元素 (6) 批量采集多个页面
步骤 0：检查版本
`bash python -c "import scrapling; print(scrapling.__version__)" ` 按项目使用的包管理器执行（pip / uv 等价命令见 references/maintenance.md）： • 未安装 → 安装 scrapling[fetchers] + scrapling install • 有新版 → 升级 → 查 changelog 告知用户 • 已最新 → 继续 > 项目根存在 uv.lock 或 pyproject.toml 含 [tool.uv]，优先用 uv（uv add / uv run scrapling install）；否则用 pip。
步骤 1：安全预检与 quick path
先查阅 references/security.md，确认授权、robots.txt / ToS、Prompt injection、cookie 保存与 redaction 边界。 简单文本 / Markdown / selector 抽取优先用 Scrapling CLI quick path，并默认加 --ai-targeted： `bash scrapling extract get "https://example.com/article" article.md --ai-targeted scrapling extract fetch "https://example.com/app" app.md --ai-targeted --network-idle scrapling extract stealthy-fetch "https://protected.example.com" page.md --ai-targeted --solve-cloudflare ` CLI 无法满足复杂登录、多页流程、结构化字段或复用代码时，再生成 Python 脚本。
步骤 2：选择 Fetcher
` 目标网站 → │ ├─ 已有 HTML 字符串/文件，只需解析? │ → Selector（纯解析，无网络请求） │ → 模板: parse_only.py │ ├─ 静态页面，无 JS 渲染，无反爬? │ → Fetcher（最快，基于 curl_cffi） │ → 模板: basic_fetch.py │ ├─ 需要登录（HTTP 表单，非 JS 登录）? │ → FetcherSession（保持会话 cookie） │ → 模板: session_login.py │ ├─ 有 Cloudflare / WAF 保护? │ → StealthyFetcher（Camoufox 浏览器，自动过 CF） │ → 模板: stealth_cloudflare.py │ ├─ SPA 应用（React/Vue），需要 JS 渲染? │ → DynamicFetcher（Playwright 浏览器） │ → 基于模板即时生成 │ └─ 不确定? → 先用 Fetcher 试，403/空内容 → 升级到 StealthyFetcher ` 复杂 crawl / Spider / adaptive scraping / MCP / proxy rotation 等高级能力，不在本轻量 skill 内展开；先查 references/upstream-map.md，再按 upstream 官方文档补充。
步骤 3：执行工作流
` • 检查版本（步骤 0） • 安全预检（步骤 1） • 查阅 references/site-patterns.md；如果存在 references/site-patterns.local.md，也先查本地 overlay • 简单抽取 → 优先 CLI quick path + --ai-targeted • 复杂流程 → 用决策树选择 Fetcher，读取对应模板，替换参数，生成完整脚本 • 执行脚本 / CLI → 返回最小必要结果 • 沉淀经验（必做）: • 新通用站点类型 → 去敏感化后追加到 references/site-patterns.md • 私有站点 / 公司站点 / 登录态细节 → 追加到 references/site-patterns.local.md（不提交） • 用户明确授权保存真实 cookie → 保存到 references/cookie-vault.local.md（不提交，必须 redact 输出） • 完成抓取后必须检查：是否有新的 cookie 或 site pattern 需要保存，以及是否属于 local overlay `
Discussion
Health Signals
My Fox Den
Community Rating
Sign in to rate this booster