网站一改版爬虫就废？Scrapling 让元素自愈

爬虫工程师的宿命循环：写好爬虫，网站改版，选择器失效，重写。9.7 万星的 Python 框架 Scrapling 把矛头对准了这个循环，README 里最硬的一条特性是智能元素追踪：网站变了，它靠相似度算法把目标元素重新找回来。

解析与提取层面，它提供 CSS、XPath、文本和正则搜索、自适应元素追踪、相似元素匹配，还能输出干净的 Markdown。抓取层分两套：Fetcher 走快速隐蔽的 HTTP 请求，可以伪装浏览器 TLS 指纹、支持 HTTP/3；StealthyFetcher 走 Playwright 驱动的完整浏览器，自带隐身能力，README 称可轻松绕过 Cloudflare 的 Turnstile 和插页式验证。

新版的爬行框架相当完整：Scrapy 风格的 Spider API，start_urls 加异步 parse 回调；并发爬取带每域节流和下载延迟；断点续爬用 crawldir 存 pending 请求，Ctrl+C 优雅停下、原目录接着跑；流式模式用 async for 实时吐出条目和统计，适合接管线和长跑任务。AutoThrottle 值得一提：它根据网站响应速度自动调各域的延迟，被封或限流时自动加倍（或按 Retry-After 等），风头过去再提速，还有可选的 robots.txt 遵守开关。模板方面备好了 CrawlSpider、SitemapSpider、XML/CSVFeedSpider 和 ShopifySpider 商品爬取。

反封锁的细节也堆得很满：代理轮换器支持循环和自定义策略；浏览器抓取可屏蔽约 3,500 个广告跟踪域名；DNS-over-HTTPS 防代理下的 DNS 泄漏；不用本地起浏览器时可以经 CDP 直连远程浏览器。一个冷门但好用的能力是后台 API 捕获：record_requests=True 开启后，翻页过程中的接口响应都能事后用 session.network.search 检索，不必重新发请求。

对个人用户，Scrapling 的价值在把散装的反爬技巧收拢成了一套有默认值的框架；对数据团队，断点续爬加自动调速意味着长时间任务不用人盯着。老规矩提醒一句：抓数据前看清目标网站的条款和当地法规。