scrapy

Scrapy 是一个用于大规模网络抓取的 Python 框架。与 BeautifulSoup 不同（BeautifulSoup 解析单个页面），Scrapy 管理完整的抓取工作流程：跟随链接、处理分页、管理请求队列以及导出数据。当抓取需要从网站多个页面收集数据时使用它。