Crawl4LLM – 清华和卡内基梅隆大学联合开源的智能爬虫系统-爱论文

Crawl4LLM是什么

Crawl4LLM 是清华大学和卡内基梅隆大学联合开源的智能爬虫系统，提升大语言模型（LLM）预训练效率。Crawl4LLM基于智能评估网页对 LLM 预训练的价值，优先抓取高价值网页，相比传统爬虫效率提升近 5 倍。Crawl4LLM支持三种爬取模式：智能模式、随机爬取模式和基于链接数量的爬取模式，同时具备爬虫状态定期保存、数据可视化等功能，能与 DCLM 框架无缝对接，直接用在模型训练。

Crawl4LLM的主要功能

智能化网页选择：系统基于评估网页对 LLM 预训练的价值，优先抓取高价值网页，提升数据质量、减少无效数据抓取。多种爬取模式：智能模式：基于网页价值评估，优先抓取高价值网页。随机模式：随机抓取网页，适用于非精准需求场景。基于链接数量模式：根据网页链接数量抓取，适合大规模数据采集。爬虫状态定期保存：支持定期保存爬虫状态，中断也能从中断点继续抓取，避免数据丢失。数据浏览与可视化：提供数据浏览工具和可视化界面，方便用户实时监控爬取进度和效果。与 DCLM 框架无缝对接：爬取的数据用在 LLM 预训练，提高数据流效率和准确性。

Crawl4LLM的技术原理

预训练影响力评分：Crawl4LLM 用预训练影响力评分器（如 DCLM fastText）对网页进行评分。评分器基于网页内容的质量、相关性等指标，评估网页对 LLM 预训练的贡献。在每次爬取迭代中，新发现的网页被评分器打分，根据分数决定爬取优先级。优先级队列：基于优先级队列对网页进行排序，优先爬取评分最高的网页，替代传统爬虫基于图连通性（如 PageRank）的调度机制。基于优先级队列，Crawl4LLM 快速发现和爬取对预训练最有价值的网页，减少对低价值网页的爬取。**度数据评估：Crawl4LLM 考虑网页内容的质量，结合网页的链接数量、内容长度等**度指标进行综合评分。分析高评分网页的链接关系，发现更多潜在的高价值网页。模拟与优化：在 ClueWeb22 数据集上进行大规模模拟实验，验证在不同场景下的有效性。基于实验优化算法参数，确保在有限的爬取量下达到最佳的预训练效果。减少对网站的负担：减少不必要的网页爬取，降低对网站的流量负担，提升爬取行为的合规性。Crawl4LLM 减少数据爬取对网站和网络资源的压力，推动了更可持续的预训练数据获取方式。