Crawl4LLM：LLMの事前学習のために設計されたWebクローラー 196

Crawl4LLMとは？

Crawl4LLMは、清華大学とカーネギーメロン大学が共同で開発した、大規模言語モデル（LLM）の事前学習専用のウェブクローラーツールです。LLMの事前学習におけるウェブページの価値をインテリジェントに判断し、有益なページを優先的に取得し、不要なページの取得を減らします。ウェブデータのわずか21%を取得しただけで、従来の全データ取得時と同等の性能を発揮し、データ品質の向上とクロール速度の大幅な高速化を実現しています。

プロジェクト概要：

• 出典：清華大学とカーネギーメロン大学の共同オープンソースプロジェクト。

• 目標：従来のクローラーにおける取得効率の低さとデータ品質の低さという課題を解決し、LLMの事前学習をより効率的にすること。

Crawl4LLMの主な機能：

インテリジェントなページ選択

• スマート評価：ウェブページがLLMの事前学習に役立つかどうかを自動で判断し、有益なページを優先的に取得します。

• 高効率：従来のクローラーよりも大幅に少ないページ数で、同等あるいはそれ以上の効果を得られ、効率はおよそ5倍向上します。

複数のクロール手法

• スマートモード：主要なモードで、有価値なページを自動で選択して取得します。

• ランダムクロールモード：ウェブコンテンツの詳細な選択が必要ない場合に使用できます。

• リンク数ベースクロールモード：大量データを取得したい場合に使用できます。

状態管理と復旧

• 定期保存：クローラーの状態を定期的に保存でき、中断した場合でも前回の続きから取得できるため、データを失いません。

データ可視化ツール

• 直感的な閲覧：データ閲覧ツールにより、取得したデータを確認し、進捗や効果をいつでも把握できます。

互換性と統合

• DCLMフレームワークとの連携：ドキュメントIDの抽出、ドキュメント内容の取得が可能で、ディープラーニングモデル（DCLM）事前学習フレームワークとシームレスに統合でき、モデル学習に直接活用できます。

Crawl4LLMの技術詳細：

• モジュールアーキテクチャ：クローラースケジューラー、ウェブページパーサー、データストレージなどのモジュールで構成されています。

• エラー処理：強力なエラー訂正と自動再試行機能を備え、データ収集の安定性を保証します。

• データ品質管理：データの重複排除とクリーニングが可能で、高品質で一貫性のあるデータを実現します。

Crawl4LLMの活用シーン：

• LLM事前学習：大規模LLMの事前学習に高品質なデータを提供します。

• データセット構築：独自データセットの作成に役立ちます。

• 検索エンジン最適化：SEO戦略の分析と改善に利用できます。

• ウェブモニタリングと分析：ネットワーク状況をリアルタイムで把握できます。

• ウェブモニタリングと分析への応用：感情分析やその他のデータ分析を行います。

Crawl4LLMの使用方法：

1. 準備作業：

• ClueWeb22データセットを取得します。

• Python仮想環境を作成し、必要なライブラリ（numpy, tqdm, fasttext, pyyaml, wandb）をインストールします。

• DCLM FastText分類器をダウンロードし、指定されたディレクトリに配置します。

2. 設定ファイルの作成：configs/ディレクトリ下にYAML設定ファイルを作成し、データセットパス、シードドキュメントリスト、出力ディレクトリ、各イテレーションで選択するドキュメント数、ワークスレッド数、クロール状態の保存頻度、最大クロールドキュメント数、ドキュメント選択方法、ソート方式、wandbログ記録を有効にするかどうかなどのパラメータを指定します。

3. クローラーの起動：コマンドラインでpython crawl.py crawl --configを実行します

Crawl4LLMは、非常に専門的なクローラーシステムであり、大規模言語モデルの事前学習に適しています。その先進的なアルゴリズムと技術的特徴により、データ取得の効率と品質が顕著に向上し、大規模言語モデルの発展をより加速させることができます。

GitHubリポジトリ：https://github.com/cxcscmu/crawl4llm

論文アドレス：https://arxiv.org/pdf/2502.13347