Crawl4LLM: un rastreador web diseñado para el preentrenamiento de LLM 198

¿Qué es Crawl4LLM?

Crawl4LLM es un tool de rastreo web desarrollada conjuntamente por la Universidad Tsinghua y la Universidad Carnegie Mellon, diseñada específicamente para el preentrenamiento de modelos de lenguaje grandes (LLM). Es capaz de evaluar de forma inteligente la utilidad de las páginas web para el preentrenamiento de LLM, priorizando las páginas valiosas y reduciendo la captura de contenido irrelevante. Con solo el 21% de los datos web rastreados, logra el mismo rendimiento que al capturar todos los datos anteriormente, lo que mejora la calidad de los datos y aumenta significativamente la velocidad de rastreo.

Información del proyecto:

• Origen: proyecto de código abierto desarrollado en colaboración entre Tsinghua y la Universidad Carnegie Mellon.

• Objetivo: resolver los problemas de baja eficiencia de rastreo y mala calidad de datos de los rastreadores tradicionales, haciendo que el preentrenamiento de LLM sea más eficiente.

Principales funciones de Crawl4LLM:

Selección inteligente de páginas web

• Evaluación inteligente: puede determinar automáticamente si una página web es útil para el preentrenamiento de LLM, rastreando primero las páginas valiosas.

• Alta eficiencia: rastrea muchas menos páginas web que los rastreadores tradicionales, con un rendimiento similar o incluso mejor, aumentando la eficiencia aproximadamente 5 veces.

Múltiples métodos de rastreo

• Modo inteligente: el modo principal, que selecciona y rastrea automáticamente páginas web valiosas.

• Modo de rastreo aleatorio: se puede usar cuando la selección precisa del contenido de la página no es esencial.

• Modo de rastreo por número de enlaces: se puede usar cuando se necesita capturar grandes volúmenes de datos.

Gestión de estado y recuperación

• Guardado periódico: puede guardar periódicamente el estado del rastreador; si se interrumpe, puede continuar desde el último punto sin perder datos.

Herramientas de visualización de datos

• Visualización intuitiva: incluye herramientas de exploración de datos para revisar los datos capturados y conocer el progreso y los resultados en cualquier momento.

Compatibilidad e integración

• Integración con el framework DCLM: puede extraer ID de documentos, obtener el contenido de los documentos y conectarse sin problemas con el framework de preentrenamiento del modelo de aprendizaje profundo (DCLM), listo para entrenar el modelo directamente.

Detalles técnicos de Crawl4LLM:

• Arquitectura modular: incluye módulos como el programador del rastreador, el analizador de páginas web y el almacenamiento de datos.

• Manejo de errores: cuenta con sólidas capacidades de corrección de errores y reintento automático, garantizando una recolección de datos estable.

• Gestión de calidad de datos: puede eliminar duplicados y limpiar los datos, asegurando que la calidad sea buena y consistente.

Escenarios de aplicación de Crawl4LLM:

• Preentrenamiento de LLM: proporciona datos de calidad para el preentrenamiento de LLM a gran escala.

• Construcción de conjuntos de datos: crear sus propios conjuntos de datos.

• Optimización de motores de búsqueda: analizar y mejorar estrategias de SEO.

• Monitoreo y análisis web: observar las condiciones de la red en tiempo real.

• Análisis web y monitoreo: realizar análisis de sentimientos y otros análisis de datos.

Cómo usar Crawl4LLM:

1. Preparación:

• Obtener el conjunto de datos ClueWeb22.

• Crear un entorno virtual de Python e instalar las bibliotecas necesarias (numpy, tqdm, fasttext, pyyaml, wandb).

• Descargar el clasificador DCLM FastText y colocarlo en el directorio especificado.

2. Crear el archivo de configuración: cree un archivo de configuración YAML en el directorio configs/, especificando parámetros como la ruta del conjunto de datos, la lista de documentos semilla, el directorio de salida, el número de documentos seleccionados por iteración, el número de hilos de trabajo, la frecuencia de guardado del estado de rastreo, el número máximo de documentos a rastrear, el método de selección de documentos, el método de ordenamiento y si se habilita el registro en wandb.

3. Iniciar el rastreador: ejecute python crawl.py crawl --config en la línea de comandos

Crawl4LLM es un sistema de rastreo altamente especializado, ideal para el preentrenamiento de modelos de lenguaje grandes. Sus avanzados algoritmos y características técnicas permiten mejorar notablemente la eficiencia y la calidad de los datos rastreados, lo que contribuye a acelerar el desarrollo de los modelos de lenguaje grandes.

Repositorio de GitHub:https://github.com/cxcscmu/crawl4llm

Enlace del artículo:https://arxiv.org/pdf/2502.13347