Cloudflare lanza AutoRAG: un pipeline RAG totalmente gestionado 62

¿Qué es AutoRAG

AutoRAG es un pipeline de RAG completamente gestionado, impulsado por Cloudflare. RAG es un método que recupera información de los datos del propio usuario y la proporciona a un modelo de lenguaje grande (LLM) para generar respuestas más precisas y contextualizadas.

Puntos débiles de los pipelines RAG tradicionales

Construir un pipeline RAG requiere ensamblar múltiplesherramientas y servicios, como almacenamiento de datos, bases de datos vectoriales, modelos de embedding, LLM, etc., y a medida que los datos cambian, es necesario reindexar y regenerar manualmente los embeddings para mantener la relevancia y el rendimiento del sistema. AutoRAG surge para eliminar esta complejidad, ofreciendo con unos pocos clics un pipeline RAG completamente gestionado de extremo a extremo, que abarca desde la ingesta de datos, el chunking y el embedding automáticos, hasta el almacenamiento de vectores en la base de datos Vectorize de Cloudflare, la realización de búsquedas semánticas y la generación de respuestas de alta calidad con Workers ai. Además, AutoRAG supervisa continuamente las fuentes de datos y las indexa en segundo plano, manteniendo la IA actualizada sin esfuerzo manual.

¿Por qué usar RAG?

• Limitaciones de los LLM : Aunque los LLM como Llama 3.3 de Meta son potentes, su conocimiento se limita a los datos con los que fueron entrenados, y a menudo tienen dificultades para ofrecer respuestas precisas sobre información nueva, propietaria o específica de un dominio. Proporcionar información relevante en el system prompt puede ayudar, pero aumenta el tamaño de la entrada y está limitada por la ventana de contexto. El ajuste fino de los modelos es costoso y requiere reentrenamientos continuos para mantenerse actualizado.

• Ventajas de RAG : RAG puede recuperar información relevante de las fuentes de datos en el momento de la consulta, combinarla con la consulta del usuario y enviarla junta al LLM para generar respuestas basadas en los datos del usuario. Esto hace que RAG sea ideal para casos de uso como robots de soporte impulsados por IA, asistentes internos de conocimiento, búsqueda semántica entre documentos, etc., donde las fuentes reales de información cambian constantemente.

Cómo funciona AutoRAG

• Proceso de indexación : es un proceso asíncrono que se ejecuta en segundo plano, comenzando automáticamente al crear AutoRAG y repitiéndose en bucle para reprocesar archivos nuevos o actualizados cada vez que finaliza el trabajo anterior. Durante la indexación, el contenido se transforma en vectores optimizados para la búsqueda semántica.

• Ingesta de archivos : AutoRAG lee los archivos directamente desde las fuentes de datos. Actualmente admite la integración con Cloudflare R2, donde se pueden almacenar documentos en formatos como PDF, imágenes, texto, HTML y CSV para su procesamiento.

• Conversión a Markdown : se utiliza la conversión a Markdown de Workers AI para transformar todos los archivos a un formato Markdown estructurado, garantizando la coherencia entre los distintos tipos de archivos. Para las imágenes, se usa Workers AI para detección de objetos y luego una conversión de visión a lenguaje, transformando la imagen en texto Markdown.

• Chunking : el texto extraído se divide en fragmentos más pequeños para mejorar la granularidad de la recuperación.

• Embedding : cada fragmento se embebe utilizando el modelo de embedding de Workers AI, convirtiendo el contenido en vectores.

• Almacenamiento de vectores : los vectores resultantes, junto con metadatos (como la ubicación de origen y el nombre del archivo), se almacenan en la base de datos Vectorize de Cloudflare, creada en tu cuenta.

• Proceso de consulta : es un proceso síncrono que se activa cuando el usuario envía una solicitud de búsqueda.

• Recepción de la consulta desde la API de AutoRAG : el flujo de trabajo de consulta comienza cuando envías una solicitud al endpoint de búsqueda de IA o de búsqueda de AutoRAG.

• Reescritura de la consulta (opcional) : AutoRAG ofrece la opción de reescribir la consulta de entrada utilizando uno de los LLM de Workers AI, transformando la consulta original en una consulta de búsqueda más eficaz para mejorar la calidad de la recuperación.

• Embedding de la consulta : la consulta reescrita (o la original) se convierte en un vector mediante el mismo modelo de embedding utilizado para los datos, para poder compararla y encontrar las coincidencias más relevantes.

• Búsqueda de vectores en Vectorize : se busca el vector de la consulta entre los vectores almacenados en la base de datos Vectorize asociada a AutoRAG.

• Recuperación de metadatos + contenido : Vectorize devuelve los fragmentos más relevantes junto con sus metadatos, y el contenido original se recupera del bucket de R2. Este contenido se pasa al modelo de generación de texto.

• Generación de la respuesta : se utiliza el modelo de generación de texto de Workers AI para generar una respuesta basada en el contenido recuperado y la consulta original del usuario.

Tutorial de uso de AutoRAG

Uso de la API de Browser Rendering : si el contenido no está en un bucket de R2, sino que todavía está en una página web o necesita renderizarse dinámicamente a través de la interfaz de usuario, puedes usar la API de Browser Rendering para rastrear tu propio sitio web y obtener el contenido que alimentará el RAG. La API REST de Browser Rendering ya está disponible de forma general, ofreciendo endpoints para operaciones comunes del navegador, como extraer contenido HTML, capturar capturas de pantalla y generar PDFs, entre otras. Además, próximamente se lanzará un endpoint de crawling que facilitará aún más la obtención de contenido web.

Paso 1: Crear un Worker para rastrear páginas web y subirlas a R2

1. Crea un nuevo proyecto de Worker llamado browser-r2-worker y selecciona las opciones correspondientes para configurarlo.

2. Instala @cloudflare/puppeteer para poder controlar la instancia de Browser Rendering.

3. Crea un nuevo bucket de R2 llamado html-bucket.

4. Añade la configuración correspondiente al archivo de configuración de Wrangler para que el Worker pueda usar Browser Rendering y el nuevo bucket de R2.

5. Reemplaza el contenido de src/index.ts con el código del script que rastreará las páginas web y las almacenará en el bucket de R2.

6. Despliega el Worker en tu cuenta de Cloudflare.

7. Prueba el Worker con una solicitud cURL para rastrear el archivo HTML de la página web y subirlo al bucket html-bucket.

Paso 2: Crear AutoRAG y supervisar la indexación

1. En el panel de Cloudflare, navega a AI > AutoRAG.

2. Selecciona crear un AutoRAG y completa el proceso de configuración, incluyendo seleccionar el bucket de R2 que contiene la base de conocimientos, el modelo de embedding, el LLM, la AI Gateway, asignar un nombre al AutoRAG y elegir o crear un token de API de servicio.

3. Una vez creado AutoRAG, creará automáticamente una base de datos Vectorize en tu cuenta y comenzará a indexar los datos. Puedes consultar el progreso del trabajo de indexación en la página de resumen del AutoRAG.

Paso 3: Probar y añadir a la aplicación

1. Una vez finalizada la indexación, puedes empezar a hacer preguntas a AutoRAG. Puedes preguntar en la pestaña Playground de la instancia de AutoRAG, por ejemplo: "¿Qué es AutoRAG?".

2. Si estás satisfecho con los resultados del Playground, puedes integrar AutoRAG directamente en la aplicación que estás construyendo. Si estás construyendo la aplicación con un Worker, puedes llamar a AutoRAG directamente a través del binding de AI.

Durante la fase de prueba abierta, AutoRAG es gratuito. Las operaciones de cómputo de indexación, recuperación y aumento no generarán costes adicionales en esta fase.

Introducción oficial detallada:https://blog.cloudflare.com/introducing-autorag-on-cloudflare/