Paper2Code: convierte artículos de investigación en código funcional 78

¿Qué es Paper2Code?

Paper2Code es un sistema capaz de convertir trabajos de investigación en machine learning en frameworks de código funcionales. Fue desarrollado conjuntamente por el Korea Advanced Institute of Science and Technology y DeepAuto.ai, y genera código siguiendo un proceso de tres fases, similar a como lo haría un humano al desarrollar software: "planificación - análisis - codificación".

¿Cómo funciona Paper2Code?

• En la fase de planificación, primero se establece un marco general y se diseña la arquitectura del sistema, como dibujar diagramas UML y definir la estructura de archivos; luego se planifica cómo colaborarán los archivos y módulos, y finalmente se generan los archivos de configuración.

• En la fase de análisis, se examina en detalle la función de cada archivo, sus entradas y salidas, y cómo se conecta con los demás archivos.

• En la fase de generación, a partir de la planificación y el análisis previos, se genera código modular con relaciones de dependencia.

Funciones principales de Paper2Code

• Generación automatizada de código: capaz de transformar trabajos de machine learning directamente en repositorios de código completos, incluyendo la arquitectura del sistema, archivos de dependencias y archivos de configuración.

• Entrada multiformato: admite trabajos en formato PDF y LaTeX, y también puede convertir trabajos en PDF a formato JSON.

• Flujo de procesamiento en tres fases: cada fase cuenta con un agente especializado encargado de garanticen una estructura de código clara y fiel al significado del trabajo original.

• Fase de planificación: dibuja hojas de ruta de alto nivel, determina los componentes principales, modela las relaciones estructurales entre módulos, identifica dependencias entre archivos y el orden de ejecución, y genera archivos de configuración para que los investigadores puedan personalizar sus experimentos.

• Fase de análisis: analiza en detalle cada archivo y función, aclarando la funcionalidad, las interacciones y las restricciones de la arquitectura algorítmica.

• Fase de generación de código: sintetiza toda la base de código a partir de los resultados previos, asegurando la coherencia en las llamadas entre módulos, reduciendo errores y manteniendo la coherencia lógica.

• Evaluación de la calidad del código: admite evaluaciones con y sin referencia, con una puntuación del 1 al 5.

Ventajas:

• Generación de código de alta calidad: en el benchmark PaperBench, Paper2Code supera a los frameworks existentes de generación de código y a los métodos baseline sencillos.

• Colaboración multi-agente: mediante un framework multi-agente, cada fase se completa mejor, mejorando la calidad del código generado.

• Salida estructurada: la base de código generada presenta una estructura clara, con archivos, módulos, diagramas de arquitectura y archivos de configuración.

• Alta ejecutabilidad: el código generado, en general, puede ejecutarse sin necesidad de modificaciones.

Limitaciones:

• Actualmente solo admite trabajos del ámbito del machine learning.

• Algunos casos límite aún requieren depuración manual.

• Todavía no es compatible con áreas como biología, física o economía.

Casos de uso de Paper2Code

• Reproducción de investigaciones: ayuda a los investigadores a reproducir resultados a partir de trabajos que no incluyen código.

• Educación: ofrece a los estudiantes una oportunidad de aprendizaje que va de la teoría a la práctica.

• Aceleración de la investigación: permite a los investigadores avanzar más rápido a partir del trabajo de otros.

• Ajuste experimental: facilita a los investigadores la modificación de configuraciones, arquitecturas y conjuntos de datos.

Las evaluaciones experimentales muestran que el código generado por PaperCoder a partir de trabajos de machine learning es de alta calidad, acercándose al nivel de implementación de los autores, y superior al de otros modelos baseline.

Enlace al proyecto open source

Github:https://github.com/going-doer/Paper2Code