SurveyForge: una herramienta de IA para escribir automáticamente artículos de revisión 82

¿Qué es SurveyForge?

SurveyForge es una herramienta desarrollada por Shanghai ai Lab, diseñada específicamente para generar artículos de revisión de forma automática. Analiza la estructura de esquemas de artículos escritos por humanos y la literatura del campo correspondiente para generar esquemas coherentes, y luego utiliza artículos académicos de alta calidad para generar y optimizar el contenido de forma automática. Además, los autores crearon el benchmark SurveyBench, que incluye 100 artículos de revisión escritos por humanos, para evaluar la calidad de los artículos generados por IA desde múltiples perspectivas. Esto resuelve problemas comunes en los artículos generados por IA tradicional, como estructuras poco razonables y referencias inexactas.

Funciones principales

• Generación de esquemas: SurveyForge analiza los esquemas de artículos escritos por humanos y la literatura relevante para generar estructuras claras y coherentes.

• Generación de contenido: Recupera literatura de alta calidad y, combinado con un mecanismo de memoria, genera y optimiza el contenido del artículo.

• Evaluación multidimensional: El benchmark SurveyBench contiene 100 artículos de revisión escritos por humanos, utilizados para evaluar las revisiones generadas por IA en tres aspectos: calidad de las referencias, calidad del esquema y calidad del contenido.

Detalles técnicos

• Generación de esquemas: Analiza la estructura de artículos escritos por humanos y la literatura del campo correspondiente para crear esquemas.

• Generación de contenido: Utiliza literatura de alta calidad para generar y optimizar el contenido del artículo.

• Benchmark de evaluación: SurveyBench incluye 100 artículos escritos por humanos, abarcando 10 temas diferentes, lo que garantiza la coherencia temática y el rigor académico.

Ventajas

• Estructura y lógica: La calidad de los esquemas generados se acerca a la del nivel humano, resolviendo el problema del desequilibrio estructural de los métodos tradicionales de IA.

• Referencias: La cobertura de las referencias principales casi se duplica y las citas son más precisas.

• Calidad del contenido: El contenido generado es más coherente e integral, con un coste muy bajo; generar una revisión de aproximadamente 64k tokens cuesta menos de 0,5 dólares y todo el proceso dura solo 10 minutos.

• Estándares de evaluación: SurveyBench proporciona estándares de evaluación objetivos, lo que facilita la comparación del rendimiento de diferentes métodos.

Modo de uso

• Generar artículos: Debido a las limitaciones en la frecuencia de llamadas a la API, los usuarios deben solicitar la generación del artículo por correo electrónico o enviando una incidencia en el repositorio. El tiempo de generación es de aproximadamente 10 minutos.

• Evaluar artículos: Utilice SurveyBench para la evaluación, que puede ejecutarse mediante la línea de comandos con cd SurveyBench && python test.py --is_human_eval.

Enlaces del proyecto

Github：https://github.com/Alpha-Innovator/SurveyForge