SurveyForge: 서베이 논문을 자동으로 작성하는 AI 도구 76

SurveyForge란 무엇인가요?

SurveyForge는 상하이 ai Lab에서 개발한 도구로, 리서치 논문을 자동으로 생성하는 데 특화되어 있습니다. 인간이 작성한 논문의 개요 구조와 관련 분야의 문헌을 연구하여 합리적인 개요를 생성하며, 고품질의 학술 논문을 활용해 내용을 자동으로 생성하고 최적화합니다. 또한 저자들은 인간이 작성한 100편의 리서치 논문을 포함하는 SurveyBench 벤치마크를 구축하여 다양한 관점에서 AI가 생성한 논문의 품질을 평가합니다. 이를 통해 기존 AI 생성 논문에서 흔히 발생하던 구조가不合理하고 참고 문헌이 부정확한 문제를 해결합니다.

핵심 기능

• 개요 생성: SurveyForge는 인간이 작성한 논문의 개요와 관련 문헌을 연구하여 명확하고 합리적인 구조를 생성합니다.

• 내용 생성: 고품질 문헌을 검색하고 메모리 메커니즘을 결합하여 논문 내용을 생성하고 최적화합니다.

• 다차원 평가: SurveyBench 벤치마크는 인간이 작성한 100편의 리뷰 논문을 포함하며, 참고 문헌 품질, 개요 품질, 내용 품질 세 가지 측면에서 AI가 생성한 리뷰를 평가합니다.

기술 세부 사항

• 개요 생성: 인간이 작성한 논문의 구조와 관련 분야의 문헌을 분석하여 개요를 생성합니다.

• 내용 생성: 고품질 문헌을 활용하여 논문 내용을 생성하고 최적화합니다.

• 평가 벤치마크: SurveyBench는 10개 주제를 아우르는 인간이 작성한 100편의 논문을 포함하여 주제 일관성과 학술적 엄밀성을 보장합니다.

장점

• 구조와 논리: 생성된 개요의 품질이 인간 수준에 근접하여 기존 AI 방법의 구조 불균형 문제를 해결합니다.

• 참고 문헌: 핵심 문헌의 커버리지가 거의 두 배 증가했으며, 인용이 더욱 정확해졌습니다.

• 내용 품질: 생성된 내용이 더욱连贯하고 포괄적이며 비용이 매우 낮습니다. 약 64k 토큰의 리뷰를 생성하는 데 0.5달러 미만이 소요되며 전체 과정은 단 10분밖에 걸리지 않습니다.

• 평가 표준: SurveyBench는 다양한 방법의 성능을 비교할 수 있는 객관적인 평가 표준을 제공합니다.

사용 방법

• 논문 생성: API 호출 빈도 제한으로 인해 사용자는 이메일을 보내거나 저장소에 이슈를 제출하여 논문 생성을 요청해야 합니다. 생성 시간은 약 10분입니다.

• 논문 평가: SurveyBench를 사용하여 평가를 진행하며, 명령줄에서 cd SurveyBench && python test.py --is_human_eval를 실행하여 평가를 완료할 수 있습니다.

프로젝트 링크

Github:https://github.com/Alpha-Innovator/SurveyForge