SurveyForge：サーベイ論文を自動執筆するAIツール 81

SurveyForgeとは？

SurveyForgeは、上海 ai Labが開発したツールで、サーベイ論文の自動生成に特化しています。人間が作成した論文の大綱構造や関連分野の文献を研究することで、合理的な大綱を生成し、高品質な学術論文を利用してコンテンツを自動生成・最適化します。さらに、著者らはSurveyBenchというベンチマークも作成しました。これは人間が書いた100本のサーベイ論文を含み、複数の観点からAIが生成した論文の品質を評価します。これにより、従来のAIによる論文生成で多く見られた構造の不合理さや参考文献の不正確さといった問題が解決されます。

主な機能

• 大綱生成：SurveyForgeは、人間が作成した論文の大綱と関連文献を研究することで、明確で合理的な構造を生成します。

• コンテンツ生成：高品質な文献を検索し、メモリ機構と組み合わせることで論文コンテンツを生成・最適化します。

• 多次元評価：SurveyBenchベンチマークには人間が書いた100本のサーベイ論文が含まれており、参考文献の品質、大綱の品質、コンテンツの品質という3つの側面からAIが生成したサーベイを評価します。

技術的な詳細

• 大綱生成：人間が書いた論文の構造や関連分野の文献を分析することで大綱を作成します。

• コンテンツ生成：高品質な文献を利用して論文コンテンツを生成・最適化します。

• 評価ベンチマーク：SurveyBenchには10の異なるトピックを網羅する100本の人間が作成した論文が含まれており、トピックの一貫性と学術的厳密性を保証しています。

優位性

• 構造と論理：生成される大綱の品質は人間レベルに近く、従来のAI手法で見られた構造の不均衡という問題を解決します。

• 参考文献：コア文献の被覆率が約2倍に向上し、引用の正確性も高まっています。

• コンテンツ品質：生成されるコンテンツはより一貫性があり包括的でありながら、コストは非常に低く、約64kトークンのサーベイを生成するのにかかる費用はわずか0.5ドル未満で、プロセス全体に要する時間はわずか10分です。

• 評価基準：SurveyBenchは客観的な評価基準を提供し、異なる手法の性能比較を容易にします。

使用方法

• 論文の生成：API呼び出しの頻度制限により、ユーザーは論文の生成をリクエストするためにメールまたはリポジトリでissueを提出する必要があります。生成時間はおおよそ10分です。

• 論文の評価：SurveyBenchを用いて評価を行います。コマンドラインから cd SurveyBench && python test.py --is_human_eval を実行することで評価が完了します。

プロジェクトリンク

Github：https://github.com/Alpha-Innovator/SurveyForge