PaperCoder：学術論文をコードベースに変換するマルチエージェントLLMシステム 155

PaperCoderとは？

PaperCoderは、学術論文を自動的にコードベースに変換するマルチエージェントLLMシステムです。コード生成を自動化することで、研究者や開発者は論文内のアルゴリズムやモデルをより迅速に実装でき、手動コーディングにかかる時間とエラーを削減できます。PaperCoderシステムは「計画（Planning）-分析（Analysis）-コード生成（Coding）」の3段階のワークフローを採用しており、各段階は専門のエージェントによって処理されます。このシステムにより、研究者や開発者は理論的な成果を実際のプログラミングプロジェクトへとより効率的に転換でき、技術進歩とイノベーションの推進に貢献します。

Paper2Codeの主な機能

• マルチエージェントフレームワーク：Paper2Codeはマルチエージェント大規模言語モデル（LLM）フレームワークを採用しており、人間のソフトウェア開発ライフサイクルをシミュレートして、「計画（Planning）-分析（Analysis）-コーディング（Coding）」の3段階に分かれています。

• 計画段階：ハイレベルなロードマップの構築、システムアーキテクチャの設計、ファイル依存関係の決定、設定ファイルの生成を行います。

• 分析段階：各ファイルや関数の具体的な実装詳細を解釈し、その目的、入力/出力、相互作用、制約に焦点を当てます。

• コーディング段階：前述の結果に基づき、ファイルごとにモジュール化され依存関係を考慮したコードを生成します。

• コード生成と最適化：機械学習の学術論文から完全で機能的なコードリポジトリを自動生成でき、複数の深層学習フレームワーク（TensorFlowやPyTorchなど）をサポートし、必要な依存関係を記載したrequirements.txtファイルを生成します。

• 高品質なコード出力：生成されたコードは文法的に正しいだけでなく、機能的にも実行可能な状態に近く、ごくわずかな修正で済みます。

メリット

• 高い自動化レベル：科学論文から直接、完全で実行可能なコードリポジトリを自動生成することを初めて実現し、既存のコードやスニペットに依存しません。

• 優れたパフォーマンス：複数のベンチマークテストと人手による評価において、Paper2Codeは既存のコード生成フレームワークやナイーブな手法を大きく上回っています。

• 高い実用性：人手による評価では、生成されたコードが研究者が実際に研究を再現するうえで高い実用価値を持つことが示されており、85%の評価者が有用だと考えています。

デメリット

• 分野の限定：現時点では主に機械学習論文を対象としており、他の科学分野への汎化能力はまだ検証が必要です。

• 基盤LLMへの依存：フレームワークのパフォーマンスは、使用する基盤LLMの能力に制限されます。

• 漏れや誤解の可能性：最良の場合でも、生成されたコードには論文の細部に関する漏れや誤解が含まれる可能性があります。

Paper2Codeの使用方法

環境設定：

• OpenaiのAPIパッケージなど、必要なソフトウェアパッケージをインストールします。

• OpenAIのサービスにアクセスするためのAPIキーを設定します。

PDF変換：

• 論文のPDFファイルを構造化されたJSON形式に変換します。

• s2orc-doc2jsonツールを使用して変換を行います。

コード生成の実行：

• 論文パスやその他のパラメータを指定するように設定ファイルを変更します。

• 提供されているスクリプトを実行して、コード生成プロセスを開始します。

Github：https://github.com/going-doer/Paper2Code