Arxiv Daily AIGC：arXiv論文のクロール・分析・整理を自動化するツール 83

Arxiv Daily AIGCとは？

Arxiv Daily AIGCは、AI駆動のarXiv論文クローラー、分析・整理自動化ツールです。毎日arXivのcs.CV分野から最新の論文を抽出し、OpenRouter APIを通じて画像、動画、マルチモーダル生成に関連する論文を選別し、その価値を評価します。選別された論文情報はJSONファイルとして保存され、これらのデータに基づいて見やすいHTML日次レポートが生成され、ホームページが更新されます。日次定時クロール、選別、生成、GitHub Pagesへのデプロイまでの一連のフローは、すべてGitHub Actionsによって自動化されています。

Arxiv Daily AIGCの主な機能

• データ収集：毎日自動的にarXivのコンピュータビジョン（cs.CV）分野から最新の論文を収集します。

• AI選別：大規模言語モデル（LLM、現在はOpenRouter API経由）を使用し、画像/動画/マルチモーダル生成に関連する論文を智能的に選別し、複数の観点から論文の価値をスコアリングします。

• データ保存：選別された論文情報（タイトル、要約、リンクなど）を日付名のJSONファイルとして保存します（daily_json/ディレクトリに保存）。

• Webページ生成：JSONデータに基づいて事前定義されたテンプレートを使用し、日次HTMLレポートを生成します（daily_html/ディレクトリに保存）、およびメインエントリーページindex.htmlを更新します。

• 自動デプロイ：GitHub Actionsにより、日次定時クロール、選別、生成、GitHub Pagesへのデプロイの全フローを実現します。

Arxiv Daily AIGCの技術スタック

• バックエンド/スクリプト：Python 3.x（arxiv、requests、jinja2などのライブラリを使用）。

• フロントエンド：HTML5、TailwindCSS（CDN）、JavaScript、Framer Motion（CDN）。

• 自動化：GitHub Actions。

• デプロイ：GitHub Pages。

Arxiv Daily AIGCのインストールと使用方法

1. リポジトリのクローン：git cloneコマンドを使用してプロジェクトをローカルにクローンします。

2. 仮想環境の作成と有効化：Python仮想環境の使用を推奨します。

3. 依存関係のインストール：requirements.txtファイルに記載されているすべてのPythonライブラリをインストールします。

4. APIキーの設定：AI選別にはOpenRouter APIキーが必要です。

Arxiv Daily AIGCの使用方法

• ローカル実行：メインスクリプトmain.pyを直接実行し、完全なフロー（収集、選別、生成）を手動でトリガーします。

• GitHub Actions自動化：リポジトリにはGitHub Actionsワークフロー（.github/workflows/daily_arxiv.yml）が設定されており、デフォルトで毎日定時に実行されます。

関連リンク

Github：https://github.com/onion-liu/arxiv_daily_aigc

プロジェクトホームページ：https://www.aha-time.com/arxiv_daily_aigc/