DevDocs:開発者向けに作られたオープンソースのドキュメントクロール&処理ツール 70

小编 ·

DevDocs:開発者向けに作られたオープンソースのドキュメントクロール&処理ツール

DevDocsは、CyberAGI Incが開発者のために設計したオープンソースの技術ドキュメント管理ツールです。技術ドキュメントのインテリジェントなクロールに対応し、クロール深度をカスタマイズ可能。関連コンテンツを自動で発見・分類し、クリーンな情報を抽出してMDまたはJSON形式でエクスポートできます。これにより、ドキュメント理解に従来かかっていた数週間をわずか数時間に短縮。さらに、組み込みのMCPサーバーにより、Claude、Cursor、ClineなどのAIアプリと統合し、チャット形式でドキュメントを検索できます。

DevDocs:開発者向けに作られたオープンソースのドキュメントクロール&処理ツール

DevDocsとは?

DevDocs は、CyberAGI Inc がプログラマー専用に開発したオープンソースの技術文書管理ツールです。技術文書のインテリジェントなクロールをサポートし、クロールの深さをカスタマイズでき、関連コンテンツを自動的に発見して分類し、クリーンな情報を抽出して MD または JSON 形式でのエクスポートに対応しています。これにより、従来なら数週間かかっていた文書理解の時間をわずか数時間に短縮できます。さらに、DevDocs には MCP サーバーが内蔵されており、Claude、Cursor、Cline などの AI アプリケーションに統合して、チャット形式で文書を照会することができます。

DevDocs:一款专为程序员打造的开源文档爬取和处理工具.webp

DevDocsの機能特徴

インテリジェントクロール:

  • クロールの深さを選択可能(1〜5階層)。

  • すべての関連ページを自動的に発見して分類。

  • 選択的なクロールが可能で、必要な内容を正確に抽出。

  • サイト構造内のサブ URL を自動的に検出しマッピング。

パフォーマンスと速度:

  • 並列処理をサポートし、複数のページを同時にクロール可能。

  • スマートキャッシュにより、重複したクロールを防止。

  • 遅延読み込みをサポートし、モダンな Web アプリケーションに対応。

  • サーバーに配慮し、クロール速度の制限を設定。

コンテンツ処理:

  • 不要な情報を除去し、クリーンなコンテンツを抽出。

  • MD または JSON 形式でのエクスポートをサポートし、LLM のファインチューニングに便利。

エンタープライズ向け機能:

  • クロール失敗時に自動再試行。

  • 操作ログの完全な記録。

  • API インターフェースを提供し、他のツールとの統合が容易。

  • チーム管理をサポートし、複数のシートとロールの設定が可能。

DevDocs:一款专为程序员打造的开源文档爬取和处理工具.webp

DevDocsの使用方法

サービスの起動:

  • Docker を使用(推奨):

  • プロジェクトリポジトリをクローン:git clone https://github.com/cyberagiinc/DevDocs.git

  • プロジェクトディレクトリに移動:cd DevDocs

  • オペレーティングシステムに応じて起動スクリプトを実行:

  • Mac/Linux:./docker-start.sh

  • Windows:docker-start.bat

  • 権限を手動で設定(Windows ユーザーは必要な場合あり):

  • Windows エクスプローラーを使用:

  1. logs、storage、crawl_results ディレクトリを右クリック。

  2. 「プロパティ」を選択。

  3. 「セキュリティ」タブに切り替え。

  4. 「編集」をクリックして権限を変更。

  5. 「追加」をクリックしてユーザーまたはグループを追加。

  6. 「Everyone」と入力し、「名前の確認」をクリック。

  7. 「OK」をクリック。

  8. 一覧から「Everyone」を選択。

  9. 「許可」の下にある「フルコントロール」にチェック。

  10. 「適用」と「OK」をクリック。

コマンドプロンプトから(管理者として実行):

icacls logs /grant Everyone:F /T
icacls storage /grant Everyone:F /T
icacls crawl_results /grant Everyone:F /T

DevDocs へのアクセス:

  • フロントエンド UI:http://localhost:3001

  • バックエンド API:http://localhost:24125

  • Crawl4AI サービス:http://localhost:11235

ログの確認:

  • Docker を使用している場合、以下のコマンドでコンテナのログを確認できます:

  • 特定のコンテナのログを確認:docker logs devdocs-frontend、docker logs devdocs-backend、docker logs devdocs-mcp、docker logs devdocs-crawl4ai

  • ログをリアルタイムで追跡:docker logs -f devdocs-backend

サービスの停止:

docker-start を実行しているターミナルで Ctrl+C を押します。

Cline/Roo との統合方法

1. モードの作成:

  • Roo Code で「モード」画面を開き、+ をクリックして新しいモード固有のプロンプトを作成します。

2. モードに名前を付ける(例:Research_MCP)。

3. 役割を定義:

  • 専門知識:開発者ドキュメントの検索、技術統合、ドキュメント検索。

  • 性格:体系的で、細部に注意を払い、正確。

  • 行動指示:MCP ドキュメントに関する問い合わせには、常にディレクトリとセクションアクセスツールを使用して回答する。

4. カスタム指示:

  • ディレクトリツール:完全またはフィルターされたドキュメントトピックのリストを返す。

  • セクションアクセスツール:特定のドキュメントセクションの詳細内容を検索する。

5. ワークフロー:

  • ユーザーの問い合わせを解析し、主要なトピック、キーワード、コンテキストを抽出する。

  • ディレクトリツールを使用してドキュメントインデックスを検索し、関連セクションを見つける。

  • 特定された関連ドキュメントまたはセクションごとに、セクションアクセスツールを使用して内容を検索する。

  • 検索した内容を統合し、必要な詳細がすべて含まれていることを確認し、明確に参照を付ける。

Github:https://github.com/cyberagiinc/DevDocs

公式サイト:https://www.cyberagi.ai/