DevDocs : un outil open-source de crawling et de traitement de documentation conçu pour les développeurs 73

小编 ·

DevDocs : un outil open-source de crawling et de traitement de documentation conçu pour les développeurs

DevDocs est un outil open-source de gestion de documentation technique conçu par CyberAGI Inc pour les développeurs. Il prend en charge le crawling intelligent de la documentation technique, permet de personnaliser la profondeur du crawl, découvre et catégorise automatiquement le contenu connexe, extrait des informations propres et prend en charge l'export aux formats MD ou JSON — réduisant le temps nécessaire pour comprendre la documentation de plusieurs semaines à quelques heures. De plus, DevDocs intègre un serveur MCP, ce qui permet de l'intégrer à des applications d'IA telles que Claude, Cursor et Cline pour interroger la documentation via le chat.

DevDocs : un outil open-source de crawling et de traitement de documentation conçu pour les développeurs

Qu'est-ce que DevDocs ?

DevDocs est un outil open source de gestion de documentation technique, conçu par CyberAGI Inc spécialement pour les développeurs. Il prend en charge l'exploration intelligente de la documentation technique, permet de personnaliser la profondeur d'exploration, découvre et classe automatiquement le contenu pertinent, extrait des informations épurées et permet l'exportation aux formats MD ou JSON, réduisant le temps nécessaire pour comprendre la documentation — autrefois plusieurs semaines — à quelques heures. De plus, DevDocs intègre nativement un serveur MCP, compatible avec une intégration dans des applications ia telles que Claude, Cursor, Cline, permettant ainsi d'interroger la documentation via une conversation par chat.

DevDocs : un outil open source d'exploration et de traitement de documentation conçu pour les développeurs.webp

Fonctionnalités et caractéristiques de DevDocs

Exploration intelligente :

  • Prise en charge du choix de la profondeur d'exploration (niveaux 1 à 5).

  • Découverte et classement automatiques de toutes les pages pertinentes.

  • Exploration sélective possible, pour une extraction précise du contenu souhaité.

  • Détection et mise en correspondance automatiques des sous-URL dans la structure du site.

Performances et rapidité :

  • Prise en charge du traitement parallèle, permettant d'explorer plusieurs pages simultanément.

  • Mise en cache intelligente pour éviter les explorations répétées.

  • Prise en charge du chargement paresseux, compatible avec les applications Web modernes.

  • Respect des serveurs, avec des limites de débit d'exploration configurées.

Traitement du contenu :

  • Extraction de contenu épuré, en supprimant les informations non pertinentes.

  • Prise en charge de l'exportation aux formats MD ou JSON, facilitant le fine-tuning des LLM.

  • Organisation logique du contenu pour une compréhension et une utilisation aisées.

  • Intégration avec un serveur MCP, directement exploitable pour le traitement par IA.

Fonctionnalités de niveau entreprise :

  • Relance automatique en cas d'échec d'exploration.

  • Journalisation complète des opérations.

  • Fourniture d'une interface API pour faciliter l'intégration avec d'autres outils.

  • Prise en charge de la gestion d'équipe, avec configuration de plusieurs sièges et rôles.

DevDocs : un outil open source d'exploration et de traitement de documentation conçu pour les développeurs.webp

Tutoriel et méthode d'utilisation de DevDocs

Démarrage du service :

  • Utiliser Docker (recommandé) :

  • Cloner le dépôt du projet : git clone https://github.com/cyberagiinc/DevDocs.git

  • Accéder au répertoire du projet : cd DevDocs

  • Exécuter le script de démarrage selon le système d'exploitation :

  • Mac/Linux : ./docker-start.sh

  • Windows : docker-start.bat

  • Configurer manuellement les autorisations (les utilisateurs Windows peuvent en avoir besoin) :

  • Via l'Explorateur Windows :

  1. Faire un clic droit sur les répertoires logs, storage, crawl_results.

  2. Sélectionner « Propriétés ».

  3. Aller à l'onglet « Sécurité ».

  4. Cliquer sur « Modifier » pour modifier les autorisations.

  5. Cliquer sur « Ajouter » pour ajouter un utilisateur ou un groupe.

  6. Saisir « Everyone », puis cliquer sur « Vérifier les noms ».

  7. Cliquer sur « OK ».

  8. Sélectionner « Everyone » dans la liste.

  9. Cocher « Contrôle total » sous « Autoriser ».

  10. Cliquer sur « Appliquer » puis « OK ».

Via l'invite de commandes (exécutée en tant qu'administrateur) :

icacls logs /grant Everyone:F /T
icacls storage /grant Everyone:F /T
icacls crawl_results /grant Everyone:F /T

Accéder à DevDocs :

  • Interface frontend : http://localhost:3001

  • API backend : http://localhost:24125

  • Service Crawl4AI : http://localhost:11235

Consulter les logs :

  • Avec Docker, il est possible de consulter les logs des conteneurs via les commandes suivantes :

  • Consulter les logs d'un conteneur spécifique : docker logs devdocs-frontend, docker logs devdocs-backend, docker logs devdocs-mcp, docker logs devdocs-crawl4ai

  • Suivre les logs en temps réel : docker logs -f devdocs-backend

Arrêter le service :

Appuyez sur Ctrl+C dans le terminal où docker-start a été lancé.

Comment intégrer Cline/Roo

1. Créer un mode :

  • Dans Roo Code, ouvrez l'interface « Modes », cliquez sur le signe + pour créer une nouvelle invite spécifique au mode.

2. Nommer le mode (par exemple, Research_MCP).

3. Définir le rôle :

  • Expertise : recherche dans la documentation développeur, synthèse technique et recherche documentaire.

  • Personnalité : systématique, soucieuse du détail, précise.

  • Instructions comportementales : utiliser systématiquement les outils d'accès aux tables des matières et aux sections pour répondre aux requêtes sur la documentation MCP.

4. Instructions personnalisées :

  • Outil de table des matières : renvoyer la liste complète ou filtrée des sujets de la documentation.

  • Outil d'accès aux sections : récupérer le contenu détaillé d'une section spécifique de la documentation.

5. Flux de travail :

  • Analyser la requête utilisateur pour en extraire les sujets clés, les mots-clés et le contexte.

  • Utiliser l'outil de table des matières pour parcourir l'index de la documentation et trouver les sections pertinentes.

  • Pour chaque document ou section pertinente identifié, utiliser l'outil d'accès aux sections pour récupérer son contenu.

  • Fusionner le contenu récupéré en s'assurant d'inclure tous les détails nécessaires, avec des références claires.

Github :https://github.com/cyberagiinc/DevDocs

Site officiel :https://www.cyberagi.ai/