DevDocs: Ein Open-Source-Tool zum Crawlen und Verarbeiten von Dokumentation, entwickelt für Entwickler 74

Was ist DevDocs?

DevDocs ist ein von CyberAGI Inc speziell für Programmierer entwickeltes Open-Source-Tool zur Verwaltung technischer Dokumentation. Es unterstützt intelligentes Crawlen technischer Dokumentationen, ermöglicht eine anpassbare Crawling-Tiefe, erkennt automatisch verwandte Inhalte und kategorisiert sie, extrahiert saubere Informationen und unterstützt den Export in MD- oder JSON-Format. Dadurch wird die Zeit, die man früher zum Verstehen der Dokumentation benötigte – oft mehrere Wochen –, auf wenige Stunden reduziert. Darüber hinaus verfügt DevDocs über einen integrierten MCP-Server, der die Integration in KI-Anwendungen wie Claude, Cursor und Cline ermöglicht, um Dokumentationen per Chat abzufragen.

Funktionsmerkmale von DevDocs

Intelligentes Crawlen:

• Unterstützung der Crawling-Tiefe (Stufen 1–5).

• Automatische Erkennung und Kategorisierung aller relevanten Seiten.

• Selektives Crawlen zur präzisen Extraktion der benötigten Inhalte.

• Automatische Erkennung und Zuordnung von Sub-URLs innerhalb der Website-Struktur.

Leistung und Geschwindigkeit:

• Unterstützung paralleler Verarbeitung, mehrere Seiten können gleichzeitig gecrawlt werden.

• Intelligentes Caching, um doppeltes Crawlen zu vermeiden.

• Unterstützung von Lazy Loading, geeignet für moderne Webanwendungen.

• Rücksichtnahme auf Server durch festgelegte Crawling-Geschwindigkeitsbegrenzungen.

Inhaltsverarbeitung:

• Extraktion sauberer Inhalte unter Entfernung irrelevanter Informationen.

• Unterstützung des Exports in MD- oder JSON-Format, geeignet für das LLM-Finetuning.

• Logische Organisation der Inhalte für einfacheres Verständnis und Nutzung.

• Integration mit dem MCP-Server, direkt einsetzbar für KI-Verarbeitung.

Enterprise-Funktionen:

• Automatische Wiederholungsversuche bei fehlgeschlagenem Crawling.

• Umfassende Aufzeichnung von Vorgangsprotokollen.

• Bereitstellung einer API-Schnittstelle zur einfachen Integration mit anderen Tools.

• Unterstützung von Teamverwaltung mit mehreren Plätzen und Rollen.

Anleitung zur Nutzung von DevDocs

Dienst starten:

• Mit Docker (empfohlen):

• Projekt-Repository klonen: git clone https://github.com/cyberagiinc/DevDocs.git

• In das Projektverzeichnis wechseln: cd DevDocs

• Startskript je nach Betriebssystem ausführen:

• Mac/Linux: ./docker-start.sh

• Windows: docker-start.bat

• Manuelle Berechtigungserteilung (Windows-Benutzer benötigen dies möglicherweise):

• Über den Windows-Explorer:

1. Rechtsklick auf die Verzeichnisse logs, storage und crawl_results.

2. Wählen Sie „Eigenschaften“.

3. Wechseln Sie zur Registerkarte „Sicherheit“.

4. Klicken Sie auf „Bearbeiten“, um die Berechtigungen zu ändern.

5. Klicken Sie auf „Hinzufügen“, um einen Benutzer oder eine Gruppe hinzuzufügen.

6. Geben Sie „Everyone“ ein und klicken Sie auf „Namen überprüfen“.

7. Klicken Sie auf „OK“.

8. Wählen Sie „Everyone“ in der Liste aus.

9. Aktivieren Sie unter „Zulassen“ die Option „Vollzugriff“.

10. Klicken Sie auf „Übernehmen“ und „OK“.

Über die Eingabeaufforderung (als Administrator ausführen):

icacls logs /ｇｒａｎｔ Everyone:F /T
icacls storage /ｇｒａｎｔ Everyone:F /T
icacls crawl_results /ｇｒａｎｔ Everyone:F /T

Auf DevDocs zugreifen:

• Frontend-UI: http://localhost:3001

• Backend-API: http://localhost:24125

• Crawl4AI-Dienst: http://localhost:11235

Protokolle anzeigen:

• Bei Verwendung von Docker können Container-Protokolle mit den folgenden Befehlen angezeigt werden:

• Protokolle eines bestimmten Containers anzeigen: docker logs devdocs-frontend, docker logs devdocs-backend, docker logs devdocs-mcp, docker logs devdocs-crawl4ai

• Protokolle in Echtzeit verfolgen: docker logs -f devdocs-backend

Dienst beenden:

Drücken Sie im Terminal, in dem docker-start ausgeführt wird, Strg+C.

Wie man Cline/Roo integriert

1. Modus erstellen:

• Öffnen Sie in Roo Code die Oberfläche „Modi“ und klicken Sie auf +, um eine neue modusspezifische Eingabeaufforderung zu erstellen.

2. Modus benennen (z. B. Research_MCP).

3. Rolle definieren:

• Fachkompetenz: Suche in Entwicklerdokumentationen, technische Zusammenführung und Dokumentenrecherche.

• Persönlichkeit: systematisch, detailorientiert, präzise.

• Verhaltensanweisungen: Verwenden Sie stets die Werkzeuge für Verzeichnisse und Kapitelzugriff, um Anfragen zu MCP-Dokumentationen zu beantworten.

4. Benutzerdefinierte Anweisungen:

• Verzeichniswerkzeug: Gibt eine vollständige oder gefilterte Liste von Dokumentationsthemen zurück.

• Kapitelzugriffswerkzeug: Ruft detaillierte Inhalte bestimmter Dokumentationskapitel ab.

5. Arbeitsablauf:

• Analysieren Sie Benutzeranfragen, um Schlüsselthemen, Schlüsselwörter und Kontext zu extrahieren.

• Verwenden Sie das Verzeichniswerkzeug, um im Dokumentationsindex relevante Kapitel zu finden.

• Verwenden Sie für jede identifizierte relevante Dokumentation oder jedes Kapitel das Kapitelzugriffswerkzeug, um dessen Inhalt abzurufen.

• Führen Sie die abgerufenen Inhalte zusammen und stellen Sie sicher, dass alle notwendigen Details enthalten sind und klar darauf verwiesen wird.

Github: https://github.com/cyberagiinc/DevDocs

Offizielle Website: https://www.cyberagi.ai/