DevDocs: open-source инструмент для краулинга и обработки документации, созданный для разработчиков 72

Что такое DevDocs?

DevDocs — это инструмент для управления технической документацией с открытым исходным кодом, разработанный компанией CyberAGI Inc специально для программистов. Он поддерживает интеллектуальное сканирование технической документации, позволяет настраивать глубину сканирования, автоматически обнаруживает и классифицирует соответствующий контент, извлекает чистую информацию и поддерживает экспорт в формате MD или JSON, сокращая время, которое раньше требовалось несколько недель на изучение документации, до нескольких часов. Кроме того, DevDocs имеет встроенный сервер MCP, поддерживающий интеграцию в приложения искусственного интеллекта, такие как Claude, Cursor, Cline и другие ai, что позволяет вести диалог в чате для поиска по документации.

Функциональные особенности DevDocs

Интеллектуальное сканирование:

• Поддержка выбора глубины сканирования (1–5 уровней).

• Автоматическое обнаружение и классификация всех связанных страниц.

• Возможность выборочного сканирования для точного извлечения нужного контента.

• Автоматическое обнаружение и сопоставление дочерних URL в структуре сайта.

Производительность и скорость:

• Поддержка параллельной обработки с возможностью одновременного сканирования нескольких страниц.

• Интеллектуальное кэширование для предотвращения повторного сканирования контента.

• Поддержка ленивой загрузки, совместимость с современными веб-приложениями.

• Уважительное отношение к серверам: установлены ограничения скорости сканирования.

Обработка контента:

• Извлечение чистого контента с удалением посторонней информации.

• Поддержка экспорта в формате MD или JSON, удобном для тонкой настройки LLM.

• Логическая организация контента для удобства понимания и использования.

• Интеграция с сервером MCP для прямого использования в обработке AI.

Функции корпоративного уровня:

• Автоматический повтор при сбое сканирования.

• Полное журналирование всех операций.

• Предоставление API-интерфейса для интеграции с другими инструментами.

• Поддержка командного управления с возможностью настройки нескольких мест и ролей.

Руководство по использованию DevDocs

Запуск сервиса:

• Использование Docker (рекомендуется):

• Клонировать репозиторий проекта: git clone https://github.com/cyberagiinc/DevDocs.git

• Перейти в каталог проекта: cd DevDocs

• Запустить стартовый скрипт в зависимости от операционной системы:

• Mac/Linux: ./docker-start.sh

• Windows: docker-start.bat

• Ручная установка разрешений (может потребоваться пользователям Windows):

• Через Проводник Windows:

1. Щёлкните правой кнопкой мыши по каталогам logs, storage, crawl_results.

2. Выберите «Свойства».

3. Перейдите на вкладку «Безопасность».

4. Нажмите «Изменить» для изменения разрешений.

5. Нажмите «Добавить», чтобы добавить пользователя или группу.

6. Введите «Everyone» и нажмите «Проверить имена».

7. Нажмите «ОК».

8. Выберите в списке «Everyone».

9. Установите флажок «Полный доступ» в столбце «Разрешить».

10. Нажмите «Применить» и «ОК».

Через командную строку (запущенную от имени администратора):

icacls logs /ｇｒａｎｔ Everyone:F /T
icacls storage /ｇｒａｎｔ Everyone:F /T
icacls crawl_results /ｇｒａｎｔ Everyone:F /T

Доступ к DevDocs:

• Веб-интерфейс: http://localhost:3001

• Серверный API: http://localhost:24125

• Сервис Crawl4AI: http://localhost:11235

Просмотр журналов:

• При использовании Docker можно просматривать журналы контейнеров с помощью следующих команд:

• Просмотр журналов конкретного контейнера: docker logs devdocs-frontend, docker logs devdocs-backend, docker logs devdocs-mcp, docker logs devdocs-crawl4ai

• Отслеживание журналов в реальном времени: docker logs -f devdocs-backend

Остановка сервиса:

Нажмите Ctrl+C в терминале, где запущен docker-start.

Как интегрировать с Cline/Roo

1. Создание режима:

• В Roo Code откройте интерфейс «Режимы» и нажмите +, чтобы создать новую подсказку для конкретного режима.

2. Назовите режим (например, Research_MCP).

3. Определите роль:

• Профессиональные знания: поиск документации для разработчиков, технический синтез и поиск по документации.

• Характер: системный, внимательный к деталям, точный.

• Инструкции по поведению: всегда используйте инструменты оглавления и доступа к разделам для ответов на запросы по документации MCP.

4. Пользовательские инструкции:

• Инструмент оглавления: возвращает полный или отфильтрованный список тем документации.

• Инструмент доступа к разделам: извлекает подробное содержимое конкретных разделов документации.

5. Рабочий процесс:

• Анализ пользовательского запроса для извлечения ключевых тем, ключевых слов и контекста.

• Использование инструмента оглавления для поиска по индексу документации и нахождения релевантных разделов.

• Для каждого выявленного релевантного документа или раздела используйте инструмент доступа к разделам для извлечения его содержимого.

• Объедините полученный контент, обеспечив включение всех необходимых деталей с чёткими ссылками.

Github: https://github.com/cyberagiinc/DevDocs

Официальный сайт: https://www.cyberagi.ai/