DevDocs: 개발자를 위한 오픈소스 문서 크롤링 및 처리 도구
DevDocs란 무엇인가요?
DevDocs는 CyberAGI Inc에서 프로그래머를 위해 특별히 설계한 오픈 소스 기술 문서 관리 도구입니다. 기술 문서의 지능형 크롤링을 지원하며, 크롤링 깊이를 사용자 지정할 수 있고, 관련 콘텐츠를 자동으로 발견하여 분류하며,纯净한 정보를 추출하여 MD 또는 JSON 형식으로 내보내기를 지원하여, 과거에 문서를 이해하는 데 몇 주가 걸리던 시간을 몇 시간으로 단축시킵니다. 또한 DevDocs에는 내장된 MCP 서버가 있어 Claude, Cursor, Cline 등 ai 애플리케이션에 통합하여 채팅 대화로 문서를 조회할 수 있도록 지원합니다.

DevDocs 기능 특징
지능형 크롤링:
크롤링 깊이 선택을 지원합니다(1-5단계).
모든 관련 페이지를 자동으로 발견하고 분류합니다.
선택적 크롤링이 가능하여 필요한 콘텐츠를 정확하게 추출합니다.
웹사이트 구조의 하위 URL을 자동으로 감지하고 매핑합니다.
성능 및 속도:
병렬 처리를 지원하여 여러 페이지를 동시에 크롤링할 수 있습니다.
지능형 캐싱으로 중복 크롤링을 방지합니다.
지연 로딩을 지원하여 최신 웹 애플리케이션을 처리할 수 있습니다.
서버를 존중하여 크롤링 속도 제한을 설정합니다.
콘텐츠 처리:
관련 없는 정보를 제거하고纯净한 콘텐츠를 추출합니다.
MD 또는 JSON 형식으로 내보내기를 지원하여 LLM 미세 조정에 편리합니다.
콘텐츠를 논리적으로 구성하여 이해와 사용을 용이하게 합니다.
MCP 서버와 통합되어 AI 처리에 직접 사용할 수 있습니다.
엔터프라이즈급 기능:
크롤링 실패 시 자동 재시도.
작업 로그를 포괄적으로 기록합니다.
다른 도구와의 통합을 편리하게 하는 API 인터페이스를 제공합니다.
팀 관리를 지원하며, 여러 좌석과 역할을 설정할 수 있습니다.

DevDocs 사용 튜토리얼 방법
서비스 시작:
Docker 사용(권장):
프로젝트 저장소 복제:git clone https://github.com/cyberagiinc/DevDocs.git
프로젝트 디렉터리로 이동:cd DevDocs
운영 체제에 따라 시작 스크립트 실행:
Mac/Linux:./docker-start.sh
Windows:docker-start.bat
수동으로 권한 설정(Windows 사용자가 필요할 수 있음):
Windows 탐색기를 통해:
logs, storage, crawl_results 디렉터리를 마우스 오른쪽 버튼으로 클릭합니다.
"속성"을 선택합니다.
"보안" 탭으로 전환합니다.
"편집"을 클릭하여 권한을 변경합니다.
"추가"를 클릭하여 사용자 또는 그룹을 추가합니다.
"Everyone"을 입력하고 "이름 확인"을 클릭합니다.
"확인"을 클릭합니다.
목록에서 "Everyone"을 선택합니다.
"허용" 아래의 "모든 권한"을 선택합니다.
"적용"과 "확인"을 클릭합니다.
명령 프롬프트를 통해(관리자 권한으로 실행):
icacls logs /grant Everyone:F /T icacls storage /grant Everyone:F /T icacls crawl_results /grant Everyone:F /T
DevDocs 접속:
프론트엔드 UI:http://localhost:3001
백엔드 API:http://localhost:24125
Crawl4AI 서비스:http://localhost:11235
로그 보기:
Docker를 사용할 때, 다음 명령으로 컨테이너 로그를 볼 수 있습니다:
특정 컨테이너의 로그 보기:docker logs devdocs-frontend, docker logs devdocs-backend, docker logs devdocs-mcp, docker logs devdocs-crawl4ai
실시간 로그 추적:docker logs -f devdocs-backend
서비스 중지:
docker-start를 실행한 터미널에서 Ctrl+C를 누릅니다.
Cline/Roo 통합 방법
1. 모드 생성:
Roo Code에서 "모드" 인터페이스를 열고, + 기호를 클릭하여 새 모드별 프롬프트를 만듭니다.
2. 모드 이름 지정(예:Research_MCP).
3. 역할 정의:
전문 지식:개발자 문서 검색, 기술 종합 및 문서 검색.
성격:체계적이고, 세부 사항에 주의하며, 정확합니다.
동작 지침:MCP 문서에 대한 쿼리에 답할 때 항상 디렉터리 및 섹션 액세스 도구를 사용합니다.
4. 사용자 지정 지침:
디렉터리 도구:전체 또는 필터링된 문서 주제 목록을 반환합니다.
섹션 액세스 도구:특정 문서 섹션의 세부 콘텐츠를 검색합니다.
5. 워크플로:
키워드, 핵심 주제 및 컨텍스트를 추출하기 위해 사용자 쿼리를 분석합니다.
관련 섹션을 찾기 위해 디렉터리 도구를 사용하여 문서 인덱스를 검색합니다.
식별된 각 관련 문서 또는 섹션에 대해 섹션 액세스 도구를 사용하여 콘텐츠를 검색합니다.
검색된 콘텐츠를 병합하여 필요한 모든 세부 정보가 포함되도록 하고 명확하게 인용합니다.
Github:https://github.com/cyberagiinc/DevDocs
공식 웹사이트:https://www.cyberagi.ai/
대본 기획 도우미▸
AI 앱
AI 뉴스 