Firecrawl MCP Server: 웹 스크래핑, 크롤링, 검색, 콘텐츠 추출 등 다양한 기능 89

Firecrawl MCP Server란 무엇인가요?

Firecrawl MCP Server는 Firecrawl과 통합된 MCP 서버로, 웹 페이지 스크래핑, 크롤링, 검색, 콘텐츠 추출 등의 기능을 갖추고 있습니다. 예를 들어 쇼핑몰에서 상품 가격을 추출하거나 심층 리서치를 수행할 수 있습니다. 클라우드 환경과 자체 호스팅 인스턴스를 모두 지원하며, 환경 변수를 통해 재시도 메커니즘 및 크레딧 모니터링 등의 매개변수를 구성할 수 있습니다. 또한 다양한 AI도구와 상세한 로그 및 오류 처리 기능을 제공하여 여러 개발 환경에서 손쉽게 설치하고 사용할 수 있습니다.

firecrawl-mcp-server 기능 및 특징

• 다양한 웹 페이지 처리: 웹 페이지 스크래핑, 크롤링, 검색, 콘텐츠 추출, 심층 리서치, 배치 스크래핑을 지원합니다.

• JS 렌더링 지원: JavaScript 렌더링이 필요한 웹 페이지를 처리할 수 있습니다.

• URL 탐지 및 크롤링: 웹 페이지 내의 URL을 자동으로 탐지하고 크롤링할 수 있습니다.

• 웹 페이지 검색 및 콘텐츠 추출: 웹 페이지에서 검색을 수행하고 관련 콘텐츠를 추출하는 것을 지원합니다.

• 자동 재시도 메커니즘: 지수 백오프 알고리즘을 사용한 자동 재시도를 통해 데이터 수집의 안정성을 보장합니다.

• 효율적인 배치 처리: 내장된 속도 제한 기능으로 배치 처리 효율을 향상시킵니다.

• 크레딧 사용량 모니터링: 클라우드 API의 크레딧 사용 현황을 모니터링합니다.

• 포괄적인 로그 시스템: 디버깅 및 모니터링에 용이한 상세 로그 기록을 제공합니다.

• 다중 환경 지원: 클라우드 환경 및 자체 호스팅 Firecrawl 인스턴스를 모두 지원합니다.

• 다중 뷰포트 지원: 모바일 및 데스크톱 뷰포트를 지원합니다.

• 스마트 콘텐츠 필터링: 태그 포함 또는 제외를 통한 스마트 콘텐츠 필터링이 가능합니다.

• SSE 지원: Server-Sent Events (SSE)를 지원합니다.

firecrawl-mcp-server 설치 및 실행

npx를 사용하여 실행

env FIRECRAWL_API_KEY=fc-YOUR_API_KEY npx -y firecrawl-mcp

수동 설치

npm install -g firecrawl-mcp

Cursor에서 실행

Cursor 버전에 따라 해당 단계에 맞춰 설정을 진행하며, 설정에서 your-api-key 부분을 본인의 Firecrawl API 키로 교체해야 합니다.

Windsurf에서 실행

지정된 설정을 ./codeium/windsurf/model_config.json 파일에 추가하고, YOUR_API_KEY를 본인의 Firecrawl API 키로 교체합니다.

프로젝트 링크

https://github.com/mendableai/firecrawl-mcp-server