Firecrawl MCP Server: веб-скрапинг, краулинг, поиск, извлечение контента и другие функции 102

Что такое Firecrawl MCP Server?

Firecrawl MCP Server — это MCP-сервер, интегрированный с Firecrawl, который обладает функциями веб-скрапинга, обхода страниц, поиска и извлечения контента, например, извлечения цен на товары из сайтов покупок, а также проведения глубоких исследований. Поддерживает облачную среду и собственные (self-hosted) экземпляры, позволяет настраивать механизм повторных попыток и мониторинг использования кредитов через переменные среды, предоставляет множество AIинструментов, подробное логирование и обработку ошибок, а также удобен для установки и использования в различных средах разработки.

Функциональные возможности firecrawl-mcp-server

• Разнообразная обработка веб-страниц: поддержка веб-скрапинга, обхода страниц, поиска, извлечения контента, глубоких исследований и пакетного скрапинга.

• Поддержка JS-рендеринга: возможность обработки веб-страниц, требующих рендеринга JavaScript.

• Обнаружение и обход URL: способность автоматически обнаруживать и обходить URL на веб-страницах.

• Поиск по веб-страницам и извлечение контента: поддержка поиска по веб-страницам и извлечения соответствующего контента.

• Автоматический механизм повторных попыток: использует алгоритм экспоненциального отката для автоматических повторных попыток, обеспечивая стабильность получения данных.

• Эффективная пакетная обработка: встроенное ограничение скорости для повышения эффективности пакетной обработки.

• Мониторинг использования кредитов: отслеживание использования кредитов облачного API.

• Полноценная система логирования: предоставляет подробные записи журналов для удобства отладки и мониторинга.

• Поддержка нескольких сред: поддержка облачной среды и собственных (self-hosted) экземпляров Firecrawl.

• Поддержка нескольких представлений: поддержка мобильного и десктопного видовых окон.

• Интеллектуальная фильтрация контента: возможность интеллектуальной фильтрации контента путём включения или исключения тегов.

• Поддержка SSE: поддержка серверных событий (Server-Sent Events).

Установка и запуск firecrawl-mcp-server

Запуск с помощью npx

env FIRECRAWL_API_KEY=fc-YOUR_API_KEY npx -y firecrawl-mcp

Ручная установка

npm install -g firecrawl-mcp

Запуск в Cursor

В зависимости от версии Cursor выполните соответствующие шаги по настройке, при этом необходимо заменить your-api-key на ваш API-ключ Firecrawl в конфигурации.

Запуск в Windsurf

Добавьте определённую конфигурацию в файл ./codeium/windsurf/model_config.json и замените YOUR_API_KEY на ваш API-ключ Firecrawl.

Ссылка на проект

https://github.com/mendableai/firecrawl-mcp-server