Firecrawl MCP Server : web scraping, crawling, recherche, extraction de contenu et plus 95

小编 ·

Firecrawl MCP Server : web scraping, crawling, recherche, extraction de contenu et plus

Firecrawl MCP Server est un serveur MCP intégré à Firecrawl qui propose le web scraping, le crawling, la recherche, l'extraction de contenu et plus encore — par exemple, extraire les prix de produits sur des sites marchands ou mener des recherches approfondies. Il prend en charge les instances cloud et auto-hébergées, permet de configurer les mécanismes de retry, la surveillance des crédits et d'autres paramètres via des variables d'environnement, offre divers outils IA avec une journalisation détaillée et une gestion des erreurs, et s'installe facilement dans différents environnements de développement.

Firecrawl MCP Server : web scraping, crawling, recherche, extraction de contenu et plus

Qu'est-ce que le serveur Firecrawl MCP ?

Le serveur Firecrawl MCP est un serveur MCP intégré à Firecrawl, offrant des fonctionnalités telles que l'extraction, le crawling, la recherche et l'extraction de contenu de pages web, par exemple extraire les prix des produits sur des sites de e-commerce ou effectuer des recherches approfondies. Il prend en charge les environnements cloud et les instances auto-hébergées, peut être configuré via des variables d'environnement pour les mécanismes de nouvelle tentative, la surveillance des crédits et d'autres paramètres. Il propose plusieurs outils d'IA accompagnés d'une journalisation détaillée et d'une gestion des erreurs, et facilite l'installation et l'utilisation dans différents environnements de développement.

Serveur Firecrawl MCP : doté de nombreuses fonctionnalités telles que l'extraction, le crawling, la recherche et l'extraction de contenu de pages web.webp

Fonctionnalités de firecrawl-mcp-server

  • Traitement varié des pages web : prend en charge l'extraction, le crawling, la recherche, l'extraction de contenu, la recherche approfondie ainsi que l'extraction par lots.

  • Prise en charge du rendu JS : capable de traiter les pages web nécessitant un rendu JavaScript.

  • Découverte et crawling d'URL : capable de découvrir et de crawler automatiquement les URL présentes dans les pages web.

  • Recherche web et extraction de contenu : permet d'effectuer des recherches sur les pages web et d'extraire le contenu pertinent.

  • Mécanisme de nouvelle tentative automatique : utilise un algorithme de backoff exponentiel pour les nouvelles tentatives automatiques, garantissant la stabilité de l'acquisition des données.

  • Traitement par lots efficace : limitation de débit intégrée pour améliorer l'efficacité du traitement par lots.

  • Surveillance de l'utilisation des crédits : surveille l'utilisation des crédits pour l'API cloud.

  • Système de journalisation complet : fournit une journalisation détaillée pour faciliter le débogage et la surveillance.

  • Prise en charge multi-environnements : prend en charge les environnements cloud et les instances Firecrawl auto-hébergées.

  • Prise en charge multi-vues : prend en charge les fenêtres d'affichage mobile et bureau.

  • Filtrage intelligent du contenu : permet un filtrage intelligent du contenu via l'inclusion ou l'exclusion de balises.

  • Prise en charge SSE : prend en charge les Server-Sent Events.

Installation et exécution de firecrawl-mcp-server

Exécution avec npx

env FIRECRAWL_API_KEY=fc-YOUR_API_KEY npx -y firecrawl-mcp

Installation manuelle

npm install -g firecrawl-mcp

Exécution dans Cursor

Selon la version de Cursor, suivez les étapes de configuration correspondantes, en remplaçant your-api-key par votre clé API Firecrawl dans la configuration.

Exécution dans Windsurf

Ajoutez la configuration spécifique au fichier ./codeium/windsurf/model_config.json et remplacez YOUR_API_KEY par votre clé API Firecrawl.

Lien du projet

https://github.com/mendableai/firecrawl-mcp-server