La MediaCrawler : un outil open source de collecte de données sur les réseaux sociaux multiplateformes 165

MediaCrawler est un outil open source de crawling pour les réseaux sociaux, principalement conçu pour extraire automatiquement le contenu public des grandes plateformes sociales telles que Xiaohongshu, Douyin, Kuaishou, Weibo et Bilibili. Les contenus qu'il peut récupérer incluent :

• Les notes publiées par les utilisateurs, vidéos et publications textuelles avec images.

• Les fichiers vidéo (MP4) et les images (JPG/PNG).

• Les contenus textuels, comme les titres, les descriptions et les commentaires.

• Les informations sur les utilisateurs, comme le pseudo, l'ID et le nombre d'abonnés.

Capacités principales de MediaCrawler

• Deux méthodes de crawling. Vous pouvez effectuer une recherche par mots-clés, ou cibler précisément la récupération par ID de publication ou de vidéo, et obtenir même les commentaires de premier et second niveau.

• Gestion de l'état de connexion. Prise en charge de la connexion par QR code ou par Cookie, et possibilité de conserver l'état de connexion pour éviter de scanner le code à chaque fois.

• Anti-détection. Utilisation de Playwright pour simuler un vrai navigateur, exécution automatique du JavaScript pour obtenir les paramètres de signature, sans avoir besoin de faire soi-même de la rétro-ingénierie JavaScript complexe. Ajout également d'un pool de proxys IP et de la gestion des CAPTCHAs à glissière.

• Sortie des données. Prise en charge des formats CSV, JSON, SQLite, MySQL, etc., facilitant l'analyse ultérieure ou le stockage en base de données.

• Plugin de visualisation. En un clic, vous pouvez générer un nuage de mots des commentaires et repérer rapidement les sujets tendances.

• Reprise du crawling après interruption et multi-comptes (version Pro). La version Pro permet de basculer entre plusieurs comptes, prend en charge les processus daemon Linux, le déploiement Docker, et dispose d'un code bien découplé, adapté aux usages à grande échelle ou en entreprise, ainsi qu'au développement secondaire.

Principes techniques de MediaCrawler

• Playwright lance un vrai navigateur et conserve l'état de connexion (Cookie, LocalStorage) après la connexion.

• Le code JavaScript natif de la plateforme est exécuté directement dans le navigateur afin d'obtenir les paramètres de signature des requêtes, qui sont ensuite envoyés aux API backend. Ainsi, il n'est pas nécessaire de faire de la rétro-ingénierie sur les algorithmes de chiffrement, ce qui évite beaucoup de travail.

Cas d'utilisation de MediaCrawler

• Marketing de contenu ou étude de la concurrence. Extraction en masse des vidéos et commentaires des concurrents, création de nuages de mots et identification des tendances.

• Analyse de données et analyse de sentiments. Stocker les données de commentaires pour entraîner des modèles d'analyse de sentiments et observer l'évolution des sujets.

• Veille de marché. Suivre en temps réel les réactions aux campagnes marketing sur Weibo et Douyin.

• Recherche académique sur l'opinion publique. Collecter des données publiques issues des réseaux sociaux pour soutenir les analyses en communication ou en étude de la diffusion.

Démarrage rapide avec MediaCrawler

1. Cloner le dépôt

git clone https://github.com/NanmiCoder/MediaCrawler.git
cd MediaCrawler

2. Installer les dépendances

python -m venv venv && source venv/bin/activate  # Sur Windows, utilisez Scripts\activate
pip install -r requirements.txt
playwright install

3. Connexion par QR code et collecte

python main.py --platform xhs --lt qrcode --type search

Saisissez les mots-clés selon les instructions ; les données sont enregistrées par défaut dans le répertoire data/.

Rappel juridique et de conformité

L'auteur rappelle constamment que l'outil ne doit être utilisé qu'à des fins d'apprentissage et de recherche, qu'il est interdit de l'utiliser à des fins commerciales et qu'aucune collecte massive illégale n'est autorisée. L'utilisation de l'outil vaut acceptation de la clause de non-responsabilité.

Pour des capacités de concurrence accrues, un support de niveau entreprise ou un téléchargeur de vidéos en application bureau, vous pouvez consulter la version payante MediaCrawlerPro proposée par l'auteur.

En résumé, MediaCrawler, grâce à l'automatisation du navigateur et sans nécessiter de rétro-ingénierie JavaScript, abaisse considérablement le seuil de la collecte de données sur les réseaux sociaux chinois. Il convient parfaitement aux personnes en charge du marketing, aux analystes de données et aux chercheurs souhaitant tester rapidement leurs idées.

Adresse du projet open source :https://github.com/NanmiCoder/MediaCrawler