MediaCrawler: Ein Open-Source-Tool zur Datenerfassung aus sozialen Medien auf mehreren Plattformen 173

MediaCrawler ist ein Open-Source-Tool zum Crawlen sozialer Medien, mit dem hauptsächlich öffentliche Inhalte von gängigen sozialen Plattformen wie Xiaohongshu, Douyin, Kuaishou, Weibo und Bilibili automatisch erfasst werden. Folgende Inhalte können abgerufen werden:

• Notizen, Videos und Bild-Text-Beiträge der Nutzer.

• Videodateien (MP4) und Bilder (JPG/PNG).

• Textinhalte wie Titel, Beschreibungen und Kommentare.

• Nutzerinformationen wie Spitzname, ID und Anzahl der Follower.

Kernfunktionen von MediaCrawler

• Zwei Crawling-Methoden. Es kann nach Stichwörtern gesucht oder gezielt nach Beitrags- bzw. Video-IDs abgefragt werden, einschließlich der Kommentare erster und zweiter Ordnung.

• Verwaltung des Anmeldestatus. Anmeldung per QR-Code oder Cookie wird unterstützt, und der Anmeldestatus kann gespeichert werden, sodass nicht ständig ein QR-Code gescannt werden muss.

• Anti-Bot-Schutz. Mit Playwright wird ein echter Browser simuliert, JavaScript automatisch ausgeführt, um Signaturparameter zu erhalten, ohne dass man selbst komplexes JS-Reversing betreiben muss. Außerdem sind ein IP-Proxypool und eine Slider-Captcha-Verarbeitung integriert.

• Datenexport. Unterstützung der Formate CSV, JSON, SQLite und MySQL, was die spätere Analyse oder Datenbankspeicherung erleichtert.

• Visualisierungs-Plugin. Per Knopfdruck lässt sich eine Wortwolke aus Kommentaren erstellen, um schnell Trends zu erkennen.

• Wiederaufnahme beim Abbruch und mehrere Konten (Pro-Version). Die Pro-Version erlaubt das Wechseln mehrerer Konten, unterstützt Linux-Daemon-Prozesse und Docker-Bereitstellung, ist modular aufgebaut, eignet sich für groß angelegte oder Unternehmensanwendungen und lässt sich gut weiterentwickeln.

Technische Prinzipien von MediaCrawler

• Mit Playwright wird ein echter Browser geöffnet und nach der Anmeldung werden der Cookie und LocalStorage als Anmeldestatus beibehalten.

• Im Browser wird direkt der eigene JavaScript-Code der Plattform ausgeführt, um die Anfrage-Signaturparameter zu erhalten, die dann an das Backend gesendet werden. Dadurch entfällt das umständliche Reverse Engineering von Verschlüsselungsalgorithmen, was viel Aufwand spart.

Anwendungsszenarien von MediaCrawler

• Content-Operations oder Wettbewerbsrecherche. Massenhaftes Erfassen von Videos und Kommentaren der Konkurrenz, Erstellen von Wortwolken und Aufspüren von Trends.

• Datenanalyse und Sentimentanalyse. Speichern von Kommentardaten für Sentiment-Modelle und zur Beobachtung von Themenveränderungen.

• Marktbeobachtung. Echtzeit-Reaktionen auf Marketingkampagnen auf Weibo und Douyin im Blick behalten.

• Wissenschaftliche Meinungsforschung. Mithilfe öffentlicher Social-Media-Daten Analysen im Bereich öffentliche Meinung oder Kommunikationswissenschaft unterstützen.

Schnellstart mit MediaCrawler

1. Repository klonen

git clone https://github.com/NanmiCoder/MediaCrawler.git
cd MediaCrawler

2. Abhängigkeiten installieren

python -m venv venv && source venv/bin/activate  # Für Windows Scripts\activate verwenden
pip install -r requirements.txt
playwright install

3. QR-Code-Anmeldung und Erfassung

python main.py --platform xhs --lt qrcode --type search

Geben Sie entsprechend den Anweisungen ein Stichwort ein. Die Daten werden standardmäßig im Verzeichnis data/ gespeichert.

Hinweise zu Recht und Compliance

Der Autor betont stets, dass das Tool ausschließlich für Lern- und Forschungszwecke verwendet werden darf, nicht für kommerzielle Zwecke und auch nicht für umfangreiches illegales Crawling. Mit der Nutzung stimmt man dem Haftungsausschluss zu.

Wer mehr Parallelität, Enterprise-Wartung oder einen Desktop-Video-Downloader benötigt, kann sich die kostenpflichtige Version MediaCrawlerPro des Autors ansehen.

Zusammenfassend lässt sich sagen, dass MediaCrawler durch Browser-Automatisierung und den Verzicht auf JS-Reversing die Hürde für die Erfassung chinesischer Social-Media-Daten deutlich gesenkt hat und sich gut eignet, um im Bereich Content-Operations, für Datenanalysten und in der Forschung schnell Ideen auszuprobieren.

Open-Source-Adresse:https://github.com/NanmiCoder/MediaCrawler