MediaCrawler：オープンソースのマルチプラットフォームSNSデータ収集ツール 166

強力なマルチプラットフォーム対応自メディアデータ収集ツールで、小红書、抖音、快手、B站（bilibili）、微博、贴吧、知乎など主要プラットフォームの公開情報（投稿、動画、画像付きコンテンツなど）の取得に対応します。

#Ai工具箱 #Ai开源项目

MediaCrawler：オープンソースのマルチプラットフォームSNSデータ収集ツール紹介

MediaCrawler はオープンソースのソーシャルメディアクローラーツールで、主に主流ソーシャルプラットフォーム（小红书、抖音、快手、微博、Bilibili など）の公開コンテンツを自動的に取得するために使用されます。取得できる内容は次のとおりです。

MediaCrawler

2種類のクロール方法。キーワード検索と、投稿や動画 ID による精密取得が可能で、一次・二次コメントも取得できます。
ログイン状態の管理。QRコードまたは Cookie ログインに対応し、ログイン状態を保存できるため、何度もスキャンする必要がありません。
アンチクロール対策。Playwright で実際のブラウザをシミュレートし、JS を自動実行して署名パラメータを取得するため、自分で複雑な JS リバースを行う必要がありません。IP プロキシポールとスライダー CAPTCHA 処理も搭載されています。
データ出力。CSV、JSON、SQLite、MySQL などのフォーマットに対応しており、後々の分析やデータベース保存に便利です。
可視化プラグイン。クリックするだけでコメントのワードクラウドを作成でき、すぐにホットトピックを把握できます。
レジュームクロールと複数アカウント（Pro 版）。Pro 版では複数アカウントの切り替えが可能で、Linux 守护进程、Docker デプロイに対応し、コードがモジュール化されているため、大規模利用や企業利用、二次開発に適しています。

Playwright で実際のブラウザを起動し、ログイン後に Cookie、LocalStorage などのログイン状態を保持します。
ブラウザ内でプラットフォーム独自の JS コードを動かしてリクエスト署名パラメータを取得し、それをバックエンド API に送ります。そのため、暗号化アルゴリズムをリバースする必要がなく、多くの手間が省けます。

1.リポジトリのクローン

git clone https://github.com/NanmiCoder/MediaCrawler.git
cd MediaCrawler

2.依存関係のインストール

python -m venv venv && source venv/bin/activate  # Windows は Scripts\activate
pip install -r requirements.txt
playwright install

3.QRコードログインとクロール

python main.py --platform xhs --lt qrcode --type search

プロンプトに従ってキーワードを入力すると、データはデフォルトで data/ ディレクトリに保存されます。

作者は常に、学習・研究目的のみに使用可能であり、商用利用や大規模な違法クロールは禁止と強調しています。使用した時点で免責事項に同意したものとみなされます。

より高い並列処理、企業レベルのメンテナンス、デスクトップ向け動画ダウンローダーが必要な場合は、作者が提供している MediaCrawlerPro の有料版を検討してみてください。

要するに、MediaCrawler はブラウザ自動化と JS リバース不要のアプローチにより、中国語ソーシャルメディアのデータ収集のハードルを下げたツールであり、運用担当者、データアナリスト、研究者がアイデアを素早く試すのに適しています。

オープンソースアドレス：https://github.com/NanmiCoder/MediaCrawler