MediaCrawler —开源-инструмент для сбора данных из социальных сетей на множестве платформ 169

MediaCrawler — это open-source краулер для социальных сетейинструмент, предназначенный в основном для автоматического сбора публичного контента с основных социальных платформ, таких как Xiaohongshu, Douyin, Kuaishou, Weibo, Bilibili. Может собирать:

• Заметки пользователей, видео, изображения и тексты.

• Видеофайлы (MP4), изображения (JPG/PNG).

• Текстовый контент, такой как заголовки, описания, комментарии.

• Информацию о пользователях, например никнейм, ID, количество подписчиков.

Ключевые возможности MediaCrawler

• Два режима сбора. Можно искать по ключевым словам, а также точно извлекать данные по ID постов или видео, при этом захватываются комментарии первого и второго уровня.

• Управление состоянием авторизации. Поддерживается вход по QR-коду или через Cookie, состояние входа сохраняется, поэтому не нужно каждый раз сканировать код.

• Защита от антипарсинговых механизмов. Используется Playwright для эмуляции реального браузера, автоматический запуск JS для получения параметров подписи, не нужно самостоятельно заниматься сложной JS-реверс-инженерией. Также добавлен пул IP-прокси и обработка слайдерной капчи.

• Вывод данных. Поддерживаются форматы CSV, JSON, SQLite, MySQL, что удобно для последующего анализа или хранения в базе данных.

• Плагин визуализации. Одним кликом можно построить облако слов из комментариев и быстро увидеть горячие темы.

• Возобновляемый сбор и поддержка нескольких аккаунтов (Pro-версия). Pro-версия позволяет переключаться между несколькими аккаунтами, поддерживает Linux-демон, развёртывание в Docker, код хорошо разделён, подходит для крупномасштабного или корпоративного использования, а также удобен для доработки.

Технические принципы MediaCrawler

• С помощью Playwright открывается реальный браузер, после входа сохраняются Cookie, LocalStorage и другие данные авторизации.

• В браузере напрямую выполняется собственный JS-код платформы для получения параметров подписи запроса, которые затем отправляются в backend API. Это избавляет от необходимости заниматься реверс-инженерией алгоритмов шифрования, что экономит немало усилий.

Сценарии использования MediaCrawler

• Контент-менеджмент или анализ конкурентов. Массовый сбор видео и комментариев конкурентов, построение облака слов для выявления горячих тем.

• Анализ данных и сентимент-анализ. Сохранение данных комментариев для построения моделей sentiment analysis и отслеживания изменений тем.

• Мониторинг рынка. Отслеживание реакции на маркетинговые кампании в Weibo и Douyin в реальном времени.

• Академические исследования общественного мнения. Получение публичных данных соцсетей для анализа общественного мнения или теории коммуникации.

Быстрый старт с MediaCrawler

1. Клонирование репозитория

git clone https://github.com/NanmiCoder/MediaCrawler.git
cd MediaCrawler

2. Установка зависимостей

python -m venv venv && source venv/bin/activate  # Для Windows используйте Scripts\activate
pip install -r requirements.txt
playwright install

3. Вход по QR-коду и начало сбора

python main.py --platform xhs --lt qrcode --type search

Следуйте подсказкам и введите ключевые слова, данные по умолчанию сохраняются в каталог data/.

Напоминание о юридических и нормативных аспектах

Автор постоянно подчёркивает, что инструмент можно использовать только для обучения и исследований, запрещено коммерческое использование, а также массовый незаконный сбор. Используя его, вы соглашаетесь с отказом от ответственности.

Если вам нужна более высокая параллельность, корпоративная поддержка или настольныйзагрузчик видео, вы можете обратить внимание на платную версию MediaCrawlerPro от того же автора.

Подводя итог, MediaCrawler, используя автоматизацию браузера и подход без JS-реверса, значительно снижает порог входа в сбор данных из китайских соцсетей, и подходит для контент-менеджеров, аналитиков данных и исследователей, чтобы быстро проверять идеи.

Адрес open-source проекта:https://github.com/NanmiCoder/MediaCrawler