Asistente de guiones▸ 
Apps AI 
Noticias AI 
MediaCrawler: una herramienta de código abierto para la recopilación de datos en redes sociales multiplataforma
MediaCrawler: una herramienta de código abierto para la recopilación de datos en redes sociales multiplataformaIntroducción
MediaCrawler es una herramienta de raspado web (web scraping) de redes sociales de código abierto, diseñada principalmente para extraer automáticamente contenido público de las principales plataformas sociales, como Xiaohongshu, Douyin, Kuaishou, Weibo y Bilibili. El contenido que puede capturar incluye:
Notas publicadas por los usuarios, vídeos e imágenes con texto.
Archivos de vídeo (MP4) e imágenes (JPG/PNG).
Contenido textual, como títulos, descripciones y comentarios.
Información del usuario, como apodo, ID, número de seguidores, etc.
Capacidades principales de MediaCrawler
Dos métodos de raspado. Permite buscar por palabras clave o realizar una captura precisa por ID de publicación o vídeo, e incluso puede obtener comentarios de primer y segundo nivel.
Gestión del estado de inicio de sesión. Admite inicio de sesión mediante código QR o Cookie, y puede guardar el estado de inicio de sesión para no tener que escanear el código repetidamente.
Anti-anti-scraping. Utiliza Playwright para simular un navegador real, ejecuta automáticamente JavaScript para obtener los parámetros de firma, sin necesidad de realizar una ingeniería inversa compleja del JS. También incorpora un pool de proxies IP y gestión de captchas deslizantes.
Salida de datos. Admite formatos como CSV, JSON, SQLite y MySQL, lo que facilita el análisis posterior o el almacenamiento en bases de datos.
Plugin de visualización. Con un solo clic se pueden generar nubes de palabras de los comentarios, lo que permite identificar rápidamente los temas tendencia.
Reanudación de raspado desde puntos de interrupción y múltiples cuentas (versión Pro). La versión Pro permite cambiar entre varias cuentas, admite procesos daemon en Linux, despliegue con Docker, tiene el código desacoplado y es adecuada para uso a gran escala o empresarial, además de facilitar el desarrollo secundario.
Principio técnico de MediaCrawler
Utiliza Playwright para abrir un navegador real y, tras iniciar sesión, conserva el estado de inicio de sesión como las cookies y LocalStorage.
Ejecuta directamente el código JS nativo de la plataforma en el navegador para obtener los parámetros de firma de las solicitudes y luego los envía a la API del backend. Esto evita tener que hacer ingeniería inversa de los algoritmos de cifrado, lo que ahorra mucho trabajo.
Casos de uso de MediaCrawler
Operación de contenido o investigación de la competencia. Captura en masa los vídeos y comentarios de la competencia, genera nubes de palabras e identifica temas tendencia.
Análisis de datos y análisis de sentimiento. Almacena datos de comentarios para crear modelos de sentimiento y observar la evolución de los temas.
Monitorización de mercado. Sigue la reacción en tiempo real de las campañas de marketing en Weibo y Douyin.
Investigación académica sobre opinión pública. Obtiene datos públicos de redes sociales para ayudar en análisis de opinión pública o estudios de comunicación.
Inicio rápido con MediaCrawler
1. Clonar el repositorio
git clone https://github.com/NanmiCoder/MediaCrawler.git cd MediaCrawler
2. Instalar dependencias
python -m venv venv && source venv/bin/activate # En Windows usa Scripts\activate pip install -r requirements.txt playwright install
3. Iniciar sesión escaneando el código y comenzar la captura
python main.py --platform xhs --lt qrcode --type search
Sigue las instrucciones para introducir las palabras clave; los datos se guardan por defecto en el directorio data/.
Aviso legal y de cumplimiento
El autor siempre ha señalado que solo puede usarse con fines de aprendizaje e investigación, no es para uso comercial ni para capturas masivas e ilegales. Al usarlo, se acepta la cláusula de exención de responsabilidad.
Si necesitas mayor concurrencia, mantenimiento a nivel empresarial o un descargador de vídeos de escritorio, puedes consultar la versión de pago MediaCrawlerPro lanzada por el autor.
En resumen, MediaCrawler reduce enormemente la barrera de entrada para la captura de datos de redes sociales chinas gracias al uso de la automatización del navegador y la eliminación de la necesidad de ingeniería inversa de JavaScript, por lo que es ideal para profesionales de operaciones, analistas de datos e investigadores que quieran probar ideas rápidamente.
Dirección del proyecto de código abierto:https://github.com/NanmiCoder/MediaCrawler
