대본 기획 도우미▸ 
AI 앱 
AI 뉴스 
MediaCrawler: 다중 플랫폼 소셜 미디어 데이터 수집을 위한 오픈소스 도구
MediaCrawler: 다중 플랫폼 소셜 미디어 데이터 수집을 위한 오픈소스 도구소개
MediaCrawler는 오픈소스 소셜 미디어 크롤러 도구로, 주로 주요 소셜 플랫폼(샤오홍슈, 두인, 快手, 웨이보, Bilibili 등)의 공개 콘텐츠를 자동으로 수집하는 데 사용됩니다. 수집 가능한 콘텐츠는 다음과 같습니다.
사용자가 게시한 노트, 동영상, 이미지 텍스트.
동영상 파일(MP4), 이미지(JPG/PNG).
텍스트 콘텐츠, 예: 제목, 설명, 댓글.
사용자 정보, 예: 닉네임, ID, 팔로워 수 등.
MediaCrawler 핵심 기능
두 가지 크롤링 방식. 키워드 검색이 가능하며, 게시물 또는 동영상 ID로 정밀하게 수집할 수 있어 1차 및 2차 댓글까지 가져올 수 있습니다.
로그인 상태 관리. QR코드 또는 Cookie 로그인을 지원하며, 로그인 상태를 저장할 수 있어 매번 스캔할 필요가 없습니다.
크롤링 차단 방지. Playwright로 실제 브라우저를 시뮬레이션하고, JS를 자동으로 실행하여 서명 파라미터를 가져오므로 복잡한 JS 리버스 엔지니어링을 직접 할 필요가 없습니다. IP 프록시 풀과 슬라이더 CAPTCHA 처리 기능도 추가되어 있습니다.
데이터 출력. CSV, JSON, SQLite, MySQL 등의 형식을 지원하여 후속 분석이나 데이터베이스 저장에 용이합니다.
시각화 플러그인. 클릭 한 번으로 댓글 워드클라우드를 생성하여 빠르게 트렌드를 파악할 수 있습니다.
중단 후 이어 수집 및 멀티 계정(Pro 버전). Pro 버전은 여러 계정을 전환할 수 있으며, Linux 데몬 프로세스 및 Docker 배포를 지원합니다. 코드가 모듈화되어 있어 대규모 또는 기업용 환경에 적합하며二次 개발(二次开发)도 용이합니다.
MediaCrawler 기술 원리
Playwright로 실제 브라우저를 열고, 로그인 후 Cookie, LocalStorage 등의 로그인 상태를 유지합니다.
브라우저에서 플랫폼 자체 JS 코드를 직접 실행하여 요청 서명 파라미터를 가져온 후, 이를 백엔드 API로 전송합니다. 이렇게 하면 암호화 알고리즘을 리버스 엔지니어링할 필요가 없어 많은 수고를 덜 수 있습니다.
MediaCrawler 사용 시나리오
콘텐츠 운영 또는 경쟁사 리서치. 경쟁사의 동영상과 댓글을 대량으로 수집하고, 워드클라우드를 만들어 트렌드를 파악합니다.
데이터 분석 및 감성 분석. 댓글 데이터를 저장하여 감성 모델을 만들거나 주제 변화를 살펴보는 데 활용합니다.
시장 모니터링. 웨이보, 두인에서의 마케팅 캠페인 실시간 반응을 추적합니다.
학술 여론 연구. 공개 소셜 데이터를 수집하여 여론 또는 커뮤니케이션학 분석에 활용합니다.
MediaCrawler 빠른 시작
1.저장소 클론
git clone https://github.com/NanmiCoder/MediaCrawler.git cd MediaCrawler
2.의존성 설치
python -m venv venv && source venv/bin/activate # Windows는 Scripts\activate 사용 pip install -r requirements.txt playwright install
3.QR코드 로그인 및 수집
python main.py --platform xhs --lt qrcode --type search
안내에 따라 키워드를 입력하면, 데이터는 기본적으로 data/ 디렉터리에 저장됩니다.
법률 및 규정 준수 안내
저자는 계속해서 학습 및 연구 목적으로만 사용할 수 있으며, 상업적 용도로는 사용할 수 없고 대규모의 불법 수집도 할 수 없다고 강조합니다. 사용하면 면책 조항에 동의하는 것으로 간주됩니다.
더 높은 동시 처리, 기업급 유지보수 또는 데스크톱 동영상 다운로더가 필요하다면, 저자가 출시한 MediaCrawlerPro 유료 버전을 참고해 보세요.
요약하면, MediaCrawler는 브라우저 자동화와 JS 리버스 엔지니어링이 필요 없는 방식으로 중국어 소셜 미디어 데이터 수집의门槛(문턱)을 크게 낮추었으며, 운영 담당자, 데이터 분석가, 연구자가 아이디어를 빠르게 테스트하는 데 적합합니다.
오픈소스 주소:https://github.com/NanmiCoder/MediaCrawler
