🔥 MediaCrawler - 자가미디어 플랫폼 크롤러 🕷️

면책 조항:

모두 학습 목적으로 이 저장소를 사용해 주세요⚠️⚠️⚠️⚠️, 크롤러 관련 위법 사례

본 저장소의 모든 내용은 학습과 참고용으로만 제공되며, 상업적 용도로 사용이 금지됩니다. 누구든지 또는 어떤 조직도 본 저장소의 내용을 불법적인 목적으로 사용하거나 타인의 합법적인 권리를 침해할 수 없습니다. 본 저장소와 관련된 크롤러 기술은 학습과 연구 목적으로만 사용되며, 다른 플랫폼에 대한 대규모 크롤링이나 기타 불법 행위에 사용해서는 안 됩니다. 본 저장소의 내용을 사용하여 발생하는 모든 법적 책임은 본 저장소가 지지 않습니다. 본 저장소의 내용을 사용함으로써 본 면책 조항의 모든 조항과 조건에 동의하는 것으로 간주됩니다.

더 자세한 면책 조항 보기. 클릭하여 이동

📖 프로젝트 소개

강력한 다중 플랫폼 자가미디어 데이터 수집 도구로, 샤오홍슈, 도우인, 콰이쇼우, Bilibili, 웨이보, 티에바이, 즈후 등 주요 플랫폼의 공개 정보 수집을 지원합니다.

🔧 기술 원리

• 핵심 기술: Playwright 브라우저 자동화 프레임워크를 기반으로 로그인 상태 유지
• JS 역공학 불필요: 로그인 상태가 유지된 브라우저 컨텍스트 환경을 사용하여 JS 표현식으로 서명 파라미터 획득
• 장점: 복잡한 암호화 알고리즘 역공학 불필요, 기술 장벽 대폭 낮춤

✨ 기능 특징

플랫폼	키워드 검색	지정 게시물 ID 크롤링	2차 댓글	지정 크리에이터 페이지	로그인 상태 캐시	IP 프록시 풀	댓글 워드클라우드 생성
샤오홍슈	✅	✅	✅	✅	✅	✅	✅
도우인	✅	✅	✅	✅	✅	✅	✅
콰이쇼우	✅	✅	✅	✅	✅	✅	✅
Bilibili	✅	✅	✅	✅	✅	✅	✅
웨이보	✅	✅	✅	✅	✅	✅	✅
티에바이	✅	✅	✅	✅	✅	✅	✅
즈후	✅	✅	✅	✅	✅	✅	✅

---

🌐 본 텍스트는 빠른 이해를 돕기 위한 요약 번역본입니다. 정확한 기술 정보 및 전체 코드는 GitHub 원문에서 확인하실 수 있습니다.