🚀🤖 Crawl4AI: 오픈소스 LLM 친화 웹 크롤러 및 스크래퍼.

신뢰할 수 있는 대규모 웹 추출, 이제 기존 솔루션보다 훨씬 더 비용 효율적으로 구축되었습니다.

👉 조기 접근 신청하기
단계적으로 온보딩하며 초기 사용자와 긴밀히 협력합니다. 제한된 슬롯.

Crawl4AI는 웹을 정리된 LLM 준비 Markdown으로 바꿔 RAG, 에이전트, 데이터 파이프라인에서 사용할 수 있게 합니다. 빠르고, 제어 가능하며, 5만 스타 이상의 커뮤니티에서 검증되었습니다.

✨ 최신 업데이트 v0.8.6 확인하기

✨ v0.8.6의 새로운 기능: 보안 핫픽스 — PyPI 공급망 문제로 인해 litellm을 unclecode-litellm으로 교체했습니다. v0.8.5를 사용 중이라면 즉시 업그레이드하세요.

✨ 최근 v0.8.5: 봇 방지, 섀도우 DOM 및 60+ 버그 수정! 프록시 상승을 통한 자동 3단계 봇 탐지, 섀도우 DOM 평탄화, 심층 크롤 취소, 구성 기본값 API, 동의 팝업 제거 및 중요한 보안 패치. 릴리스 노트 →

✨ 이전 v0.8.0: 크래시 복구 및 프리페치 모드! 장기간 크롤 시 resume_state 및 on_state_change 콜백으로 심층 크롤 크래시 복구. 5-10배 빠른 URL 탐색을 위한 새로운 prefetch=True 모드. 릴리스 노트 →

✨ 이전 v0.7.8: 안정성 및 버그 수정 릴리스! Docker API 문제, LLM 추출 개선, URL 처리 수정 및 의존성 업데이트를 포함한 11개 버그 수정. 릴리스 노트

🌐 본 텍스트는 빠른 이해를 돕기 위한 요약 번역본입니다. 정확한 기술 정보 및 전체 코드는 GitHub 원문에서 확인하실 수 있습니다.

unclecode / crawl4ai