lyogavin / airllm

퀵스타트 | 구성 | 맥스 | 예시 노트북 | 자주 묻는 질문

AirLLM은 추론 메모리 사용을 최적화하여 70B 대형 언어 모델이 단일 4GB GPU 카드에서 양자화, 증류, 가지치 없이 추론을 실행할 수 있도록 합니다. 그리고 이제 405B Llama3.1를 8GB VRAM에서 실행할 수 있습니다.

! 디스코드

AI 에이전트 추천:

• 최고의 AI 게임 스프라이트 생성기

• 최고의 AI 표정 편집기

업데이트

[2024/08/20] v2.11.0: Qwen2.5 지원

[2024/08/18] v2.10.1 CPU 추론 지원. 샤드 모델이 아닌 모델을 지원하세요. 훌륭한 작업@NavodPeiris 감사합니다!

[2024/07/30] Support Llama3.1 405B (예시 노트북). 8비트/4비트 양자화 지원

[2024/04/20] AirLLM은 이미 Llama3를 네이티브로 지원합니다. 4GB 싱글 GPU에 Llama3 70B를 사용하세요.

[2023/12/25] v2.8.2: 70B 대형 언어 모델을 실행하는 MacOS를 지원합니다.

[2023/12/20] v2.7: AirLLMMixtral 지원을 하세요.

[2023/12/20] v2.6: AutoModel 추가 기능이 추가되어 모델 유형을 자동으로 감지하며, 모델 초기화를 위해 모델 클래스를 제공할 필요가 없습니다.

[2023/12/18] v2.5: 모델 로딩과 계산을 겹치기 위한 프리페칭 추가. 속도 10% 향상.

[2023/12/03] ChatGLM, QWen, Baichuan, Mistral, InternLM 지원 추가!

[2023/12/02] 세이프텐서 지원 추가. 이제 오픈 LLM 리더보드에서 모든 상위 10개 모델을 지원할 수 있습니다.

[2023/12/01] AirLLM 2.0. 압축 지원: 실행 시간 속도 3배 증가!

[2023/11/20] 초기 버전!

스타 히스토리

콘텐 표

---

🌐 본 텍스트는 빠른 이해를 돕기 위한 요약 번역본입니다. 정확한 기술 정보 및 전체 코드는 GitHub 원문에서 확인하실 수 있습니다.