llama.cpp

선언문 / ggml / 연산

C/C++에서 LLM 추론

최근 API 변경 사항

• libllama API 변경 로그
• llama-server REST API 변경 로그

주요 주제

• Hugging Face 캐시 이전: -hf로 다운로드한 모델은 이제 표준 Hugging Face 캐시 디렉토리에 저장되어 다른 HF 도구와 공유할 수 있습니다.
• 가이드 : llama.cpp의 새로운 WebUI 사용법
• 가이드 : llama.cpp와 함께 gpt-oss 실행하기
• [피드백] 다운스트림 사용자 지원을 위한 llama.cpp 패키징 개선 🤗
• 네이티브 MXFP4 형식을 사용하는 gpt-oss 모델 지원 추가 | PR | NVIDIA와 협업 | 댓글
• 다중 모드 지원이 llama-server에 도입됨: #12898 | 문서
• FIM 완성을 위한 VS Code 확장:
• FIM 완성을 위한 Vim/Neovim 플러그인:
• Hugging Face Inference Endpoints가 이제 GGUF를 기본 지원!
• Hugging Face GGUF 편집기: 토론 | 도구

---

빠른 시작

llama.cpp 시작은 간단합니다. 머신에 설치하는 몇 가지 방법은 다음과 같습니다:

• brew, nix 또는 winget을 사용하여 llama.cpp 설치
• Docker로 실행 - Docker 문서를 참조
• 릴리스 페이지에서 미리 빌드된 바이너리 다운로드
• 이 리포지토리를 클론하여 소스에서 빌드 - 빌드 가이드 참고

설치 후에는 사용할 모델이 필요합니다. 모델 획득 및 양자화 섹션을 참고하세요.

예제 명령:

설명

llama.cpp의 주요 목표는 최소한의 설정과 상태로 LLM 추론을 가능하게 하는 것입니다

---

🌐 본 텍스트는 빠른 이해를 돕기 위한 요약 번역본입니다. 정확한 기술 정보 및 전체 코드는 GitHub 원문에서 확인하실 수 있습니다.