jundot / omlx

oMLX 맥컨트리언 배치와 계층화된 KV 캐싱에 최적화된 LLM 추론을 메뉴 바에서 직접 관리합니다.

junkim.dot@gmail.com ·

설치 · 퀵스타트 · 특징 · 모델 · CLI 구성 · 벤치마크 · oMLX.ai

영어 · 中文 · 한국어 · 日本語

---

제가 시도한 모든 LLM 서버는 편리함과 통제 중 하나를 선택하게 만들었습니다. 일상 모델을 메모리에 고정하고, 무거운 모델을 주문 시 자동 교체하며, 컨텍스트 제한을 설정하고 메뉴 바에서 모두 관리하고 싶었습니다.

oMLX는 핫 인메모리 계층과 콜드 SSD 계층에 걸쳐 KV 캐시를 지속시킵니다. 대화 중 컨텍스트가 변경되더라도 이전 모든 컨텍스트는 캐시되어 요청 간에 재사용 가능해, 로컬 LLM이 Claude Code 같은 도구를 이용한 실제 코딩 작업에 실용적입니다. 그래서 내가 만든 거야.

설치

macOS 앱

릴리스에서 '.dmg'을 다운로드하고, 애플리케이션으로 드래그하면 완료됩니다. 앱에는 앱 내 자동 업데이트가 포함되어 있어 향후 업그레이드는 단 한 번의 클릭으로 가능합니다. macOS 앱은 'omlx' CLI 명령어를 설치하지 않는다는 점에 유의하세요. 터미널 사용은 Homebrew를 통해 설치하거나 소스에서 설치하세요.

홈브루

출처에서

macOS 15.0+(세쿼이아), 파이썬 3.10+, 애플 실리콘(M1/M2/M3/M4)이 필요합니다.

퀵스타트

macOS 앱

애플리케이션 폴더에서 oMLX를 실행하세요. 환영 화면은 모델 디렉터리, 서버 시작, 첫 모델 다운로드의 세 단계를 안내합니다. 그게 다야. OpenClaw, OpenCode, Codex, Hermes Agent, 또는 Copilot을 연결하려면 통합(Integrations)을 참조하세요.

CLI

서버 di

---

🌐 본 텍스트는 빠른 이해를 돕기 위한 요약 번역본입니다. 정확한 기술 정보 및 전체 코드는 GitHub 원문에서 확인하실 수 있습니다.