SparkEngineAI / QuantClaw-plugin

QuantClaw: OpenClaw를 위한 중요한 곳에서의 정밀함

中文文档

QuantClaw는 OpenClaw용 플러그 앤 플레이 작업 유형 라우팅 양자화 플러그인입니다. 각 들어오는 요청을 분류하고, 이를 정밀도 티어(4bit, 8bit, 16bit)에 매핑하며, 요청을 올바른 모델 대상으로 라우팅하여 사용자가 정밀도를 수동으로 선택하지 않아도 품질, 지연 시간, 비용의 균형을 맞출 수 있습니다.

🔍 QuantClaw 소개

QuantClaw는 고정된 직관이 아니라 OpenClaw 워크로드에 대한 양자화 연구를 기반으로 구축되었습니다. 우리는 24개의 작업 유형, 104개의 작업, 6개의 모델, 9B에서 744B까지의 스케일을 아우르는 양자화 및 고정밀 모델을 평가합니다.

Claw-Eval(v0.0.0 릴리스) 결과:

  모델
  파라미터(B)
  BF16 / FP8
  NVFP4

  GLM-4.7-Flash
  30
  0.6370
  0.6034

  GLM-5
  744
  0.7130
  0.7229

  MiniMax-M2.5
  229
  0.6760
  0.6823

  Qwen3.5-9B
  9
  0.4267
  0.4107

  Qwen3.5-35B-A3B
  35
  0.6686
  0.6549

  Qwen3.5-397B-A17B
  397
  0.7048
  0.6937

• 코딩, 안전, 복잡한 워크플로와 같은 높은 민감도 작업은 더 높은 정밀도로 혜택을 볼 수 있습니다.
• 연구, 멀티모달 이해, 독해, 지식 검색, 사무 QA, 데이터 분석과 같은 낮은 민감도 작업은 종종 낮은 정밀도에서도 원활하게 실행될 수 있습니다.

✨ 주요 기능

 자동 적응
 Intel

---

🌐 본 텍스트는 빠른 이해를 돕기 위한 요약 번역본입니다. 정확한 기술 정보 및 전체 코드는 GitHub 원문에서 확인하실 수 있습니다.