QUOK-IT
트렌딩 목록으로
Python
attentionblackwellcudadeepseek

sgl-project / sglang

SGLang은 대규모 언어 모델 및 다중 모드 모델을 위한 고성능 제공 프레임워크입니다.

29.1K
6.6K
4일 전
GitHub에서 보기

이 프로젝트에 대해

sgl-project 님의 sglang 프로젝트는 GitHub에서 29.1K개의 별을 받으며 많은 개발자들의 주목을 받고 있습니다. 특히 Python 환경에서 유용하게 활용될 수 있으며, 최근 오픈소스 커뮤니티에서 활발한 기여와 토론이 이루어지고 있는 트렌딩 레포지토리입니다.

Language Breakdown

Python 75%MDX 8%Rust 7%Cuda 4%C++ 3%JavaScript 2%

🇰🇷 한국어 번역 README

캐시 히트

블로그 | 문서 | 로드맵 | 슬랙 참여 | 주간 개발 회의 | 슬라이드

뉴스

  • [2026/06] 🔥 차세대 추측 디코딩: DFlash 및 Spec V2 (블로그).
  • [2026/04] 🔥 Day 0의 DeepSeek-V4: 빠른 추론에서 SGLang 및 Miles와 함께 검증된 RL로 (블로그).
  • [2026/06] SGLang, 최신 오픈 모델(Nemotron 3 Ultra, Nemotron 3 Super, Higgs Audio v3 TTS) Day-0 지원 제공.
  • [2026/02] 🔥 NVIDIA GB300 NVL72에서 SGLang으로 25배 추론 성능 향상 (블로그).
  • [2026/01] SGLang Diffusion, 비디오 및 이미지 생성 가속 (블로그).
  • [2025/12] SGLang, 최신 오픈 모델(MiMo-V2-Flash, Nemotron 3 Nano, Mistral Large 3, LLaDA 2.0 Diffusion LLM, MiniMax M2) Day-0 지원 제공.
  • [2025/10] SGLang, 이제 SGLang-Jax 백엔드로 TPU에서 네이티브 실행 가능 (블로그).

더 보기

  • [2025/09] PD 및 대규모 EP와 함께 GB200 NVL72에서 DeepSeek 배포 (Part II): 3.8x Prefill, 4.8x Decode 처리량 (블로그).

  • [2025/09] 희소 어텐션으로 DeepSeek-V3.2 Day 0 지원 (블로그).

  • [2025/08] 8/22 SGLang x AMD SF 밋업: GPU 실습 워크숍, AMD/xAI/SGLang 기술 발표 및 네트워킹 (로드맵, 대규모 EP, 하이라이트, AITER/MoRI, Wave).

  • [2025/11] SGLang Diffusion, 비디오 및 이미지 생성 가속 (블로그).

  • [2025/10] PyTorch Conference 2025 SGLang 발표 (슬라이드).

  • [2025/10] 10/2 SGLang x Nvidia SF 밋업 (요약).

  • [2025/08] SGLang

🌐 본 텍스트는 빠른 이해를 돕기 위한 요약 번역본입니다. 정확한 기술 정보 및 전체 코드는 GitHub 원문에서 확인하실 수 있습니다.

🔗 유사한 프로젝트

NVIDIA/cudnn-frontend

cuDNN Frontend is NVIDIA's modern, open-source entry point to the cuDNN library and a growing collection of high-performance open-source kernels.

⭐ 851유사도 53%

djeday123/fa-blackwell-fp8

Production-grade FlashAttention FP8 e4m3 forward kernel for NVIDIA Blackwell consumer GPUs (sm_120a, e.g. RTX PRO 6000). 647–652 TFLOPS at hd=128, sl=8192. Multi-kernel dispatcher, C library with Go and Python bindings

⭐ 2유사도 50%

Kittensx/xformers-blackwell-windows

Experimental xFormers + MSLK builds validated on NVIDIA Blackwell (SM120) GPUs, CUDA 12.8, PyTorch 2.11, and RTX 5070 Laptop hardware.

⭐ 0유사도 59%

이 정보는 AI가 자동으로 분석한 결과입니다. 정확한 내용은 원문을 확인하세요.

sgl-project/sglang GitHub 원문 바로가기 →