머신러닝 엔지니어링 오픈북

이것은 대형 언어 모델(LLM) 및 다중 모달 모델(VLM)의 성공적인 학습과 파인튜닝 및 추론을 돕기 위한 방법론, 도구 및 단계별 지침을 모은 오픈 컬렉션입니다.

이 자료는 LLM/VLM 학습 엔지니어와 운영자에게 적합한 기술 자료입니다. 여기의 내용에는 요구 사항을 신속하게 해결할 수 있도록 많은 스크립트와 복사-붙여넣기 명령어가 포함되어 있습니다.

이 저장소는 제가 LLM(대형 언어 모델)과 VLM(다중 모달 모델)을 학습하면서 쌓은 경험을 정리한 지속적인 자료입니다. 이 중 많은 노하우는 제가 2022년에 오픈소스 BLOOM-176B 모델을 학습하고, 2023년에 IDEFICS-80B 다중 모달 모델을 학습했으며, 2024년 Contextual.AI에서 RAG 모델을 다룰 때 얻은 지식입니다.

이 정보를 주로 개인적으로 정리하여 과거에 이미 조사하고 잘 작동했던 솔루션을 빠르게 찾기 위해 작성하였지만, 평소처럼 이 노트를 ML 커뮤니티와 공유하게 되어 기쁩니다.

목차

파트 1. 인사이트

1. AI 전쟁터 엔지니어링 - 성공하기 위해 알아야 할 것들.

2. 클라우드 제공업체 선택 방법 - 이 질문들을 통해 성공적인 컴퓨트 클라우드 경험을 얻을 수 있습니다.

3. GPU 업그레이드가 가치가 있는 시점은? - 실제 H200 → B200 벤치마크를 통해 GPU 세대 업그레이드가 비용 대비 가치가 있는지를 결정하는 실용적인 프레임워크.

파트 2. 하드웨어

1. 컴퓨트 - 가속기, CPU, CPU 메모리.

2. 스토리지 - 로컬, 분산 및 공유 f

---

🌐 본 텍스트는 빠른 이해를 돕기 위한 요약 번역본입니다. 정확한 기술 정보 및 전체 코드는 GitHub 원문에서 확인하실 수 있습니다.