머신러닝 엔지니어링 오픈 북

이 문서는 대규모 언어 모델과 다중 모달 모델의 성공적인 훈련 및 미세 조정, 그리고 그 추론을 돕기 위한 방법론, 도구 및 단계별 지침을 공개적으로 모은 모음입니다.

이 자료는 LLM/VLM 교육 엔지니어 및 운영자에게 적합한 기술 자료입니다. 여기 내용은 많은 스크립트와 복사-붙여넣기 명령어를 포함해 신속하게 요구사항을 처리할 수 있도록 합니다.

이 저장소는 제가 대형 언어 모델(LLM)(및 VLM) 훈련 경험을 정리한 지속적인 뇌 덤핑입니다; 2022년 오픈 소스 BLOOM-176B 모델, 2023년 IDEFICS-80B 멀티모달 모델, 2024년 Contextual.AI 에서 RAG 모델을 훈련하면서 얻은 많은 노하우를 얻었습니다.

이 정보를 주로 제가 직접 모아서 과거에 이미 조사하고 효과가 있었던 해결책을 빠르게 찾기 위해 작성했지만, 늘 그렇듯이 이 노트들을 더 넓은 머신러닝 커뮤니티와 공유할 수 있어 기쁩니다.

목차

1부. 통찰

1. AI 전장 공학 - 성공하기 위해 알아야 할 것들.

2. 클라우드 제공업체 선택 방법 - 이 질문들은 성공적인 컴퓨트 클라우드 경험을 가능하게 합니다.

2부. 하드웨어

1. Compute - 가속기, CPU, CPU 메모리.

2. 저장소 - 로컬, 분산 및 공유 파일 시스템.

3. 네트워크 - 노드 내 및 노드 간 네트워킹.

3부. 오케스트레이션

1. 오케스트레이션 시스템 - 컨테이너 및 자원 관리
2. 진음 - 심플

---

🌐 본 텍스트는 빠른 이해를 돕기 위한 요약 번역본입니다. 정확한 기술 정보 및 전체 코드는 GitHub 원문에서 확인하실 수 있습니다.