LLM 내부 구조

토큰화에서 어텐션, 추론 최적화까지 단계별로 LLM 내부 구조를 배워보세요.

---

Outcome School의 창립자 Amit Shekhar가 준비하고 관리함

---

참고: 이 시리즈는 제가 더 많은 블로그 글을 쓰고 새로운 주제의 영상을 만들면서 계속 성장할 예정입니다. 계속 학습하세요.

---

대형 언어 모델(LLM)

LLM의 내부 구조로 들어가기 전에, LLM이 실제로 무엇인지 먼저 이해하는 것이 좋습니다.

이 영상에서는 다음을 다룹니다:

• LLM
• RAG
• MCP
• 에이전트
• 파인튜닝
• 양자화

시작해봅시다: AI 엔지니어링 설명: LLM, RAG, MCP, 에이전트, 파인튜닝, 양자화

---

대형 언어 모델(LLM)에서의 토큰화

이 영상에서는 토큰화와 그것이 대형 언어 모델에서 왜 중요한지 배워봅니다.

시작해봅시다: 대형 언어 모델에서의 토큰화

---

LLM에서의 바이트 페어 인코딩(Byte Pair Encoding)

이 블로그에서는 BPE(Byte Pair Encoding)에 대해 배우고, 대부분의 최신 대형 언어 모델(LLM)에서 텍스트를 처리하기 전에 작은 조각으로 나누기 위해 사용하는 토큰화 알고리즘을 다룹니다.

BPE가 무엇인지, 왜 필요한지, 그리고 간단한 예제를 통해 단계별로 어떻게 작동하는지 이해할 것입니다.

다음 내용을 다룹니다:

• 토큰화란 무엇인가?
• 문제: 텍스트를 토큰으로 나누는 방법은?
• BPE(Byte Pair Encoding)란 무엇인가?
• BPE 작동 방식: 단계별 설명
• BPE가 새로운 텍스트를 토큰화하는 방법
• 현대 LLM에서 BPE가 사용되는 이유

시작해봅시다: LLM에서의 바이트 페어 인코딩

---

---

🚀 가벼운 미리보기 모드: 페이지 속도를 위해 핵심 도입부만 번역되었습니다. 전체 코드는 원문 GitHub에서 확인하세요!