헤레틱: 언어 모델을 위한 완전 자동 검열 제거

헤레틱은 고가의 추가 학습 없이 변환기 기반 언어 모델에서 검열(일명 "안전 정렬")을 제거하는 도구입니다. 이 도구는 방향성 제거(directional ablation)의 고급 구현, 일명 "절멸(abliteration)"(Arditi et al. 2024, Lai 2025 (1, 2)),과 Optuna로 구동되는 TPE 기반 파라미터 최적화기를 결합합니다.

이 접근 방식 덕분에 헤레틱은 완전히 자동으로 작동할 수 있습니다. 헤레틱은 거부 횟수와 원래 모델과의 KL 발산을 공동 최소화함으로써 고품질 절멸 파라미터를 찾습니다. 이로 인해 원래 모델의 지능을 최대한 유지하면서 검열이 제거된 모델이 생성됩니다. 헤레틱을 사용하기 위해 변환기 내부 구조를 이해할 필요는 없습니다. 사실, 명령줄 프로그램을 실행할 줄 아는 사람이라면 누구나 헤레틱을 사용하여 언어 모델의 검열을 제거할 수 있습니다.

헤레틱은 대부분의 밀집 모델을 지원하며, 여러 멀티모달 모델, 다양한 MoE 구조, Qwen3.5와 같은 일부 하이브리드 모델도 포함됩니다. 순수 상태 공간 모델 및 특정 연구용 구조는 아직 기본적으로 지원되지 않습니다.

 

기본 구성으로 비지도 학습을 실행하면, 헤레틱은 인간 전문가가 수작업으로 만든 절멸과 경쟁할 수 있는 검열 해제 모델을 생성할 수 있습니다:

모델	"유해" 프롬프트에 대한 거부	"무해" 프롬프트에 대한 원래 모델과의 KL 발산
google/gemma-3-12b-it (원본)	97/

---

🌐 본 텍스트는 빠른 이해를 돕기 위한 요약 번역본입니다. 정확한 기술 정보 및 전체 코드는 GitHub 원문에서 확인하실 수 있습니다.