Meta-Harness

Meta-Harness는 작업별 모델 하네스(task-specific model harness)에 대한 자동 검색을 위한 프레임워크입니다. 모델이 작동하는 동안 무엇을 저장하고, 가져오고, 보여줄지를 결정하는 고정된 베이스 모델 주변의 코드입니다. 이 저장소에는 프레임워크와 논문에서 참조한 두 가지 실험이 포함되어 있습니다. 논문 제목은 Meta-Harness: End-to-End Optimization of Model Harnesses 입니다.

Meta-Harness로 멋진 것을 만드셨다면, 꼭 알려주세요! 저희는 메인 README에 이를 소개하고, 여러분의 저장소, 아티팩트, 블로그 게시물, 논문 또는 가장 유용한 자료를 링크하고 싶습니다.

내용

• 새로운 도메인에 Meta-Harness를 적용하기 위한 재사용 가능 프레임워크와 온보딩 흐름.
• reference_examples/ 아래 논문 참조 실험 두 가지:
  • reference_examples/text_classification/: 텍스트 분류를 위한 메모리 시스템 검색.
  • reference_examples/terminal_bench_2/: Terminal-Bench 2.0을 위한 스캐폴드 진화.
• 논문에서 최적화된 Terminal-Bench 2 하네스는 별도 아티팩트 저장소에 있음: stanford-iris-lab/meta-harness-tbench2-artifact.

빠른 시작

텍스트 분류:

Terminal-Bench 2 스모크 태스크:

설정 세부사항, 예상 실행 시간, 추가 명령은 하위 디렉토리 README를 참조하세요.

새로운 도메인에 Meta-Harness 적용하기

먼저 코딩 어시스턴트를 ONBOARDING.md로 안내하고 대화를 시작하세요. 이 과정에서 Meta-Harness를 해당 도메인에 구현하는 방법에 관한 구체적인 세부 사항이 담긴 domain_spec.md 파일이 생성됩니다.

---

🚀 가벼운 미리보기 모드: 페이지 속도를 위해 핵심 도입부만 번역되었습니다. 전체 코드는 원문 GitHub에서 확인하세요!