행동 검증 하니스, Luna 성공률 100%로

최근 30일 조회수 —좋아요 —

핵심 요약

행동 검증 하니스가 GPT-6 Luna의 평가 성공률을 높여 Sol과 같은 신뢰도를 33% 낮은 비용에 달성했다.

행동 검증 하니스, Luna 성공률 100%로 — 기사 주제를 표현한 AI 생성 개념 삽화
AI 생성 개념 삽화 · 실제 사건을 촬영한 사진이 아닙니다.

마틴 파울러에 실린 나레시 자인의 실험에서 행동 검증 하니스(behavioral harness)는 비용 최적화 코딩 모델의 성공률을 크게 높였다. 같은 API 서비스를 만들게 했을 때 GPT-6 Luna는 하니스 없이 10회 중 3회만 외부 평가를 통과했지만, 하니스를 적용하자 10회 모두 통과했다.1

상위 모델인 GPT-6 Sol은 하니스 유무와 관계없이 모든 외부 평가를 통과했다. 하니스를 적용한 Luna도 10회 중 10회 성공해 Sol과 같은 신뢰도를 기록했으며, 회당 비용은 0.273달러로 Sol의 0.406달러보다 33% 낮았다. 다만 Luna에 하니스를 추가하면 토큰 사용량과 실행 시간은 늘었다.

이 결과는 작은 비용 최적화 모델에 검증 절차를 덧붙이는 방식이 실용적일 가능성을 보여준다. 다만 하나의 API 서비스와 각 10회 실행을 비교한 실험이므로, 다른 개발 작업에서도 같은 성공률과 비용 차이가 재현되는지는 이 자료만으로 판단할 수 없다.

Footnotes

  1. Martin Fowler, 「Are Harnesses Worth the Cost?」 ↩

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. Are Harnesses Worth the Cost? — Martin Fowler · 자료: 2026. 10. 13.

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.