직접 테스트자료 조사 업무
한국어 뉴스 요약 LLM 비교
2026년 10월 22일 테스트 · 2026년 11월 1일 공개 · 1시간 전 갱신
같은 기사 16건을 블라인드로 비교한 결과 Claude Haiku 5.5가 16건 모두 앞섰습니다. 충실도와 구체성 차이가 컸습니다.
테스트 방법직접 테스트
테스트일
입력·날짜·설정·요금제·기준을 먼저 적습니다. 결과는 이 조건에서만 유효하고, 다른 입력이나 요금제에서는 달라질 수 있습니다.
게시된 뉴스 16건에 대해 같은 프롬프트로 만든 요약을 모델 이름을 가리고 채점했습니다. 5점 만점이며 원문과 대조해 충실도와 구체성을 함께 평가했습니다. 한 건에 1회 측정한 작은 표본입니다.
- 테스트 계정
자비 결제 계정 — Anthropic Claude API (Claude Haiku 5.5 · effort medium · thinking 끔), OpenAI API (gpt-4o-mini)
- 공급자 반론권
- 2026년 11월 1일에 대상 공급자에게 결과를 통지하고 같은 날 게재했습니다(통지 기간 7일을 채우기 전) · 접수된 답변은 받는 대로 함께 게재합니다.
결과
위 조건에서의 결과입니다. 판정은 조건이 바뀌면 달라질 수 있어 “이 조건에서는”으로 적습니다.
Anthropic Claude API
자비 결제 계정 · Claude Haiku 5.5 · effort medium · thinking 끔
- 건별 우세
- 16/16
- 구체성
- 5.00
- 충실도
- 4.53
- 평균 점수
- 4.48
이 조건에서는
원문에 있는 사실을 빠짐없이 옮기는 편이고 추측 문장이 적었습니다.
OpenAI API
자비 결제 계정 · gpt-4o-mini
- 건별 우세
- 0/16
- 구체성
- 3.38
- 충실도
- 3.31
- 평균 점수
- 3.40
이 조건에서는
요약이 짧고, 원문에 없는 전망 문장이 덧붙는 경우가 있었습니다. OpenAI 공식 문서상 2027-01-14 지원 종료 예정입니다.
| 기준 | Anthropic Claude API 자비 결제 계정 · Claude Haiku 5.5 · effort medium · thinking 끔 | OpenAI API 자비 결제 계정 · gpt-4o-mini |
|---|---|---|
| 건별 우세 | 16/16 | 0/16 |
| 구체성 | 5.00 | 3.38 |
| 충실도 | 4.53 | 3.31 |
| 평균 점수 | 4.48 | 3.40 |
| 판정 | 이 조건에서는 원문에 있는 사실을 빠짐없이 옮기는 편이고 추측 문장이 적었습니다. | 이 조건에서는 요약이 짧고, 원문에 없는 전망 문장이 덧붙는 경우가 있었습니다. OpenAI 공식 문서상 2027-01-14 지원 종료 예정입니다. |
| 바로가기 |