과학 추론
GPQA Diamond
전문가가 만든 어려운 과학 객관식 문제의 정답률입니다.
확인일 2026-10-07 · 점수 단위 %
무엇을 측정하나요?
생물학·물리학·화학 분야의 대학원 수준 지식과 추론을 평가합니다. GPQA는 분야 전문가가 작성하고 검증한 객관식 문제로 구성됩니다. Diamond는 그중 엄격한 검증을 거친 부분집합입니다.
어떻게 채점하나요?
문제와 선택지를 제시하고 모델이 선택한 답을 정답과 비교합니다. 정답 수를 평가한 문제 수로 나누면 정확도가 됩니다. 반복해서 답을 생성한 평가라면 반복별 정답률을 평균할 수 있습니다. 추론 강도, 예시 제공 여부, 샘플링 방식은 발표의 평가 조건을 확인해야 합니다.
점수를 읽는 방법
높은 점수는 해당 과학 문제를 잘 푼다는 뜻입니다. 실험 수행, 최신 논문 검증, 한국어 설명의 명료성까지 직접 측정하지 않습니다. 문제 수가 제한되어 작은 점수 차이에 과도한 의미를 부여하지 마세요. 문제 노출과 학습 데이터 중복 가능성도 함께 고려해야 합니다.
비교 전에 확인할 항목
- 같은 벤치마크 버전과 문제 집합인가요?
- 검색과 코드 실행 같은 도구를 동일하게 제공했나요?
- 추론 강도, 실행 시간, 하네스가 같은가요?
- 정답률, 부분 점수, Elo 중 무엇을 표시하나요?
- 개발사 자체 평가인가요, 독립 평가인가요?