EntropyMath Leaderboard

2026 수능 수학 한국어 46문항(공통 22 · 확률과 통계 8 · 미적분 8 · 기하 8)을 원문 텍스트와 그림 설명으로 평가합니다. 세 선택과목을 합친 문항 정답률이며, 수능 배점 기준 100점이 아닙니다.

모델이 Python으로 계산·검산하고, 실행 결과를 다음 턴에서 읽어 풀이와 최종 답변을 이어가는 다중 턴 TAR 평가입니다. Python 사용을 지시하며, 실제 호출·실행 성공 여부를 별도로 기록합니다. 호출마다 Python 변수는 초기화되고 실행 제한은 20초입니다.

ACC · Pass@1

최종 boxed 정수(객관식은 선택지 번호)를 정답 키와 비교합니다. ACC는 전체 집계 시도의 정답률, Pass@1은 문항별 정답률의 평균이며, 문항당 시도 수가 같으면 두 값은 같습니다.

Pass@K

K회 안에 한 번 이상 정답을 낼 확률의 추정치입니다. K회 이상 집계된 문항만 포함하고 대상 문항 수를 함께 표시합니다. 1회 평가 모델의 Pass@3는 —로 표시합니다.

Answer + Exec

최종 답이 정답이고 Python 실행이 한 번 이상 성공한 시도 수입니다. 문제 셀의 색은 정답 여부, 아래 검은 표시의 위·아래 행은 회차별 Python 호출·실행 성공을 뜻합니다.

통신 오류(4xx·5xx 등)와 시간·출력 제한은 해당 실행의 복구 정책에 따라 재시도하며 원본을 보존합니다. 해결되지 않아 보류한 실행은 집계에서 제외하고, 답 추출 실패와 Python 조건 미충족은 별도로 기록합니다. 정답 일치·실행 성공·수학적 증명 검증은 서로 다릅니다.