EntropyMath Leaderboard

Evaluation details · 평가 방법 Answer selection · ACC / Pass@1 / Pass@3 · No tools

한국어 수능 수학 객관식 33문항(공통15·확통6·미적분6·기하6)을 평가했습니다. 모델별 호출 횟수는 각 행의 평가 정보와 문항별 기록에 표시합니다. 주관식 13문항은 제외했습니다.
OpenRouter Decisions의 답 선택 평가입니다. 같은 문제·선택지·질문을 사용하며 모델별 공급자를 고정했습니다. 풀이 생성·Python 실행·TAR 평가와 구분합니다.
Pass@1은 문항별 정답률의 평균입니다. 새 모델은 문항당 1회, 기존 Jev 1.13은 3회 평균입니다. Pass@3는 3회 평가한 모델에만 표시합니다. 비가중 문항 정답률이며 수능 100점 환산 점수가 아닙니다.
첫 유효 답변을 정오답·확신도와 관계없이 채점합니다. 통신 오류 재시도 횟수는 모델별 평가 정보에 기록합니다. 선택지 확률과 confidence는 공급자 반환값이며 정답 보장이나 증명 검증을 뜻하지 않습니다.

Leaderboard

Model	ACC	Pass@1	PASS@3	Common / 공통															Probability / 확통						Calculus / 미적분						Geometry / 기하
Model	ACC	Pass@1	PASS@3	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15	23	24	25	26	27	28	23	24	25	26	27	28	23	24	25	26	27	28
Solar Decide	84.8%28/33	84.8%	—	1/1	1/1	1/1	1/1	1/1	1/1	1/1	1/1	1/1	1/1	1/1	1/1	1/1	0/1	0/1	1/1	1/1	1/1	1/1	1/1	1/1	1/1	1/1	1/1	1/1	1/1	0/1	1/1	1/1	1/1	1/1	0/1	0/1
Jev 1.13	48.5%48/99	48.5%	54.5%18/33	0/3	3/3	3/3	0/3	0/3	0/3	0/3	0/3	3/3	0/3	1/3	3/3	0/3	1/3	1/3	3/3	0/3	0/3	0/3	0/3	3/3	3/3	3/3	0/3	0/3	0/3	3/3	3/3	3/3	3/3	3/3	3/3	3/3
Liquid D1	39.4%13/33	39.4%	—	0/1	1/1	0/1	0/1	1/1	0/1	1/1	0/1	0/1	0/1	1/1	1/1	0/1	0/1	0/1	1/1	0/1	1/1	0/1	0/1	1/1	1/1	0/1	1/1	0/1	0/1	1/1	0/1	1/1	0/1	1/1	0/1	0/1
Mercury Decide (free)	36.4%12/33	36.4%	—	0/1	1/1	0/1	0/1	1/1	0/1	0/1	1/1	0/1	0/1	1/1	0/1	0/1	1/1	0/1	1/1	0/1	0/1	0/1	0/1	0/1	1/1	1/1	0/1	0/1	0/1	0/1	0/1	1/1	0/1	1/1	1/1	1/1
Kev 4B	36.4%12/33	36.4%	—	0/1	0/1	0/1	1/1	0/1	0/1	1/1	0/1	0/1	0/1	0/1	1/1	0/1	1/1	1/1	0/1	0/1	1/1	0/1	1/1	1/1	0/1	0/1	0/1	0/1	0/1	1/1	1/1	0/1	0/1	1/1	0/1	1/1
Cloudflare Clef	33.3%11/33	33.3%	—	0/1	0/1	0/1	0/1	1/1	0/1	1/1	0/1	0/1	0/1	1/1	0/1	0/1	1/1	0/1	1/1	0/1	0/1	1/1	0/1	0/1	1/1	0/1	1/1	0/1	0/1	1/1	0/1	0/1	0/1	1/1	0/1	1/1
Perplexity Decider V1 27B	30.3%10/33	30.3%	—	1/1	0/1	0/1	0/1	1/1	0/1	0/1	0/1	0/1	0/1	0/1	1/1	0/1	1/1	0/1	1/1	0/1	0/1	0/1	0/1	1/1	1/1	1/1	0/1	0/1	0/1	0/1	0/1	1/1	0/1	1/1	0/1	0/1
Tev1 4B Experimental	30.3%10/33	30.3%	—	1/1	0/1	0/1	0/1	0/1	0/1	0/1	0/1	0/1	0/1	1/1	1/1	0/1	0/1	0/1	1/1	1/1	1/1	0/1	0/1	1/1	0/1	0/1	0/1	0/1	1/1	0/1	0/1	1/1	0/1	1/1	0/1	0/1

Scroll for problems · Click a cell for the solution

All correctPartialIncorrect

Answer selection · ACC / Pass@3 · 33 multiple-choice items

100%

75%

50%

25%

Perplexity Decider V1 27B

Tev1 4B Experimental

Cloudflare Clef

Kev 4B

Mercury Decide (free)

Liquid D1

Jev 1.13

Solar Decide

Accuracy

Pass@3

Avg Tokens per Reported Run

652

489

326

163

Jev 1.13

Solar Decide

Cloudflare Clef

Tev1 4B Experimental

Kev 4B

Perplexity Decider V1 27B

Mercury Decide (free)

Liquid D1

Avg Tokens / Problem

About this benchmark

Korean language measures verbal reasoning. Mathematics separates Python TAR from multiple-choice answer selection.

Entrance Exams brings university entrance examinations together, including verbal reasoning and mathematics. Results remain separate by exam, year, subject, and evaluation language.

객관식 33문항을 모델별로 1회 또는 3회 평가한 답 선택 결과입니다. Pass@1은 문항별 정답률의 평균이며, Pass@3는 3회 평가한 모델에서 세 번 중 한 번 이상 정답인 문항 비율입니다. Python TAR 결과와 직접 비교하지 않습니다. 문항별 선택지와 반환 확률을 공개합니다. 풀이·코드는 생성하지 않았습니다.

Performance Legend

Correct / recorded attempts · Color = answer correctness

33 multiple-choice items · 1 or 3 decisions per item · No Python

EntropyMath Leaderboard

CSAT 2026

Leaderboard

Answer selection · ACC / Pass@3 · 33 multiple-choice items

Avg Tokens per Reported Run

Performance Legend