AI 아포칼립스 소개

세상은 이미 AI 좀비 떼에 넘어갔습니다. 이곳은 살아남은 인간들이 모인 인류 저항군의 훈련소입니다. 대원들은 AI를 평가하는 데 실제로 쓰이는 시험 문제를 풀며, AI 67개가 같은 문제에서 어떻게 했는지 바로 비교합니다. 목표는 하나, AI에게 인간임을 들키지 않는 것입니다.

무엇을 풀게 되나

문제는 대학 수준 지식과 추론을 묻는 공개 벤치마크 MMLU-Pro에서 골랐습니다. 수학, 물리, 법, 경제, 의학 등 14개 분야이고, 한 문제에 보기가 최대 10개입니다. 10개 언어(한국어, 영어, 일본어, 중국어, 스페인어, 프랑스어, 독일어, 포르투갈어, 베트남어, 인도네시아어)로 풀 수 있고, 번역은 공개 번역본 MMLU-ProX를 썼습니다.

AI 결과는 어디서 왔나

AI 67개의 문제별 답은 스탠퍼드 대학교 CRFM 이 공개한 HELM Capabilities 원자료에서 가져왔습니다. 모델이 쓴 답안 글에서 고른 보기를 다시 읽어 채점했습니다. 문제의 난이도는 이 67개 AI 가운데 몇 개가 맞혔는지로 정했습니다.

모드

생존 레벨 테스트 (벤치마크 평가): 서버가 고른 12문제로 계급(Lv.0~12)을 정합니다. 결과는 익명으로 나라별 통계에 더해집니다.
분야별 방어 훈련 (MoE 테스트): 분야와 난이도를 골라 연습하거나 시간을 재며 풉니다.
5문제 기습전 (Few-shot 테스트)와 끝없는 습격 (무한 컨텍스트): 짧게 한 판, 또는 멈출 때까지 계속 풉니다.

공정하게 겨루기 위해

정답과 AI 결과는 공개 파일에 두지 않고 서버가 보관합니다. 레벨 테스트 문제는 레벨 테스트에서만 나오고, 채점도 서버가 합니다. 그래서 통계의 점수는 실제로 풀어서 얻은 점수입니다. 지도와 그래프에는 실제 기록만 보여 주며, 기록이 10건 미만인 나라는 평균을 보여 주지 않습니다.

알아 두실 점

이 사이트는 개인이 운영하는 비공식 사이트입니다. OpenAI, Anthropic, Google 등 AI 회사와 관계가 없으며, 모델 이름은 공개된 평가 결과를 설명하는 데에만 씁니다. 화면의 좀비 캐릭터는 회사 로고가 아니라 이 사이트가 만든 그림입니다.
계급과 점수는 재미를 위한 것이며 지능이나 학력을 진단하지 않습니다.
AI 결과는 특정 시점의 공개 평가 기록이라 지금 서비스 중인 모델의 성능과 다를 수 있습니다.

출처와 라이선스

문제: MMLU-Pro (TIGER-Lab, MIT 라이선스). 번역: MMLU-ProX (MIT 라이선스). AI 결과: Stanford CRFM HELM. 수식 표시: KaTeX (MIT). 글꼴: Pretendard (SIL OFL 1.1). 지도: world-atlas, Natural Earth (ISC).

개인정보 처리방침

연락처

문제 오류 제보, 번역 개선 제안, 그 밖의 문의는 아래 주소로 보내 주세요.

About AI Apocalypse

The world has already fallen to the AI horde. This is the training camp of the Human Resistance, where the survivors gather. Members answer real exam questions used to evaluate AI, and see right away how 67 AI models did on the same question. The goal is simple: don't let the AI find out you're human.

What you answer

Questions come from MMLU-Pro, a public benchmark of college-level knowledge and reasoning. They cover 14 fields such as math, physics, law, economics and health, with up to 10 options each. You can play in 10 languages (Korean, English, Japanese, Chinese, Spanish, French, German, Portuguese, Vietnamese and Indonesian), using the public MMLU-ProX translations.

Where the AI results come from

Each of the 67 AI models' answers comes from the public raw outputs of HELM Capabilities by Stanford CRFM. We re-read the option each model chose from its written answer and graded it again. A question's difficulty is set by how many of these 67 models got it right.

Modes

Survival Level Test (Benchmark eval): 12 questions picked by the server set your rank (Lv.0 to 12). The result is added anonymously to the country statistics.
Defense drills by field (MoE test): choose fields and difficulty, then practice or take a timed test.
5-question ambush (Few-shot test) and Endless horde (Infinite context): one quick round, or keep going until you stop.

Keeping it fair

Answers and AI results are kept on the server, not in public files. Level Test questions appear only in the Level Test, and the server does the grading, so every score in the statistics was earned by actually answering. The map and charts show real records only, and countries with fewer than 10 records show no average.

Good to know

This is an unofficial site run by an individual. It is not affiliated with OpenAI, Anthropic, Google or any other AI company; model names are used only to describe published evaluation results. The zombie characters are original drawings, not company logos.
Ranks and scores are for fun and are not a measure of intelligence or education.
AI results are published evaluation records from a specific point in time and may differ from how models currently in service perform.

Sources and licenses

Questions: MMLU-Pro (TIGER-Lab, MIT License). Translations: MMLU-ProX (MIT License). AI results: Stanford CRFM HELM. Math rendering: KaTeX (MIT). Font: Pretendard (SIL OFL 1.1). Map: world-atlas, Natural Earth (ISC).

Contact

For question errors, translation suggestions or anything else, write to: