A benchmark of expert-level academic questions to assess AI capabilities

Hendrycks D.; Mazeika M.; Zhang O.; Hausenloy J.; Ren R.; Kim R.; Khoja A.; Li N.; Gatti A.; Phan L.; Wang A.; Yue S.; Telluri A.; Wu A.; Wang K.; Nagumalli L.; Nguyen L.; Zhang A.; Saha A.; Shah N.; Sun D.; Samal S.; Kasamsetty R.; Yalam S.; Nasim Z.; Le A.; Sundarapandiyan V.; Kulkarni V.; Patel S.; Wu T.; Echeazu D.; Wang T.; Osbey T.; Peng C.; Singh A.; Sun X.; Yoon J.; Zhao B.; Yue R.; Yang R.; Lee S.; Maung E.; Xiao T.; Wang G.; Xu Z.; Kalpathi T.; Chen K.; Zhou A.; Agrawal R.; Leung J.; Ai V.; Bharath V.; Sunkari S.; Yang H.; Lass J.; Do L.; Fu E.; Ma B.; Cheng V.; Zhang D.; Avadhanam A.; Liu M.; Baranov A.; Halevy K.; Paek J.; Jindel K.; Zhang A.; Luo J.; Deng M.; Luo E.; Suhail A.; Cheraku A.; McKellips G.; Nattanmai A.; Chopra A.; Agrawal A.; Choi M.; Shi S.; Ling J.; Shaaban M.; Zhang C.B.C.; Zhang H.; Hu J.; Han Z.; Scaramuzza D.; Karwowski J.; Wu B.; Cao P.M.; Scotese C.R.; Bartlett C.W.; Turchin P.; Zhang S.; Gulati S.; Liu Z.; Suresh S.; Pan R.; Xu R.; Shiyu H.; Liang Y.; Zhang G.; Maximiano G.; Tran H.; Park C.F.; Batra H.; Venugopalan S.; Reddy S.P.; Chernyavsky J.; Chigurupati S.; Jain E.; Yeo W.; Chen P.E.; Yu Z.; Rosset S.; Heilala V.; Morris J.; Bailey J.; Pflugfelder R.; Qin H.; Dewerpe I.; Sun Z.; Demircali A.E.; Yu E.; Toukmaji C.; Liu Y.; Manini D.; Kostakos V.; Xu S.; Meding K.; Hao W.; Sperzel M.; Thi Hoang H.; Mahfoud M.; Chung J.-W.; Aji A.F.; Vieira B.H.; Zhang T.; Wu J.; Men Q.; Jha K.; Patil V.; Zhang Z.; Zhu Z.; Cheng Z.; Moulin A.; Lai S.; Mak J.; Ma M.Q.; Shi T.; Park I.; Ponkshe K.; Ge J.; Chen S.; Song Z.; Singla V.; Christof B.; Yücel A.T.; Tire K.; Chen B.; Kansal Y.; Wist J.; Geirhos C.; Dhuliawala S.; Patlan A.S.; Bohdal O.; Bar K.; Hu W.; Gonçalves D.V.; Bashmal L.; Wang J.; Dong W.; Racz B.; Banik D.; Chen J.; Chernyavsky I.; Rannev I.; Villanueva J.P.; Sewuster G.; Zheng G.; Matsumoto K.; Dworakowska B.; Kang T.; Fosin I.; Gupta I.; Tang M.; Malusare A.; Wang Z.; Peterson M.; Lin X.; Jain R.K.; Yuan J.; Khan S.; Jiang X.; Zsolnai-Fehér K.; Mishra R.; Fang J.; Siedler P.D.; Lin H.; Elkhanany A.; Pai K.; Chen H.; Wei B.; Park N.; Gitter A.; Knights T.; Lopez-Miguel I.D.; Ermon S.; Ye Z.; Lee K.H.; Weng E.; Smucker L.; Xiao Y.; Gendron G.; Wang Z.; Zhang C.E.; Song D.; Shen Z.; Ma J.J.; Luczyna G.; Ha J.; Marjanović S.V.; Chen Y.; Kim S.; Tu H.; Ren Y.; Zhang W.; Chen H.; Xi H.; Subramanian S.; Deng J.; Tang M.; Chen J.; Plomecka M.; Wu S.; Bouyamourn A.; Guan J.; Qu X.; Liu J.; Chamorro-Padial J.; Mukherjee K.; Arrais A.O.; Wang X.; Bizeul A.; Wei A.; Chang Y.; Li R.; Wang S.; Yin Y.; Sun C.; Mollaei S.; Wang D.; Kean J.; Geirhos R.; Yap L.; Maggetti M.; Plassart A.; Rabern B.; Kreuer J.; Han X.; Todoran S.; Jiang M.; Jin C.; Zhao X.; Yilmaz A.; Pondaven A.; Nguyen M.C.; Zohar O.; Dhingra S.; Juefei-Xu F.; Shabani A.; Li R.; Hernandez-Orallo J.; Perlitz Y.; Zhang M.; Nguyen T.A.; Stolfo A.; Briański M.; Sarti G.; Park H.K.; Yu S.; Slen A.; Li C.; Cozianu C.; Sonmez Y.; Cai M.; Zhang Z.; Yifei L.S.; Agrawal A.; Zhang X.; Liang Y.; Yin M.; Sanker V.; Li S.; Kon P.T.J.; Beger C.; Zhang Y.; Lù X.H.; De Maddalena R.; Jaeger J.; Huber L.S.; Li F.; Xiong Y.; Wecker A.; Pang T.C.Y.; Quod Soler Bartomeu D.; Nguyen H.; Briia G.; Overholt K.J.; Shridhar K.; Wang Y.; Pinto F.; Pu B.; Rismanchian S.; Krishna S.; Dernoncourt F.; Yao J.; Sun R.; Kim H.; Zhang Q.; Kamphuis T.; Shepherd M.; Datta S.; Rodrigo-Ginés F.-J.; Hauser J.; Reddish J.; Hoyer D.; Zsambok J.; Chalstrey E.; Francois P.; Kondor D.; del Rio-Chanona M.; Wong A.A.W.L.; Caetano D.M.; Nayak A.; Wang Y.; Abbondanza D.; Park J.; Dhole K.; Li H.; Ponti E.M.; Winata G.I.; Nguyen T.-H.; Parcalabescu L.; Purohit S.S.; Qi T.; Pantidis I.; Perełkiewicz M.; Noyé M.; Le L.; Luo G.; Sinha A.; Chandok N.; He M.; Wu J.; Zhou Y.; Jia Z.; Demircali A.A.; Wang X.; Nhu A.N.; Dai Y.; Anugraha D.; Sanz-Ros J.; Zhang M.; Bogdanik S.; Zouhar V.; Poulos J.; Yang X.; Vaquero L.; Hebbar S.A.; ElSheikh A.; Medved T.; Meiburg A.; Petruzella G.; Wang D.; Schottdorf M.; Kaddour J.; Ebert S.; Sala S.; Zubić N.; Sun T.; Sun H.-Y.; Patwardhan T.; McGowan J.; Richmond M.; Ragavendran P.V.; EL-Wasif Z.; Peskoff D.; Creighton S.; Jin J.; Shah I.A.; Krenek K.; Siddh S.; Tiryakioglu M.; Aaron A.; Jain Y.; Bezzi D.; Duclosel D.; Menshawy A.; Sayed M.; Bateman G.; Uro J.L.; Singer E.; Lai J.; Bian S.; Ali S.; Sidhu J.; Sparrow C.; Bahaloohoreh M.; Harjadi C.; Rossbach V.; Maksapetyan A.; Muzhen J.; Salauddin S.M.; Enyekwe I.; Radhakrishnan A.; Ler D.; Usawasutsakorn S.; Vincze M.; Sherman G.; Fruhauff T.; Gupta H.; Saxena P.; Siddiqi M.R.; Thaman K.; Arnaboldi L.; Möller S.; Mündler N.; Bogdanov S.; Cartwright A.; Shukla P.; Dendane A.; Maheshwari R.; Scaria K.J.; Outevsky D.; Patil D.; Jiang Y.; Agarwal A.; Vargus F.; Chhablani G.; Hoover A.; Alapont X.; Gonzalez D.E.; Gul S.; Meer K.; Sharma A.; Campbell R.; Łucki J.; Montecillo R.G.; Gimenez J.; Cai W.; Hoback S.; Habibi F.; Morak W.; Loume G.A.; Mensah S.; Tarver T.; Hartman T.D.; Remy N.; Malishev D.; de Oliveira Junior B.A.; Du Z.; Zhang G.; Berkani M.; Agarwal K.P.; of Arc Xavier J.; Jiang T.; Singh A.; Ze-An N.; Galal A.; Apronti A.; Pinto A.; Jansen T.; Jeanplong F.; Heydari N.; Bugas D.; Goswami L.P.; Kumar P.; Xu J.; Mavroudis V.; Gonzalez J.; Islam M.; Mendoza S.; Jiang X.; Abramovitch M.; Tony Lian L.; Poesia Reis e Silva G.; Fan Y.; Clavier P.; Vaz W.S.; Weber B.; Albanie S.; Brown A.; Lewark L.; Duc E.; Shahrtash H.; Huy T.D.; Lauer P.; Carauleanu M.; Shah T.; Gloor L.; Semler A.; Chen E.; McInnis I.M.J.; Jallon A.; Lindsey J.; Chu E.; Borbás B.; Qin J.; Vergo E.; Somrak M.; Piza M.; Ducey J.; Clark R.; Fasiludeen A.A.; Iyer K.; Lorena R.; Minissi A.M.R.; Rodrguez R.A.H.; Askew L.; Perry S.; Stepanic S.; Taheri O.; Pottmaier D.; Malysheva Y.; Ramirez-Trinidad A.; Fan J.; Pronin A.; Moyano A.J.; McAlister I.C.; Arthornthurasuk S.; Dai L.; Safdari M.; Johnson B.; Ferreira D.; Cole J.; Alarab I.; Finocchio R.; Wu W.; Pouriamanesh R.; Mariji H.; Kelley E.; De Oliveira Pena R.; Anderson E.; Maayan G.; Gonzalez J.C.; Farina N.; Resman N.; Liakhovitskaia A.; Karim L.; Shamseldeen S.; Santos T.C.B.; Karakoc A.; Zekry M.; Adoul Z.; Labrador Y.C.L.; Shinde D.P.; Bodur O.F.; Kirtland A.; Plecnik R.; Sims B.; Tan J.; Ragoler A.; Scipio E.J.; Avagian D.; Zhang X.; Kassani P.; Demian C.; Mao M.; Brenner M.P.; Hausknecht K.; Wang E.Y.; Martinson S.; Fan J.; Segev B.; Qi H.; Raynor B.; Williamson D.; Robins J.; Rodolà E.; Hernández-Cámara P.; de Witt C.S.; Caciolai A.; Gopi S.; Li W.-D.; Kratish Y.; Wang T.; Grover R.; Vajipey V.; Amaro B.; Brito-Santana L.; Gundlach H.; Newbould J.; Verkama E.; Häggström O.; Cavalleri S.; Quinn Liu H.; Yakimchyk A.; Brooks M.; Ni C.; Rank B.; Lux T.C.H.; Tanwie N.M.; Shulga N.; Popescu M.; Recchia G.; Bacho K.; Shumar O.; Boscá M.C.; Bigi F.; Michael Pokorny R.; Obikoya G.D.; Yaln Y.; Degorre J.; Zhou Y.A.; Souza V.; Hollom L.; Portier J.; Adesanya F.; Kazakov D.; Laurendeau J.; Lang L.; Albani G.; Weller O.; Malod G.; Li X.; Cho N.; de la Rosa F.; Yong Z.-X.; Bacho R.; Sponselee K.; Vetoshkin L.; Mourrat J.-C.; Shahid S.M.; Stritecky V.; Spelda P.; Delaney E.; Vinnikov V.; Votava J.; White C.; Colino J.; Cosma A.; Petersen P.; Giordano P.; Jackson A.; Robinson J.; Loh K.Y.; Pham D.T.; Franca A.; Zhang L.; Burdzy K.; Yan M.; Wang Y.; Shah J.; Ferret J.; Kim E.; Dai L.; Kirchhof M.; Aggarwal D.; Steinerberger S.; Tawfeek A.R.; Carroll M.; Park H.; Zhuang C.; Ceconello C.; Kumar H.; Gurdogan H.; Costa M.; Kim W.; Shapourian H.; Singh M.; Friday C.; Dick A.-K.; Reidegeld F.; Aly R.; Mehkary M.; Malina S.; Peristyy A.; Handoko; Weber S.; Pereira R.; Hulbert D.; Amit A.; Maghsoudimehrabani M.; Battaglia M.; Okutsu K.; Hallman E.; Mirabadi A.K.; Dhamane O.; Sakal T.; Pyda D.; Perez R.H.; Friedrich A.; Kassahun H.; Peñaflor M.; Mohammadzadeh F.; Medley G.; Farhidi F.; Patel O.; Hammon A.; Ekström F.; Samuele F.; Phillips S.; Hossain Z.; Tang C.; Wehr D.; Lauff R.; Rodriguez M.O.; Winter N.; Zhidkovskaya A.B.; Uzhou M.; Kretov E.; Stap D.; Golshani B.; Shen A.; Dasouqi A.; Stander D.; Haffenden H.; Manik T.; Chidambaram M.; Zou A.; Jackson J.W.; Oliveira E.; Di Fratta C.; Olszewska K.; Lengler J.; Yacar L.; Yuan M.X.; Leser J.N.; Mohamed M.; Zebaze A.R.; Xian R.; Held W.; Ma W.; Ho A.; Taamazyan V.; Duersch J.; Soroko I.; Leventov R.; Dobarskyi K.; Zhang D.K.; Piperski A.; Mofayezi M.; Zhelnov P.; Agnihotri S.; Jones A.; Gusev I.; Pandey R.; Gross J.; Ciobâcă S.; Harris C.; Firsching M.; Merrill W.; Thaman K.; Chen M.; Eicher J.; Fan H.; Pradeep R.; Jagota M.; Muennighoff N.; Fossum C.J.; Drori J.; Rodman E.; Pan J.; Kolt N.; Le V.-K.; Looi S.-Z.; De Luca G.B.; Tomasiello A.; Zhang R.; Tee A.; Barkan S.; Santens T.; Abdoli S.; Kamalov F.; Zhou X.; Shah S.; Andrew Favre D.O.; Eron M.; Sakor A.; Milliron H.; Kvistad L.; Wolff H.; Balabanian G.; Tordera D.; Douville G.; Elgnainy H.; Durand S.; Sun Y.; Ansarinejad B.; Wang Z.; Bari M.S.; Milbauer J.; Nunes M.I.S.; Wang J.; Lo E.J.Y.; Bálint B.; Chen Z.; Kazemi F.; Bosio I.; Korbak T.; Preu T.; Achilleos A.; Wang Z.; Martin F.; Loader J.; Xu H.; Xin L.; Reuel A.; Lamparth M.; Patel A.; Sun K.; Alley W.; Roberts J.; Menezes A.; Narayan H.; Brown Z.; Szlyk H.; Rosu P.; Khánh T.Q.; Singh V.; Chen Q.; Mostaghimi H.; Piccardo M.; Gustafsson N.; Khoury S.; Ivanov A.; Basler L.; Nevirkovets V.; Platnick J.; Singhal R.; Andréoletti J.; Ma Z.; Meril E.; Joshi P.; Verma S.; Halasyamani S.; Crozier J.; Riblet R.; Faraboschi P.; Sztyber-Betley A.; Nie Y.; Wang M.; Shenoy A.; Matos J.O.; Ovchynnikov M.; Kirchner J.H.; Paradise O.; Cohen M.K.; Tang N.; Zhao S.; Magoulas I.; Lee S.; Xu J.; Coleman S.; Lai J.; Aldous D.; Redenti A.; Krause M.; Patramanis D.; Goryachev V.; Cunningham D.M.; Hoang H.; Tam J.; Makarychev Y.; Sandlin J.; Akov I.; Sridhar K.; Heimonen J.P.; Bradshaw P.; Stehberger M.; Wheeler R.; Bartolo M.; Zhu K.; Brown E.D.L.; Carmi A.; Zheng E.; Schoelkopf H.; Terpin A.; Thornley E.; Ramakrishnan K.; Wang H.K.; Chen Y.; Ängquist I.; Kaddar Y.; Zhang L.; He H.; Inlow M.H.; Aziz M.F.; Sen A.; Ambay J.A.; Givré A.; Shukla A.; Grabb D.; Goertzen T.; Rogers T.R.; Stade J.; Tucker-Foltz J.; Stendall R.; Montgomery K.; Barzowski S.; Padlewski P.; Wang C.; Goldfarb A.; Tkadlec J.; Poświata R.; Cohen N.; Stump C.; Ginis V.; Rozhoň V.; Radionov M.; Heidinger H.; Daans N.; Nguyen J.; Li J.; Rawal K.; Zweiger A.; Anantheswaran U.; Klose I.; Vilchis V.E.G.; Kreiman T.; Elser V.; Fish S.; Dias F.M.; Kim D.H.; Clarke D.; Kazibwe Z.; Schneider K.; Moat R.; Zhang A.; Sommerhage F.; Rodriguez-Romero A.; Holmes D.; Kuchkin A.; Hava D.B.; Sivarajan S.; Ho L.; Munro D.; Foster M.; Whitfill P.; Berger Z.; Ben-David S.; Poritski V.; Orel D.; Kharlamova A.; Sucholutsky I.; Zang A.; Kaparov N.; Perrella D.; Ivanov S.; Dehghan A.; Zhang W.; Crisostomi D.; Shen J.; Li D.; Cavanagh J.M.; Arsene P.; Zhao B.; Chern S.; Antonenko D.S.; Sun G.; Koppel J.; Lackner M.; Zu Y.; Vilchis T.G.; Jin A.; Kamdoum A.G.K.; Hu Y.; Ardito C.G.; Sahu A.; Oller M.; Wykowski J.; Maar J.; Yang T.; Stanley R.; Lim D.; Yuan Q.; Zheltonozhskii E.; Schut L.; Li B.; Myklebust B.; Kopylov A.; Noever D.; Verbeken B.; Van Der Sypt L.; Van den Houte K.; Algaba A.; Bran A.M.; Senthilkumar S.; Schwaller P.; Ivanov S.; Sayous R.; Jin J.; Salazar J.; Coppola B.P.; Bosio C.; Hogg T.; Mishra S.; Stambaugh N.; Manolescu C.; Lukas M.; Kalinin M.; Loiseau G.; Zvonkine D.; Rao A.; Crispino N.; Yang J.; Prabhu A.; Imperial J.M.; Dieuleveut A.; Twayana M.; Brüssel L.; Green S.R.; Rissone P.; Tang H.; Press O.; Soori S.; Zhou K.; Pageler B.; Martinez D.; Demir G.; Guillod J.; Gritsevskiy A.; Mikov A.; Liang K.; Lynch J.; Efremov D.; Marion P.; Maksimov A.P.; Kuchkin V.; Fraga N.W.; Vendrow J.; Li Y.; Tang L.; Zenitani K.; Cojoc D.; Vendrow E.; Veith J.; de Oliveira Santos E.; Motwani S.; Cao H.; Willcocks C.G.; Bacho A.; Shi J.W.L.; Arkhipov P.; Wydallis J.B.; Nam J.; Li L.; Qazi U.; Ren Q.; Sileo D.; Taylor E.; Garretson A.C.; McCarty B.; Cai J.; Gehrunger T.; Park H.; Nandor M.; Hoerr R.G.; Zampese J.; Cheng Z.; Finke L.; Crowson S.-J.; Fournier-Facio F.; Cheatom A.; Giboney Z.; Agu C.; Naiya M.M.; Goshu G.M.; Burns N.; Utpala S.; Riis S.; Roth M.; Giska F.; Sanchez A.; Sauers S.; Lee Y.; Yeadon W.; Schmitt J.; Galgon G.; Gerbicz R.; Popov S.; Wang Z.; Zou C.; Gangal V.; Yu M.; Zhao H.; Feng S.Y.; Feng F.; Kazakov M.; Levin J.-C.; Wang J.P.; Iskra O.; Pokutnyi O.; Mahmood M.; Stokes A.C.; Doroshenko M.; Anderson D.; Lee J.; Nguyen T.; Dodonov D. · Nature (2026) · DOI: 10.1038/s41586-025-09962-4

Resumen

Benchmarks are important tools for tracking the rapid advancements in large language model (LLM) capabilities. However, benchmarks are not keeping pace in difficulty: LLMs now achieve more than 90% accuracy on popular benchmarks such as Measuring Massive Multitask Language Understanding1, limiting informed measurement of state-of-the-art LLM capabilities. Here, in response, we introduce Humanity’s Last Exam (HLE), a multi-modal benchmark at the frontier of human knowledge, designed to be an expert-level closed-ended academic benchmark with broad subject coverage. HLE consists of 2,500 questions across dozens of subjects, including mathematics, humanities and the natural sciences. HLE is developed globally by subject-matter experts and consists of multiple-choice and short-answer questions suitable for automated grading. Each question has a known solution that is unambiguous and easily verifiable but cannot be quickly answered by internet retrieval. State-of-the-art LLMs demonstrate low accuracy and calibration on HLE, highlighting a marked gap between current LLM capabilities and the expert human frontier on closed-ended academic questions. To inform research and policymaking upon a clear understanding of model capabilities, we publicly release HLE at https://lastexam.ai. © The Author(s) 2026.

Instituciones: Universidad Nacional Agraria La Molina