Просмотр кода страницы HLE


<p><span style="color: darkslategray;">Humanity's Last Exam, <i>сокр.</i> HLE</span><br/><span>[[Категория: компьютеры]]</span> <span>[[Категория: искусственный интеллект]]</span><span style="color: indigo;">«Последний экзамен человечества»</span><br/><span style="color: darkslategray;"> Самое сложное академическое испытание в истории, которое можно было создать для тестирования возможностей нейросетей в точных науках, не затрагивая аспект творческих способностей.<br/> Экзамен HLE состоит из 3000 сложных вопросов по ста разным дисциплинам (классическая филология, химия, высшая математика, информатика, экология, лингвистика и др.). Форматов заданий два: вопросы с точным совпадением (ИИ-модели сами пишут текст в качестве ответа) и вопросы с выбором ответа (ИИ выбирает один из пяти или более вариантов ответа). Особый акцент в тесте также делается на понимании схем и изображений.<br/> На начало 2025 года в тесте приняли участие несколько топовых нейросетей, такие как [[ChatGPT]] (старые и новейшие версии), Claude (популярный у бизнесменов и программистов), Gemini (от корпорации [[Google]]), Grok (ИИ от Илона Маска) и DeepSeek (китайская нейросеть, которая обвалила технологический сектор США). Все они провалили экзамен (в плюс-минус 90% вопросов модели давали неправильный ответ, и ещё настойчиво утверждали, что были правы).<br/> Показательный момент — худший и одновременно лучший результат продемонстрировал ChatGPT (его старая обычная версия Омни показала 3,3% точности ответов, средняя o1 показала результат 9,1, а новейшая o3-mini-high — 13). А нашумевший китайский DeepSeek, которого недавно назвали «убийцей ChatGPT», показал 9,4% точности ответов.</span><br/><span style="color: teal;">♦ В Американской математической олимпиаде — AIME — Grok-4 удалось решить все задачи, отличные результаты модель показала и в тесте-бенчмарке Humanity’s Last Exam. [https://secrets.tbank.ru/novosti/grok-4/ 🔗 2025]</span><br/> <br/>[[Файл:HLE.png|мини]]<br/><i>Изобр.</i> <span style="color: darkslategray;">Примеры вопросов по различным академическим дисциплинам в рамках экзамена HLE (на английском языке). Под вопросами указаны их авторы и образовательные учреждения, в которых те работают или обучаются. <i><font color="silver">Источник: agi.safe.ai.</span></font></i><br/><br/>— [[Участник:Игорь Мостицкий|Игорь Мостицкий]] ([[Обсуждение участника:Игорь Мостицкий|обсуждение]]) 14:14, 9 января 2026 (MSK)