Модели сдают тест на IQ. Шпаргалки проверить забыли

У любителей бенчмарков новая олимпиада: нейросети меряются IQ. На TrackingAI — таблица результатов публичного теста Mensa Norway, среднее за последние семь прохождений. Вверху вперемешку Grok, Claude, Copilot, Mistral. Таблица выглядит солидно — пока не начинаешь выяснять, что именно здесь соревнуется.

Даже оставив за скобками старый спор о том, измеряют ли IQ-тесты интеллект, со шкалой уже неловко: её строили по результатам людей, а теперь раздают эти баллы машинам. Дальше веселее. По описанию TrackingAI, модели с пометкой Vision получают картинки задач, остальные — пересказ картинок словами. Одни должны разобраться в изображении, другие работают с готовым описанием. Баллы оказываются в одной колонке, хотя задания на входе мягко говоря требуют совершенно разных навыков.

Баллы оказываются в одной колонке, хотя задания на входе разные.

А ещё примеры теста Mensa Norway лежат в интернете. Задания и опубликованные разборы могли запросто попасть в обучающие данные модели. Возможно, она решила задачу впервые; возможно, узнала знакомую. По высокому баллу этого не отличить. На экзамене такое обычно называется «а где вы взяли билет?»

У TrackingAI есть отдельный Offline Test: авторы сайта утверждают, что его задания раньше не публиковались в интернете и не входили в обучающие данные. Независимой проверки последнего утверждения здесь также нет. У большинства моделей результаты там ниже, чем на публичном Mensa Norway, иногда на десятки пунктов. Это не доказательство прямого списывания, тем не менее, хороший повод ещё раз спросить, сколько в публичном тесте решения, а сколько — встречи со знакомым материалом.

Вообще, конечно, смотреть, как модели проходят головоломки, любопытно. Называть это чемпионатом по интеллекту — уже дерзость: одному участнику показали картинку, другому её пересказали, а видел ли кто-нибудь ответы раньше, судьи не знают. Как говорится, списывай, но не точь-в-точь.