Ai2: оценка новизны идеи нейросетью зависит от формулировки запроса

Можно попросить модель придумать идею, а затем другую модель — оценить её новизну. Но насколько устойчив такой судья? В исследовании Ai2 от 27 октября проверяется именно оценка оригинальности научных идей. Оно полезно и как напоминание для авторов, которые используют LLM для отбора сюжетов и концепций: уверенный вердикт может сильно зависеть от формулировки задания.

Как устроена проверка

Авторы построили наборы на основе рецензий ICLR 2026, выделяя высказывания об оригинальности работы. Они не приравнивали принятие статьи к новизне: хорошую работу могут принять по другим причинам. Затем сравнили оценку человеческих идей между собой и оценку человеческих идей рядом с вариантами, созданными простым LLM-генератором.

Для сгенерированных вариантов использовались слабые метки, а не установленная истина о каждой идее. Это ограничение важно: исследование показывает проблемы устойчивости оценивания, но не создаёт универсальный прибор для измерения творческой ценности.

Что изменялось в ответах

Команда меняла отдельные элементы процедуры: формулировку инструкции, формат сравнения, объём рассуждения и доступ к связанным публикациям. При одной из смен инструкций точность GPT-5.4 на наборе Human+Generated упала с 93,5% до 40,9%, хотя сравнивались те же пары. Эти числа относятся к конкретному эксперименту, а не к общей точности модели.

По выводам авторов, добавление поиска и вычислений не всегда улучшало результат. Судья, выглядевший устойчивым на человеческих исследованиях, мог вести себя иначе при оценке сгенерированных идей. Поэтому качество оценщика нужно проверять на том типе материала, который ему действительно предстоит разбирать.

Что это означает для отбора творческих идей

Перенос на сценарии и рекламу — редакционное рассуждение, а не проверенный результат этого научного набора. Исследование не доказывает, что модель бесполезна для творческой работы. Оно даёт основание осторожнее относиться к автоматическому баллу «оригинальность» и разделять разные критерии.

Например, понятность сюжета, соответствие брифу, выполнимость и новизна — разные вопросы. Если модель объединяет их в один рейтинг, сильная формулировка может заслонить слабую идею. Полезнее получать объяснение по каждому критерию и проверять, на какие конкретные элементы материала опирается оценка.

Практическая редакционная процедура

• Зафиксируйте цель оценки и критерии до просмотра вариантов.
• Подайте идеи в одинаковом формате и сопоставимом объёме.
• Повторите сравнение с перестановкой вариантов, сохраняя сам критерий.
• Для спорных решений проверьте чувствительность к разумной переформулировке вопроса.
• Передайте человеку решения, от которых зависит бюджет или отказ от важной концепции.

Это предлагаемый способ выявлять нестабильность, а не гарантия правильного выбора. Совпадение нескольких ответов тоже не доказывает новизну: для научного утверждения нужен анализ литературы, для рекламной идеи — отдельное исследование контекста. В VIZURAI автоматический судья оригинальности этой публикацией не подключается.