Ученые выявили фундаментальные различия в рассуждениях людей и ИИ

Исследование сосредоточилось на способности больших языковых моделей к построению аналогий. Результаты показали, что в простых задачах с буквенными последовательностями и числовыми матрицами, где необходимо определить недостающий элемент, люди показывают стабильные высокие результаты, в то время как ИИ сталкивается с трудностями.

В отличие от людей, языковые модели проявляют два основных ограничения при решении задач на сюжетные аналогии: зависимость от порядка заданных вопросов и склонность к механическому перефразированию вместо глубокого анализа.

Например, GPT-4 успешно справляется с элементарными буквенными аналогиями, требующими замены последней буквы последовательности. В ситуации, когда преобразуется «abcd» в «abce», модель корректно меняет «ijkl» на «ijkm». Однако с более сложными правилами, такими как исключение повторяющихся букв, ИИ справляется значительно хуже. В случае преобразования «abbcd» в «abcd» и применения этого правила к «ijkkl», система часто ошибается и не может правильно вывести «ijkl». Человек с такими задачами не сталкивается.

Ученые отметили, что модели ИИ не способны к "обучению с нуля" (zero-shot learning), то есть не могут адекватно анализировать данные из категорий, которые отсутствовали в обучающей выборке, и классифицировать их в соответствии с заданным вопросом.

В отличие от людей, языковые модели не могут выводить общие правила из конкретных примеров. Хотя они хорошо распознают и сопоставляют шаблоны, их способность к обобщению ограничена. Большинство ИИ-систем требуют большого объема данных — чем больше обучающая выборка, тем больше закономерностей они способны выявить. Однако распознавание шаблонов и умение абстрагировать — это разные вещи. Ключевым фактором оказывается не только объем данных, но и методы их обработки и анализа.

Это особенно важно в юриспруденции, где ИИ применяется для анализа законов и вынесения приговоров. Из-за этих ограничений модели могут неправильно интерпретировать прецеденты в новых делах.