Исследователи из Калифорнийского университета в Беркли утверждают, что большие языковые модели приобрели «металингвистическую способность» — отличительный признак человеческого языка и познания, который не проявлялся ни у одного другого животного.
Новые исследования учёных из Калифорнийского университета в Беркли показывают, что чат-боты с искусственным интеллектом могут анализировать предложения как обученные лингвисты. Это даёт представление о том, как улучшаются модели искусственного интеллекта, а также ставит под сомнение идею о том, что только человек способен мыслить о языке.
Платформы искусственного интеллекта, такие как ChatGPT, широко известны как сложные механизмы прогнозирования. Обученные на огромном количестве контента, от новостных статей и книг до сценариев фильмов и постов в Reddit, они предсказывают наиболее вероятные следующие буквы и слова при получении запроса. Хотя их ответы могут создавать впечатление, что они мыслящие существа, этот научно-фантастический сценарий пока не реализовался.
Однако новое исследование учёных из Калифорнийского университета в Беркли впервые показало, что чат-боты с искусственным интеллектом теперь могут анализировать предложения как обученные лингвисты. Исследование, опубликованное в журнале IEEE Transactions on Artificial Intelligence, даёт представление о том, как улучшаются модели искусственного интеллекта, а также ставит под сомнение идею о том, что только человек способен мыслить о языке.
Гаспер Бегуш, доцент кафедры лингвистики Калифорнийского университета в Беркли и ведущий автор исследования, сказал, что способность глубоко размышлять о словах и структуре предложений является определяющим когнитивным достижением человека. Однако эта способность говорить о языке и управлять им — процесс, называемый металингвистикой, — также становится областью применения чат-ботов с искусственным интеллектом.
«Наши новые результаты показывают, что наиболее продвинутые большие языковые модели начинают преодолевать этот разрыв, — сказал Бегуш. — Они не только могут использовать язык, но и размышлять о том, как он организован».
Бегуш и его команда ввели 120 сложных предложений в несколько версий ChatGPT от OpenAI, а также в Llama 3.1 от Meta. С каждым предложением они поручили системе проанализировать его, оценить, есть ли в нём определённое лингвистическое качество, и изобразить его с помощью того, что лингвисты называют синтаксическими деревьями — визуальными представлениями структуры и компонентов предложения.
В предложении «Элиза хотела, чтобы её выгнали» исследователи хотели узнать, сможет ли искусственный интеллект обнаружить то, что называется неоднозначной структурой. Хотела ли Элиза, чтобы кого-то выгнали? Или она хотела, чтобы сняли физический гипс?
Версии ChatGPT 3.5 и 4, а также Llama не смогли обнаружить путаницу. Но модель o1 от OpenAI, предназначенная для «рассуждений» над более сложными вопросами, обнаружила неоднозначность и точно изобразила её.
Это стало показателем улучшений, которые вносят модели, сказал Бегуш. Но его особенно интересовало, смогут ли системы обнаружить то, что лингвисты называют рекурсией, иногда называемой «бесконечностью языка».
Впервые рекурсию предложил Ноам Хомский. Рекурсия — это способность человека встраивать фразы в другие фразы, как в предложении «Собака, которая гналась за кошкой, которая забралась на дерево, громко лаяла». Это может привести к бесконечному эффекту вложенности предложений. Хомский назвал это определяющей чертой человеческого языка и тем, что отличает нас от других животных.
Чтобы проверить концепцию рекурсии, Бегуш и его команда предложили моделям искусственного интеллекта определить, есть ли в предложенном предложении рекурсия, и какая именно лингвистическая версия у него есть. Они также поручили моделям добавить ещё одно похожее рекурсивное предложение.
Используя предложение «Неопознанные летающие объекты могут иметь противоречивые характеристики», модель o1 от OpenAI обнаружила рекурсию — «летающий» модифицирует «объекты», а «неопознанный» модифицирует «летающие объекты». Она изобразила предложение и вывела его на новый уровень: «Неизвестные недавно замеченные летающие объекты могут иметь противоречивые характеристики».
Исследователи написали, что «o1 значительно превзошла все остальные».
«Это очень важно, — сказал Бегуш, добавив, что это продвигает дискуссию о том, понимает ли искусственный интеллект язык или просто имитирует его. — Это означает, что в этих моделях у нас есть одна из редких вещей, которые, как мы думали, были только у человека».
Он добавил, что подход, который они использовали для изучения понимания языком искусственного интеллекта, — это тот, который лингвисты могут использовать для оценки других достижений в области чат-ботов с искусственным интеллектом. Это, в свою очередь, может помочь отделить ажиотаж вокруг технологии от фактов о том, как инструменты на самом деле улучшаются.
«Все знают, каково это — говорить о языке, — сказал он. — В этой статье создан хороший эталон или критерий того, насколько модель справляется. Важно оценить её научно».
Предоставлено:
[University of California — Berkeley](https://phys.org/partners/university-of-california—berkeley/)