Многие из нас пытались поставить в тупик чат-бота. Мы спрашивали, есть ли у него чувства, задавали невыполнимые загадки или предлагали абсурдные ситуации, чтобы посмотреть, как он на это отреагирует.
Но что произойдёт, когда чат-бот столкнётся с полной лингвистической бессмыслицей? Именно это хотел выяснить психолингвист Майкл Витевич. Профессор кафедры речевых, языковых и слуховых наук в Университете Канзаса, Витевич провёл исследование, в котором он предложил ChatGPT серию «нонслов» — выдуманных звуков и буквосочетаний, используемых в когнитивной психологии для изучения того, как люди обрабатывают язык.
«Как психолингвист, я в прошлом предлагал людям бессмыслицу, чтобы посмотреть, как они на неё отреагируют — специально разработанную бессмыслицу, чтобы понять, что они знают, — говорит Витевич. — Я пытался использовать методы, которые мы применяем к людям, чтобы оценить, как они делают то, что делают, — и проделать то же самое с ИИ, чтобы увидеть, как он делает то, что делает».
Разговаривая с ChatGPT на языке тарабарщины, Витевич обнаружил, что ИИ превосходно распознаёт закономерности — но не всегда так, как это делают люди.
«Он находит закономерности, но не обязательно те, которые человек использовал бы для выполнения той же задачи, — говорит он. — Мы делаем вещи совсем не так, как ИИ. Это важный момент. Это нормально, что мы делаем вещи по-разному. И в тех вещах, в которых нам нужна помощь, именно там мы должны разработать ИИ, чтобы он стал для нас страховкой».
Витевич протестировал ChatGPT на английских словах, вышедших из употребления — так называемых «угасших словах». К таким словам относится, например, «upknocking» — работа в XIX веке, когда люди стучали в окна, чтобы разбудить других до появления будильников.
Из 52 архаичных терминов ChatGPT правильно определил 36. Для 11 он признал неуверенность. Для трёх он использовал другие языки. А для двух? Он придумал что-то своё.
«Он галлюцинировал в паре случаев, — говорит Витевич. — Мы просили его определить эти угасшие слова. Он правильно определил большое количество из них. По другой группе он сказал: «Да, я не знаю, что это такое. Это странное слово или очень редкое слово, которое больше не используется». Но потом в паре случаев он что-то выдумал. Наверное, он пытался быть полезным».
Следующим заданием было задание на фонологию. Витевич дал ChatGPT набор испанских слов и попросил ответить похожими по звучанию английскими словами — задание, используемое для изучения того, как мы мысленно храним и получаем доступ к звукам речи.
«Если я дам вам испанское слово и скажу, чтобы вы дали мне слово, которое звучит так же, вы, как носитель английского языка, дадите мне английское слово, которое звучит так же, — объясняет он. — Вы бы не переключились на другой язык и не дали бы мне что-то из совершенно другого языка, что и сделал ChatGPT».
Исследователи также попросили ChatGPT придумать новые английские слова для современных понятий.
«[ИИ] использовал «сниглеты» — слова, которых не существует, — говорит Витевич. — Например, для пылесоса, когда на полу есть нить, и он её не всасывает. Вы проходите по ней снова и снова. Как называется эта нить? «Carperpetuation». [ИИ] придумал название для этой нити, которая не всасывается».
По словам Витевича, чат-бот справился «довольно интересно». После того как Витевич предложил ChatGPT придумать новые слова, соответствующие определённым понятиям, он обнаружил, что тот часто полагался на предсказуемый метод комбинирования двух слов.
«Моё любимое — «rousrage», для обозначения гнева, выраженного при пробуждении, — говорит Витевич.
Предлагая боту бессмыслицу, Витевич стремится лучше понять уникальные — и порой странные — способы, которыми ИИ обрабатывает язык. По его словам, дело не в имитации человеческого познания, а в выявлении того, где ИИ может дополнить наши лингвистические сильные стороны.
Эти результаты опубликованы в PLOS One.