Что такое тест Тьюринга и как его прохождение интерпретировать?
В последнее время всё чаще появляются новости о растущих возможностях больших языковых моделей (LLMs), таких как ChatGPT и Gemini от Google. Одна особенно поразительная история появилась в этом году: в статье описывается, как LLM прошла тест Тьюринга. Эксперимент был разработан в 1950-х годах пионером компьютерных наук Аланом Тьюрингом, чтобы определить, можно ли отличить машинный интеллект от человеческого. В эксперименте использовалась модель ChatGPT 4.5, и оказалось, что она успешно вводит людей в заблуждение, заставляя их думать, что они общаются с человеком: в эксперименте, где участникам было предложено выбрать, кто из собеседников — чат-бот или реальный человек — является реальным человеком, почти трое из четырёх выбрали чат-бота.
Что такое тест Тьюринга и что он не означает
Чтобы понять, что всё это значит, сначала нужно разобраться, что такое тест Тьюринга и что значит его прохождение или непрохождение для LLM.
Камерон Джонс, аспирант Калифорнийского университета в Сан-Диего и один из соавторов новой статьи, объясняет, что Тьюринг представил идею теста в своей основополагающей статье 1950 года «Вычислительные машины и разум». В статье ставился большой фундаментальный вопрос, который волновал современников Тьюринга: «Могут ли машины мыслить?»
Тьюринг быстро отвергает этот вопрос как двусмысленный и нестрогий, потому что неясно, что такое «машина» в этом контексте и что такое «мышление». Он предлагает более тонкий и легко решаемый вопрос: «Может ли машина действовать таким образом, что её действия неотличимы от действий человека?» Чтобы ответить на этот вопрос, он предлагает то, что он называет «Игрой в имитацию», и именно это упражнение с тех пор стало называться просто «тестом Тьюринга».
Тест включает в себя одного человека — «допрашивающего», который одновременно общается с двумя скрытыми собеседниками, называемыми «свидетелями». Всё общение ведётся в письменной форме. Суть игры, по словам Джонса, заключается в том, чтобы «допрашивающий определил, кто из двух свидетелей является реальным человеком».
Значение прохождения теста Тьюринга ChatGPT
Результаты для ChatGPT 4.5 и LLaMa впечатляют, но вопрос, который действительно интересен, заключается в том, что означает их успех.
Важно отметить, что тест не предназначен для обнаружения машинного интеллекта. В отвергая вопрос «Могут ли машины мыслить?», Тьюринг также ловко уходит от сложного вопроса о том, кто именно мыслит, если ответ «да».
Однако статья Тьюринга утверждает, что успех в «Игре в имитацию» означает, что мы не можем отрицать возможность существования подлинного машинного интеллекта. Как объясняет Джонс, Тьюринг «в основном утверждал, что если бы мы смогли создать машину, которая была бы настолько хороша в этой игре, что мы не могли бы надёжно отличить свидетелей, то нам пришлось бы сказать, что эта машина была бы разумной».
Современные читатели могут отшатнуться от такой оценки, поэтому стоит рассмотреть аргументацию Тьюринга, которая заключалась в следующем:
* Мы не можем знать, что наши собратья по разуму разумны. Мы не можем обитать в их умах или видеть их глазами. Тем не менее мы принимаем их как разумных.
* Как мы делаем этот вывод? Тьюринг утверждает, что мы делаем это на основе поведения наших собратьев по разуму.
* Если мы приписываем разумность на основе поведения, и мы сталкиваемся с ситуацией, когда мы не можем отличить поведение машины от поведения человека, мы должны быть готовы сделать вывод, что поведение машины также указывает на разумность.
Читатели могут возразить, что это кажется неправильным. И действительно, ключевой вопрос заключается в предпосылке Тьюринга о том, что мы приписываем разумность на основе одного лишь поведения.
Почему Тьюринг выбрал язык в качестве теста для машин
Кажется, что Тьюринг не случайно выбрал язык в качестве основы для своей «Игры в имитацию». В конце концов, есть много очевидных способов, которыми машина никогда не сможет имитировать человека, и точно так же есть много способов, которыми человек никогда не сможет имитировать машину. Печатный язык — это просто набор букв на странице. Он ничего не говорит о том, был ли он создан человеком с помощью пишущей машинки или компьютером с принтером.
Тем не менее простое присутствие языка влечёт за собой целый ряд предположений. С тех пор как наши предки впервые начали составлять предложения, язык — насколько мы можем судить — был исключительной областью человечества (хотя некоторые обезьяны приближаются к этому).
Этот момент был красноречиво изложен в недавнем эссе Расти Фостера, автора долгоиграющего информационного бюллетеня Today in Tabs. Фостер утверждает, что мы склонны отождествлять язык с разумом, потому что до сих пор присутствие первого всегда указывало на присутствие второго.
Фостер делает исключение для «тривиальных» примеров, но даже они удивительно убедительны для нас. Рассмотрим, например, попугая. Конечно, это обескураживает, когда птица внезапно начинает говорить на нашем языке — но, что важно, также почти невозможно не ответить ей.
Даже если мы знаем, что попугаи на самом деле не понимают, что они «говорят», присутствие языка требует языка в ответ. Так что насчёт LLM? Являются ли они, по сути, энергозатратными попугаями?
«Я думаю, что это было одной из основных линий критики» теста Тьюринга, — говорит Джонс. «Это супербихевиористский взгляд на то, что такое разум — что быть разумным — значит демонстрировать разумное поведение. И вы можете захотеть иметь другие условия: вы можете потребовать, чтобы машина демонстрировала поведение определённым образом или имела соответствующую историю взаимодействия с миром».
Эксперимент с китайской комнатой
Есть также мысленные эксперименты, которые бросают вызов предположениям теста Тьюринга о неотличимости видимости разума и наличия подлинного разума. Джонс ссылается на мысленный эксперимент Джона Сёрла «Китайская комната», представленный в статье, опубликованной в 1980 году, как, пожалуй, самый известный из них. В статье Сёрл воображает себя помещённым в комнату, где кто-то передаёт ему под дверь листки бумаги с китайскими иероглифами. Сёрл не говорит по-китайски, но у него есть книга с подробными инструкциями о том, как рисовать китайские иероглифы, и набор инструкций о том, какие иероглифы предоставить в ответ на те, которые он получает под дверью.
Для человека снаружи может показаться, что Сёрл говорит на идеальном китайском, хотя на самом деле он просто следует инструкциям — программе, которая говорит ему, какие иероглифы рисовать и как их рисовать. Как объясняет Сёрл в своей статье, «мне кажется совершенно очевидным в этом примере, что я не понимаю ни слова из китайских историй. У меня есть входные и выходные данные, неотличимые от данных носителя китайского языка, и у меня может быть любая формальная программа, но я всё равно ничего не понимаю».
Этот аргумент является явным опровержением предпосылки теста Тьюринга. Сёрл предлагает важное различие между пониманием и кажущимся пониманием, между мышлением и кажущимся мышлением.
Настройка ChatGPT для обмана людей
Это также демонстрирует ещё одну потенциальную проблему с тестом Тьюринга: китайская комната явно разработана с явной целью обмануть человека по ту сторону двери — или, другими словами, это программа, разработанная специально для прохождения теста Тьюринга.
В эксперименте Джонса LLM, прошедшие тест, требовали определённой настройки и настройки, чтобы быть убедительными. Джонс говорит, что его команда протестировала большое количество подсказок для чат-бота, и одной из ключевых задач было «заставить [модель] не делать то, что делает ChatGPT».
Некоторые из способов, с помощью которых Джонс и его команда заставили ChatGPT не звучать как ChatGPT, безусловно, увлекательны, и они снова вращаются вокруг нюансов языка. «Вы хотите, чтобы он не всегда говорил полными предложениями», — говорит Джонс. «Есть своего рода небрежный способ, которым люди говорят, когда они пишут текстовые сообщения — это просто как фрагменты предложений. Вам нужно получить что-то в этом роде».
Команда также экспериментировала с тем, чтобы ChatGPT допускал орфографические ошибки, чтобы звучать более по-человечески. Опечатки «на самом деле довольно сложно сделать правильно. Если вы просто скажете LLM изо всех сил стараться делать орфографические ошибки, они будут делать их в каждом слове, и ошибки будут совершенно неубедительными».
Почему ChatGPT лучше других LLM
LLM сложны для исследований — по своей природе их внутренние операции принципиально непостижимы. Даже те аспекты их конструкции, которые можно изучить, часто скрыты за соглашениями о неразглашении и слоями корпоративной тайны. Тем не менее, по словам Джонса, эксперимент выявил некоторые вещи о том, какая LLM лучше всего приспособлена для правдоподобного подражания человеку: «ChatGPT 4.5, по слухам, является одной из самых больших моделей, и я думаю, что быть большой моделью действительно полезно».
Что означает «большая» в этом смысле? Большая кодовая база? Большой набор данных? Нет, говорит Джонс. Он объясняет, что большая модель имеет относительно большое количество внутренних переменных, значения которых можно настраивать по мере того, как модель собирает обучающие данные. «Одна из вещей, которые вы видите, — это то, что небольшие дистиллированные модели часто могут имитировать хорошую производительность в математике и даже в довольно простом мышлении. Но я думаю, что именно большие модели, как правило, обладают хорошими социальными, межличностными поведенческими навыками».
Предвидел ли Тьюринг ChatGPT?
Так представлял ли Тьюринг когда-нибудь свой тест как нечто, что будет фактически проведено? Или это был скорее мысленный эксперимент? Джонс говорит, что ответ на этот вопрос продолжает быть предметом споров среди учёных-тьюрингистов.
Джонс также указывает, что Тьюринг не излагает методологию. «Я думаю, он не представляет себе, что этот эксперимент будет стоить проводить в течение десятилетий. Так что он не говорит вам, как долго это должно продолжаться, или, знаете ли, есть ли какие-то правила и о чём они могут говорить».
Если Тьюринг действительно предполагал, что тест может быть пройден, он, конечно, знал, что это не произойдёт в 1950-х годах. Тем не менее его статья ясно даёт понять, что он, по крайней мере, представлял себе возможность того, что однажды мы сможем построить машины, которые преуспеют: «Мы не спрашиваем, смогут ли все цифровые компьютеры хорошо играть в игру или доступные в настоящее время компьютеры будут хорошо играть, но можем ли мы представить себе компьютеры, которые преуспеют».
Тьюринг часто описывался — и справедливо — как провидец, но есть один отрывок в статье 1950 года, который поистине поразителен своей прозорливостью: «Я верю, что примерно через 50 лет можно будет запрограммировать компьютеры… чтобы заставить их играть в имитационную игру настолько хорошо, что у среднего допрашивающего будет не более [чем] 70-процентный шанс сделать правильную идентификацию после пяти минут допроса».
Прошло 75 лет, а не 50, но вот мы и столкнулись с компьютером — или, по крайней мере, с моделью, управляемой компьютером, — которая действительно вводит людей в заблуждение в 70% случаев.
Что делает человеческий разум уникальным?
Это всё возвращает нас к первоначальному вопросу: что всё это значит? «Это вопрос, над которым я всё ещё пытаюсь разобраться», — смеётся Джонс.
«Одна из линий мышления, которая, я думаю, полезна, заключается в том, что тест Тьюринга не является ни необходимым, ни достаточным доказательством интеллекта — вы можете представить себе что-то разумное, что не пройдёт, потому что оно не использовало правильный сленг, и вы также можете представить себе что-то, что проходит, но не является разумным».
В конечном счёте, по его словам, ключевой вывод заключается именно в том, что написано на упаковке: «Это доказательство того, что эти модели становятся способными имитировать человеческое поведение настолько хорошо, что люди не могут отличить».
Это, очевидно, имеет всевозможные социальные последствия, многие из которых, по-видимому, интересуют общественность и научное сообщество гораздо больше, чем компании, создающие LLM.
Есть также другие философские вопросы, поднятые здесь. Тьюринг рассматривает несколько из них в своей статье, наиболее примечательно то, что он называет «Аргументом от сознания». Даже если машина разумна, обладает ли она сознанием? Тьюринг использует пример гипотетического разговора между человеком и машиной, пишущей сонеты — такой, которая звучит поразительно похоже на тот, который можно вести с ChatGPT сегодня.
Конечно, здесь есть и другие философские вопросы. Возможно, самый тревожный из них: если мы отвергаем тест Тьюринга как надёжный метод обнаружения подлинного искусственного интеллекта, есть ли у нас альтернатива? Или, другими словами, есть ли у нас надёжный метод определения того, когда (или если) машина может обладать подлинным интеллектом?
«Я думаю, что большинство людей сказали бы, что наши критерии сознания [должны] выходить за рамки поведения», — говорит Джонс. «Мы можем представить себе что-то, производящее то же поведение, что и сознательное существо, но без сознательного опыта. И, возможно, мы хотим иметь дополнительные критерии».
Что это за критерии — или даже существуют ли надёжные критерии для окончательного теста «Разумен ли этот субъект или нет?» — ещё предстоит определить. В конце концов, неясно, существуют ли такие критерии даже для аналогичного теста для животных. Как люди, мы обладаем непоколебимой уверенностью в том, что мы как-то уникальны, но с годами характеристики, которые мы когда-то считали исключительно человеческими, оказались не такими уж и уникальными. Примеры включают использование инструментов, построение обществ и переживание эмпатии.
И всё же трудно отказаться от идеи, что мы другие. Просто удивительно сложно определить, как именно. Точно так же оказывается чрезвычайно сложно определить, где начинается это различие. Где мы перестаём быть мешками с электролитами и начинаем быть сознательными существами? Оказывается, на этот вопрос не легче ответить, чем на вопрос о том, где может возникнуть сознание из сбивающего с толку хаоса электрических сигналов в процессорах наших компьютеров.
Тьюринг, будучи Тьюрингом, дал ответ и на это: «Я не хочу создавать впечатление, что я думаю, что нет никакой тайны в сознании. Есть, например, что-то вроде парадокса, связанного с любой попыткой локализовать его». Однако он утверждал, что понимание источника человеческого сознания не было необходимо для ответа на вопрос, поставленный тестом.
В самом узком смысле он был прав — сам по себе вопрос о том, может ли машина надёжно имитировать человека, ничего не говорит о сознании. Но огромное количество публикаций о прохождении ChatGPT теста Тьюринга говорит о многом в отношении эпохи, в которой мы живём: эпохи, в которой может быть очень важно знать, возможен ли подлинный искусственный интеллект.
Чтобы понять, может ли машина быть разумной, возможно, нам сначала нужно понять, как и откуда возникает разум у живых существ. Это может дать некоторое представление о том, возможно ли такое возникновение в компьютерах — или лучшее, что мы можем сделать, это создать программы, которые очень, очень убедительно пародируют интернет вместе со всеми его предубеждениями и предрассудками, обращёнными к нам.