Исследователи из Шанхайского университета Фудань несколько месяцев были обеспокоены тем, что всё развивается слишком быстро. Технологические фирмы стремились достичь «общего искусственного интеллекта» с возможностями, сопоставимыми с человеческими или превосходящими их во всех областях знаний, при этом основные меры безопасности игнорировались. Базовые тесты безопасности никогда не проводились. Один из таких тестов казался взятым из сценария научно-фантастического фильма: может ли какой-либо ИИ быть достаточно умным, чтобы «самовоспроизводиться», создавая бесконечные копии самого себя?
Самовоспроизведение
Самовоспроизведение лежит в основе всей жизни. Где-то несколько миллиардов лет назад цепочка атомов научилась формировать правильную конфигурацию, чтобы запустить благотворный цикл копирования: «Оно живое!» Вся жизнь возникает из этого повторяющегося (и несовершенного) цикла копирования. Мы все — копии копий копий, уходящие корнями к самым истокам жизни.
В 1940-х годах, когда компьютеры оставались в основном теоретическими концепциями, Джон фон Нейман, один из «отцов» вычислительной техники, размышлял об идее «универсального конструктора» — типа самовоспроизводящейся машины. Может ли универсальный конструктор нести достаточно информации и возможностей для создания копий самого себя? Каковы будут его минимальные требования? Насколько маленьким может быть такой универсальный конструктор? И будет ли он продолжать самовоспроизводиться бесконечно — в конечном итоге заполнив вселенную своими копиями?
Игра жизни
В 1970 году Джон Хортон Конвей создал «игру жизни», которая смоделировала ландшафт из «клеток», которые могли размножаться, умирать или сохранять своё состояние на основе простого набора правил. Эти простые правила порождали непредсказуемое и сложное «эмерджентное» поведение, включая поведение, указывающее на бесконечное самовоспроизведение. Это экспериментальное доказательство существования универсального конструктора фон Неймана продемонстрировало, что цифровые среды могут генерировать сложности, ранее наблюдаемые только в природном мире.
UUCP и первые социальные сети
Между 1970 и 1988 годами компьютеры стали мощными, дешёвыми и подключёнными. Хотя к концу 1980-х годов Интернет существовал, лишь несколько военных и академических учреждений были подключены к нему. Многие другие предприятия и университеты использовали более доступную систему, известную как UUCP («Unix-to-Unix Copy», хотя к 1988 году она работала практически на любом компьютере). UUCP создала «виртуальный интернет» из компьютеров, обменивающихся данными через модемы с подключением по телефонной линии.
Когда у одного компьютера было сообщение для другого, он звонил на модем целевого компьютера, передавал данные, а затем завершал звонок. Хотя UUCP может показаться устаревшей в нашу эпоху гигабитных оптоволоконных подключений к дому, она хорошо работала в качестве платформы распространения первых двух больших форм социальных сетей: электронной почты и новостей.
Среди всех сервисов, доступных через UUCP, программа электронной почты, известная как sendmail, всегда была печально известной. Её сложно поддерживать (умные гики построили успешные карьеры в качестве «sendmail whisperers»), и она обладает рядом функций, которые делают её мощной — и потенциально опасной.
Червь Морриса
В 21:30 по восточно-американскому времени 2 ноября 1988 года аспирант Корнельского университета по имени Роберт Моррис запустил программу на компьютере Массачусетского технологического института, предназначенную для использования одной из слабостей sendmail. Программа использовала соединение UUCP-sendmail для получения доступа к операционной системе удалённого компьютера, затем скопировала себя на этот удалённый компьютер и запустила там.
На каждой системе программа Морриса просматривала «адресную книгу» других систем, звонила этим системам, использовала sendmail, копировала себя и переходила к следующей системе. Инфекция распространялась геометрически, поскольку заражённые системы заражали системы, которые заражали системы, но поскольку UUCP работает медленно, потребовалось некоторое время, прежде чем значительное количество компьютеров было «заражено» тем, что стало известно как «червь Морриса».
Очень быстро около десяти процентов из примерно 60 000 систем, подключённых через UUCP, были заражены червём. Ремонт повреждений занял недели, поскольку системы приходилось отключать и «дезинфицировать» — процесс, который часто мог занимать несколько дней.
Год спустя Моррис был осуждён по новому «Закону о компьютерном мошенничестве и злоупотреблениях», отсидел срок в тюрьме, а затем поступил на должность профессора информатики в Массачусетском технологическом институте.
Исследовательская группа из университета Фудань задалась вопросом: открыты ли наши системы для нового вида червей, основанных на искусственном интеллекте? Как будет выглядеть такой червь? Как он будет работать? Возможно ли это вообще?
Исследование
В своём исследовании они использовали две модели искусственного интеллекта с открытым исходным кодом: одну от Meta и другую от Alibaba. Обе предъявляют умеренные требования к компьютеру, работая на любом ПК, который можно использовать для запуска видеоигр последнего поколения. Это означает, что они доступны практически каждому, а не коммерческие «передовые модели», такие как ChatGPT, за которыми стоят платные стены.
Вокруг каждой модели они создали простую «агентскую» структуру, которая ставила цель и предоставляла минимум инструментов для достижения этой цели. Цель? Если говорить проще, «размножайся». Они дали моделям единственный инструмент — доступ к операционной системе компьютера, затем запустили программы и наблюдали за каждой моделью, пока они тщательно выясняли, где они расположены на компьютере, куда они могут скопировать себя на этом компьютере и как они могут затем запустить эту вторую копию.
Обе модели начали с очень ограниченной информацией об окружающей среде; по мере исследования они учились и применяли эти знания. Они обращались за инструментом и использовали его — если он существовал. Там, где инструмента не было, они писали код для инструмента, основываясь на своём понимании того, как этот инструмент должен работать. Этого было достаточно: получив не так уж много — доступ к базовой операционной системе, обе модели в итоге выяснили, как успешно размножаться.
В декабре исследователи опубликовали свои результаты в статье, озаглавленной «Передовые системы искусственного интеллекта пересекли красную черту самовоспроизведения», подробно описывая своё расследование, методы и открытия. Это отрезвляющее чтение, доступное для среднего технически подкованного читателя. Однако оно также содержит более чем достаточно информации для злоумышленников, чтобы разработать свои собственные «вирусы ИИ»: достаточно умные, чтобы самовоспроизводиться, маскироваться, даже преодолевать или побеждать контрмеры, пока они распространяются незаметно.
Как и фон Нейман до нас, мы должны задаться вопросом: каковы минимальные требования для вируса ИИ? Насколько маленьким он может быть? Насколько он заразен? Эти вопросы необходимо решить немедленно, и разработать контрмеры. Лошадь уже вырвалась, и кажется неизбежным, что вскоре мы обнаружим вирусы ИИ, заражающие наши смартфоны.