Кошки не говорят
У нас, людей, в мозгу около 100 миллиардов нейронов. Но что, если бы у нас было гораздо больше? Или что, если бы у созданных нами ИИ было гораздо больше нейронов? Какие возможности тогда стали бы возможны?
При 100 миллиардах нейронов мы знаем, например, что композиционный язык, подобный тому, которым пользуемся мы, люди, возможен. При примерно 100 миллионах нейронов, как у кошки, это, похоже, невозможно. Но что стало бы возможно со 100 триллионами нейронов? И сможем ли мы тогда это представить?
Мозг и нейронные сети
Моя цель здесь — начать исследовать такие вопросы, опираясь на то, что мы видели в последние годы в нейронных сетях и больших языковых моделях (LLM), а также на то, что мы знаем о фундаментальной природе вычислений, нейронауке и работе реальных мозгов.
Один из наводящих на размышления моментов заключается в том, что по мере того, как искусственные нейронные сети становились больше, они, по-видимому, последовательно преодолевали ряд порогов возможностей:
* Что будет дальше? Несомненно, будут такие вещи, как управление человекоподобными роботами, которые имеют близкие аналоги тому, что мы, люди, уже делаем. Но что, если мы выйдем далеко за пределы примерно 10¹⁴ соединений, которые есть в нашем мозге? Какие качественно новые возможности тогда могли бы появиться?
Как работает мозг
Как мы уже упоминали, по крайней мере в грубом приближении, роль мозга состоит в том, чтобы превращать большие объёмы сенсорной информации в небольшие числа решений о том, что делать. Но как это происходит?
Человеческие мозги постоянно получают входные данные примерно от миллиона «датчиков», в основном связанных с фоторецепторами в наших глазах и сенсорными рецепторами в нашей коже. Эта информация обрабатывается примерно 100 миллиардами нейронов, каждый из которых реагирует за несколько миллисекунд и в основном организован в несколько слоёв.
Всего существует около 100 триллионов соединений между нейронами, многие из которых имеют довольно большую протяжённость. В любой момент активируется лишь несколько процентов нейронов (то есть, возможно, миллиард). Но в конце концов вся эта активность, по-видимому, подаётся в определённые структуры в нижней части мозга, которые несколько раз в секунду «проводят голосование», чтобы определить, что делать дальше.
Это базовая картина, по-видимому, более или менее одинакова у всех высших животных. Общее количество нейронов примерно соответствует количеству «входных датчиков» (или, в первом приближении, площади поверхности животного — то есть объёму²/³, которая определяет количество сенсорных рецепторов).
Язык и за его пределами
На каком-то уровне мы можем рассматривать наш мозг как служащий для того, чтобы брать сложность мира и извлекать из неё сжатое представление, с которым могут справиться наши конечные умы. Но какова структура этого представления? Центральный аспект заключается в том, что он игнорирует многие детали исходного ввода (например, конкретные конфигурации пикселей).
Но как тогда мы опишем этот класс эквивалентности? В нейронной сети класс эквивалентности может соответствовать аттрактору, к которому эволюционируют все различные начальные условия. В терминах детального рисунка активности в нейронной сети аттрактор обычно очень трудно описать. Но в более крупном масштабе мы потенциально можем просто рассматривать его как некий устойчивый конструкт, который представляет класс вещей — или то, что в процессе нашего мышления мы могли бы описать как «концепцию».
На самом низком уровне в нашем мозге происходит всевозможная сложная нейронная активность — большая часть которой погрязла в вычислительной необратимости. Но «тонкую нить сознательного опыта», которую мы извлекаем из этого, мы для многих целей можем рассматривать как состоящую из более высоких уровней «единиц мышления» или, по сути, «дискретных концепций».
И да, это, безусловно, наш типичный человеческий опыт, что устойчивые конструкции — и особенно те, из которых можно построить другие — будут дискретными. В принципе можно представить, что существуют «устойчивые непрерывные пространства концепций» («кошка и собака и всё между ними»). Но у нас нет ничего похожего на вычислительную парадигму, которая показала бы нам последовательную универсальную картину того, как такие вещи могли бы сочетаться.
Перевод
Данный текст переведён с сохранением научной точности и доступности изложения. Адаптация выполнена с учётом принципов научной коммуникации и отраслевых особенностей.