В последние годы, с появлением общедоступных инструментов искусственного интеллекта, всё больше людей осознают, как близко внутренняя работа искусственного интеллекта может напоминать работу человеческого мозга.
Существует несколько сходств в работе машин и человеческого мозга, например, в том, как они представляют мир в абстрактной форме, обобщают ограниченные данные и обрабатывают данные слоями.
Новое исследование в Nature Communications от исследователей из Технического университета Дании добавляет ещё одну особенность в этот список: выпуклость.
«Мы обнаружили, что выпуклость удивительно часто встречается в глубоких сетях и может быть фундаментальным свойством, которое естественным образом возникает по мере обучения машин», — говорит Ларс Кай Хансен, профессор DTU Compute, который руководил исследованием.
Чтобы кратко объяснить концепцию, когда мы, люди, узнаём о «кошке», мы не просто сохраняем одно изображение, а формируем гибкое понимание, которое позволяет нам распознавать всех кошек — будь они большими, маленькими, пушистыми, гладкими, чёрными, белыми и так далее.
Выпуклость в математике используется для описания геометрических форм. Питер Гэрденфорс применил этот термин в когнитивной науке, предложив, что наш мозг формирует концептуальные пространства, где связанные идеи группируются. И здесь ключевая часть: естественные понятия, такие как «кошка» или «колесо», имеют тенденцию формировать выпуклые области в этих ментальных пространствах.
Представьте себе резиновую ленту, которая растягивается вокруг группы похожих идей — это выпуклая область. Если взять две точки, представляющие двух разных кошек, то любая точка на кратчайшем пути между ними также будет находиться в ментальной области «кошки». Такая выпуклость мощна, поскольку помогает нам обобщать на основе нескольких примеров, быстро учиться новому и даже помогает нам общаться и договариваться о значении вещей.
Когда дело доходит до моделей глубокого обучения — двигателей, стоящих за всем, от генерации изображений до чат-ботов, — они учатся, преобразуя необработанные данные, такие как пиксели или слова, в сложные внутренние представления, часто называемые «латентными пространствами». Эти пространства можно рассматривать как внутренние карты, на которых ИИ организует своё понимание мира.
Чтобы сделать ИИ более надёжным, заслуживающим доверия и соответствующим человеческим ценностям, необходимо разработать более совершенные способы описания того, как он представляет знания. Поэтому важно определить, организованы ли пространства, полученные в результате машинного обучения, таким образом, который напоминает человеческие концептуальные пространства, и формируют ли они также выпуклые области для концепций.
Первый автор статьи Ленка Теткова, постдок в DTU Compute, рассмотрела два основных типа выпуклости:
1. Евклидова выпуклость, которая проста: если взять две точки в пределах понятия в латентном пространстве модели, и прямая линия между ними полностью находится в пределах этого понятия, то область является евклидово выпуклой. Это похоже на обобщение путём смешивания известных примеров.
2. Графическая выпуклость, которая более гибкая и особенно важна для криволинейных геометрий, часто встречающихся во внутренних представлениях ИИ. Представьте себе сеть похожих точек данных — если кратчайший путь между двумя точками в пределах понятия полностью находится внутри этого понятия, то это графо-выпуклая. Это отражает то, как модели могут обобщать, следуя естественной структуре данных.
«Мы разработали новые инструменты для измерения выпуклости в сложных латентных пространствах глубоких нейронных сетей. Мы протестировали эти меры на различных моделях ИИ и типах данных: изображениях, тексте, аудио, человеческой активности и даже медицинских данных. Мы обнаружили, что тот же геометрический принцип, который помогает людям формировать и делиться концепциями — выпуклость — также формирует то, как машины учатся, обобщают и взаимодействуют с нами», — говорит Теткова.
Исследователи также обнаружили, что общие черты встречаются в предварительно обученных моделях, которые изучают общие закономерности на огромных наборах данных, и в моделях, настроенных для выполнения конкретных задач, таких как идентификация животных. Это дополнительно подтверждает утверждение о том, что выпуклость может быть фундаментальным свойством, которое естественным образом возникает по мере обучения машин.
Когда модели настраиваются для выполнения конкретной задачи, выпуклость их областей принятия решений увеличивается. По мере того как ИИ совершенствуется в классификации, его внутренние концептуальные области становятся более чётко выпуклыми, уточняя его понимание и заостряя границы.
Кроме того, исследователи обнаружили, что уровень выпуклости в понятиях предварительно обученной модели может предсказать, насколько хорошо эта модель будет работать после настройки.
«Представьте, что понятие, скажем, кошка, образует приятную, чётко определённую выпуклую область в машине ещё до того, как её научат идентифицировать кошек конкретно. Тогда более вероятно, что она научится точно идентифицировать кошек позже. Мы считаем, что это важное понимание, поскольку оно предполагает, что выпуклость может быть полезным индикатором потенциала модели для выполнения конкретных задач обучения», — говорит профессор Хансен.
Согласно исследователям, эти новые результаты могут иметь несколько важных последствий. Выявив выпуклость как распространённое свойство, они лучше поняли, как глубокие нейронные сети обучаются и организуют информацию. Это обеспечивает конкретный механизм того, как ИИ обобщает, что может быть похоже на то, как учатся люди.
Если выпуклость действительно окажется надёжным предиктором производительности, возможно, удастся разработать модели ИИ, которые явно поощряют формирование выпуклых концептуальных областей во время обучения. Это может привести к более эффективному и действенному обучению, особенно в сценариях, когда доступно лишь несколько примеров.
«Показывая, что модели ИИ демонстрируют свойства (такие как выпуклость), которые являются фундаментальными для человеческого концептуального понимания, мы приближаемся к созданию машин, которые «думают» более понятным и согласованным с нашим образом мышления образом. Это жизненно важно для укрепления доверия и сотрудничества между людьми и машинами в таких критически важных приложениях, как здравоохранение, образование и государственное управление», — говорит Теткова.
Исследование было проведено в рамках исследовательского проекта «Когнитивные пространства — объяснимый ИИ нового поколения». Цель проекта — открыть чёрный ящик машинного обучения и создать инструменты для объяснения внутренней работы систем ИИ с помощью понятий, которые могут быть понятны конкретным группам пользователей.
Предоставлено:
Технический университет Дании