Эпиграфика — дисциплина, изучающая тексты, высеченные на прочных материалах, таких как камень и металл, — предоставляет важнейшие доказательства из первых рук для понимания римского мира. Эта область сталкивается с многочисленными проблемами, включая фрагментарные надписи, неопределённую датировку, разнообразное географическое происхождение, широкое использование сокращений и большой и быстрорастущий массив из более чем 176 000 латинских надписей, к которому ежегодно добавляется около 1500 новых.
Для решения этих задач Google DeepMind разработала Aeneas — генеративную нейронную сеть на основе трансформера, которая выполняет восстановление повреждённых сегментов текста, хронологическую датировку, географическую атрибуцию и контекстуализацию посредством поиска соответствующих эпиграфических параллелей.
Проблемы латинской эпиграфики
Латинские надписи охватывают более двух тысячелетий, начиная примерно с VII века до нашей эры и до VIII века нашей эры, на территории обширной Римской империи, насчитывающей более шестидесяти провинций. Эти надписи варьируются от императорских указов и юридических документов до надгробных плит и алтарей.
Эпиграфы традиционно восстанавливают частично утраченные или нечитаемые тексты, используя детальные знания языка, формул и культурного контекста, а также атрибутируют надписи определённым временным рамкам и местоположениям, сравнивая лингвистические и материальные доказательства.
Однако многие надписи страдают от физических повреждений с пропущенными сегментами неопределённой длины. Широкое географическое рассеяние и диахронические лингвистические изменения усложняют датировку и атрибуцию происхождения, особенно в сочетании с огромным объёмом корпуса.
Набор данных латинской эпиграфики (LED)
Aeneas обучен на наборе данных латинской эпиграфики (LED) — интегрированном и согласованном корпусе из 176 861 латинской надписи, объединяющем записи из трёх основных баз данных. Набор данных включает около 16 миллионов символов, охватывающих надписи, датируемые семью веками до нашей эры и восемью веками нашей эры. Около 5% этих надписей имеют связанные с ними полутоновые изображения.
Набор данных использует транскрипцию на уровне символов с использованием специальных placeholder-токенов: — обозначает отсутствующий текст известной длины, а # обозначает пропущенные сегменты неизвестной длины. Метаданные включают происхождение на уровне провинций более чем 62 римских провинций и датировку по десятилетиям.
Архитектура модели и модальность ввода
Ядро Aeneas — это глубокий, узкий трансформер-декодер, основанный на архитектуре T5, адаптированный с вращающимися позиционными вложениями для эффективной локальной и контекстуальной обработки символов. Текстовый ввод обрабатывается вместе с необязательными изображениями надписей (когда они доступны) через неглубокую свёрточную сеть (ResNet-8), которая передаёт вложения изображений только в головку географической атрибуции.
Модель включает несколько специализированных целевых головок для выполнения следующих задач:
* Восстановление: прогнозирование пропущенных символов, поддержка произвольной длины неизвестных пробелов с использованием вспомогательного нейронного классификатора.
* Географическая атрибуция: классификация надписей среди 62 провинций путём объединения текстовых и визуальных вложений.
* Хронологическая атрибуция: оценка даты текста по десятилетиям с использованием прогнозируемого вероятностного распределения, согласованного с историческими временными рамками.
Кроме того, модель генерирует унифицированное исторически обогащённое вложение, объединяя выходные данные из ядра и целевых головок. Это вложение позволяет извлекать ранжированные эпиграфические параллели с использованием косинусного сходства, включая лингвистические, эпиграфические и более широкие культурные аналогии помимо точных текстовых совпадений.
Настройка обучения и увеличение объёма данных
Обучение происходит на оборудовании TPU v5e с размерами пакетов до 1024 пар текст-изображение. Потери для каждой задачи объединяются с оптимизированным взвешиванием. Данные дополняются путём случайного маскирования текста (до 75% символов), обрезки текста, удаления слов, удаления пунктуации, увеличения изображений (зум, поворот, регулировка яркости/контрастности), дропаута и сглаживания меток для улучшения обобщения.
Прогнозирование использует поиск луча со специализированной несеквентной логикой для восстановления текста неизвестной длины, обеспечивая несколько кандидатов на восстановление, ранжированных по совместной вероятности и длине.
Производительность и оценка
Оценено на тестовом наборе LED и в ходе исследования сотрудничества человека и ИИ с участием 23 эпиграфов, Aeneas демонстрирует заметные улучшения:
* Восстановление: частота ошибок по символам (CER) снижена примерно до 21%, когда предоставляется поддержка Aeneas, по сравнению с 39% для экспертов-людей без посторонней помощи. Сама модель достигает около 23% CER на тестовом наборе.
* Географическая атрибуция: достигает около 72% точности при правильной классификации провинции среди 62 вариантов. С помощью Aeneas историки повышают точность до 68%, превосходя каждого по отдельности.
* Хронологическая атрибуция: средняя ошибка в оценке даты составляет примерно 13 лет для Aeneas, при этом историки, которым помогает Aeneas, сокращают ошибку с примерно 31 года до 14 лет.
* Контекстуальные параллели: эпиграфические параллели, полученные с помощью Aeneas, принимаются в качестве полезных отправных точек для исторических исследований примерно в 90% случаев и повышают уверенность историков в среднем на 44%.
Эти улучшения являются статистически значимыми и подчёркивают полезность модели в качестве дополнения к экспертным исследованиям.
Примеры использования
Res Gestae Divi Augusti:
Анализ Aeneas этой монументальной надписи выявляет бимодальные распределения дат, отражающие научные дебаты о её композиционных слоях и этапах (конец I века до нашей эры и начало I века нашей эры). Карты значимости подчёркивают чувствительные к дате лингвистические формы, архаическую орфографию, институциональные титулы и личные имена, отражая экспертные эпиграфические знания.
Votive Altar from Mainz (CIL XIII, 6665):
Посвящённый в 211 году нашей эры военным чиновником, эта надпись была точно датирована и географически атрибутирована провинции Germania Superior и связанным с ней провинциям. Карты значимости определяют ключевые формулы датировки консульства и культовые ссылки. Aeneas извлекает высоко связанные параллели, включая алтарь 197 года нашей эры, имеющий редкие текстовые формулы и иконографию, раскрывая исторически значимые связи помимо прямого текстового совпадения или пространственных метаданных.
Интеграция в исследовательские рабочие процессы и образование
Aeneas работает как инструмент для совместной работы, а не замена историкам. Он ускоряет поиск эпиграфических параллелей, помогает в восстановлении и уточняет атрибуцию, освобождая учёных для сосредоточения на более высоком уровне интерпретации. Инструмент и набор данных доступны на платформе Predicting the Past под разрешительными лицензиями.
Образовательная программа была разработана для старшеклассников и преподавателей, продвигая междисциплинарную цифровую грамотность путём объединения ИИ и классических исследований.
Часто задаваемые вопросы
1. Что такое Aeneas и какие задачи он выполняет?
Aeneas — это генеративная мультимодальная нейронная сеть, разработанная Google DeepMind для латинской эпиграфики. Она помогает историкам восстанавливать повреждённый или отсутствующий текст в древних латинских надписях, оценивать их дату с точностью до 13 лет, определять их географическое происхождение с точностью около 72% и извлекать исторически релевантные параллельные надписи для контекстуального анализа.
2. Как Aeneas обрабатывает неполные или повреждённые надписи?
Aeneas может предсказывать пропущенные сегменты текста, даже когда длина пробела неизвестна, что называется восстановлением произвольной длины. Он использует архитектуру на основе трансформера и специализированные нейронные сетевые головки для генерации нескольких гипотез восстановления, ранжированных по вероятности, облегчая экспертную оценку и дальнейшие исследования.
3. Как Aeneas интегрирован в рабочие процессы историков?
Aeneas предоставляет историкам ранжированные списки эпиграфических параллелей и прогнозные гипотезы для восстановления, датировки и происхождения. Эти результаты повышают уверенность и точность историков, сокращают время исследований за счёт быстрого предложения релевантных текстов и поддерживают совместный анализ человека и ИИ. Модель и наборы данных доступны на платформе Predicting the Past.
1. Какие проблемы в латинской эпиграфике решает модель Aeneas и как она это делает?
Модель Aeneas решает несколько проблем в латинской эпиграфике, таких как восстановление повреждённых сегментов текста, хронологическая датировка, географическая атрибуция и контекстуализация. Она использует генеративную нейронную сеть на основе трансформера, которая обучена на наборе данных латинской эпиграфики (LED) и способна обрабатывать текстовые и визуальные данные.
2. Как модель Aeneas обрабатывает неполные или повреждённые надписи и какие результаты она демонстрирует?
Aeneas обрабатывает неполные или повреждённые надписи путём прогнозирования пропущенных символов и поддержки произвольной длины неизвестных пробелов. Модель достигает частоты ошибок по символам (CER) около 23% на тестовом наборе и демонстрирует заметные улучшения в восстановлении, географической и хронологической атрибуции.
3. Какие примеры использования модели Aeneas приведены в статье и какие результаты они демонстрируют?
В статье приведены примеры использования модели Aeneas на анализе монументальной надписи Res Gestae Divi Augusti и на надписи Votive Altar from Mainz (CIL XIII, 6665). Анализ Res Gestae Divi Augusti выявляет бимодальные распределения дат, а анализ Votive Altar from Mainz точно датирует и географически атрибутирует надпись. Эти примеры демонстрируют полезность модели в качестве дополнения к экспертным исследованиям.
4. Как модель Aeneas интегрирована в исследовательские рабочие процессы и образование?
Aeneas интегрирован в исследовательские рабочие процессы как инструмент для совместной работы, ускоряя поиск эпиграфических параллелей, помогая в восстановлении и уточняя атрибуцию. В образовании модель и наборы данных доступны на платформе Predicting the Past для старшеклассников и преподавателей, продвигая междисциплинарную цифровую грамотность.
5. Какие статистически значимые улучшения демонстрирует модель Aeneas по сравнению с экспертными исследованиями?
Модель Aeneas демонстрирует заметные улучшения по сравнению с экспертными исследованиями в восстановлении (CER снижена примерно до 21%), географической атрибуции (достигает около 72% точности), хронологической атрибуции (средняя ошибка в оценке даты составляет примерно 13 лет) и контекстуальных параллелях (эпиграфические параллели принимаются в качестве полезных отправных точек для исторических исследований примерно в 90% случаев).