Большие языковые модели (LLMs) произвели революцию в обработке естественного языка благодаря обширным данным для обучения и множеству параметров, что позволяет им выполнять сложные задачи без предварительного обучения. Однако LLMs часто испытывают трудности с задачами, требующими глубоких знаний, из-за ограниченного специфического знания и понимания. Для эффективного логического вывода LLMs нуждаются в доступе к надёжным и постоянно обновляемым базам знаний, и графы знаний (KGs) являются идеальными кандидатами благодаря их структурированной семантической основе.
Современные подходы к логическому выводу LLMs на графах знаний сталкиваются с двумя препятствиями: представление содержимого графа в виде обширного текста не передаёт богатые логические связи в структуре графа, а процессы поиска и логического вывода требуют многочисленных обращений к LLM и значительных вычислительных ресурсов.
Разработка подсказок (prompt engineering) стала важнейшим методом расширения возможностей LLM в различных приложениях без изменения параметров модели. Эта область эволюционировала от простых подсказок для задач с нулевым и малым количеством примеров до более сложных подходов, таких как Chain-of-Thought (CoT), Tree-of-Thoughts (ToT) и Graph-of-Thoughts (GoT). Логический вывод LLMs на основе графов знаний набирает популярность, поскольку графы предоставляют явные, структурированные знания, которые повышают осведомлённость LLM о знаниях с чёткими логическими структурами.
Более гибкие решения, такие как KAPING, KGGPT, StructGPT, ToG и KnowledgeNavigator, конструируют подсказки для LLM, используя фактическую информацию из графов знаний с помощью различных методов, таких как поиск по семантическому сходству, многошаговые фреймворки логического вывода и поиск пучка на графах для улучшения способностей к логическому выводу.
Исследователи из Пекинского университета почты и телекоммуникаций, Университета Ханчжоу Дианзи, Сингапурского управленческого университета, Национального университета Сингапура, Института вычислительной техники Китайской академии наук и Сианьского транспортного университета предложили LightPROF — лёгкую и эффективную систему обучения и логического вывода. Фреймворк RetrieveEmbed-Reason позволяет маломасштабным LLM выполнять стабильный поиск и эффективный логический вывод на графах знаний. Он состоит из трёх основных компонентов: модулей поиска, встраивания и логического вывода. Поиск использует отношения как основные единицы поиска и ограничивает область поиска на основе семантики вопроса, встраивание использует компактный адаптер знаний на основе трансформера, а логический вывод сочетает встроенные векторы представлений с тщательно разработанными подсказками. LightPROF поддерживает различные открытые LLM и графы знаний, требуя настройки адаптера знаний только во время обучения.
LightPROF был оценён на двух общедоступных наборах данных на основе Freebase: WebQuestionsSP (WebQSP) и ComplexWebQuestions (CWQ). WebQSP служит ориентиром с меньшим количеством вопросов (4737), но с большим графом знаний, а CWQ предназначен для сложного ответа на вопросы с использованием графа знаний и содержит 34 689 пар вопрос-ответ, основанных на WebQSP. Производительность измеряется с помощью точности совпадений (Hits@1), которая оценивает, является ли лучший ответ модели правильным. LightPROF сравнивается с тремя категориями базовых методов: методы полной тонкой настройки (включая KV-Mem, EmbedKGQA, TransferNet, NSM и др.), методы LLM (включая модели серии LLaMa) и методы LLM+KGs (такие как StructGPT, ToG, KnowledgeNavigator и AgentBench).
LightPROF значительно превосходит современные модели, достигая 83,7% точности на наборе данных WebQSP и 59,3% на более сложном наборе данных CWQ. Эти результаты подтверждают эффективность LightPROF в решении сложных задач логического вывода в ответах на вопросы с использованием графов знаний. При интеграции различных LLM в рамках фреймворка LightPROF последовательно повышает производительность независимо от базовых возможностей исходных моделей. Эта стратегия «plug-and-play» устраняет необходимость дорогостоящей тонкой настройки LLM. Оценка эффективности по сравнению со StructGPT показывает превосходное использование ресурсов LightPROF: сокращение времени обработки на 30%, сокращение использования входных токенов на 98% и значительно меньшее количество токенов за запрос.
В заключение исследователи представили LightPROF — новый фреймворк, который улучшает логический вывод LLM за счёт точного поиска и эффективного кодирования графов знаний. Он сужает область поиска, выбирая графы знаний, используя стабильные отношения как единицы. Исследователи разработали сложный адаптер знаний, который эффективно анализирует графовые структуры и интегрирует информацию, позволяя эффективно проводить логический вывод с помощью меньших LLM. Он сжимает графы логического вывода до меньшего количества токенов, обеспечивая при этом всестороннее соответствие входному пространству LLM через компонент Projector.
Направления будущих исследований включают разработку кодировщиков графов знаний с сильными обобщающими способностями, которые можно применять к невидимым данным графов знаний без дополнительного обучения, а также проектирование унифицированных кроссмодальных кодировщиков, способных обрабатывать мультимодальные графы знаний.
Добавить комментарий