Большие языковые модели (LLMs) продемонстрировали исключительную производительность в различных задачах, используя маловыборочный вывод, также известный как обучение в контексте (ICL). Основная проблема заключается в выборе наиболее репрезентативных демонстраций из больших обучающих наборов данных.
Ранние и современные методы
Ранние методы выбирали демонстрации на основе релевантности, используя показатели сходства между каждым примером и входным вопросом. Современные методы предлагают использовать дополнительные правила отбора наряду со сходством для повышения эффективности выбора демонстраций. Однако эти усовершенствования приводят к значительным вычислительным затратам, когда количество примеров увеличивается.
Эффективность выбранных демонстраций должна учитывать конкретную используемую LLM, поскольку разные LLM обладают разными возможностями и областями знаний.
Предложение исследователей
Исследователи из Шанхайского Jiao Tong University, Xiaohongshu Inc., Carnegie Mellon University, Peking University, University College London и University of Bristol предложили FEEDER (FEw yet Essential Demonstration prE-selectoR) — метод для идентификации основного подмножества демонстраций, содержащего наиболее репрезентативные примеры в обучающих данных, адаптированный к конкретным LLM.
Для построения этого подмножества на этапе предварительного отбора введены метрики «достаточности» и «необходимости» наряду с алгоритмом на основе дерева. Более того, FEEDER сокращает размер обучающих данных на 20%, сохраняя при этом производительность и легко интегрируясь с различными методами выбора демонстраций в ICL для LLM, варьирующихся от 300M до 8B параметров.
Оценка FEEDER
FEEDER оценивается на 6 наборах данных для классификации текста: SST-2, SST-5, COLA, TREC, SUBJ и FPB, охватывающих задачи от классификации настроений и лингвистического анализа до текстового вывода. Также он оценивается на наборе данных для рассуждений GSM8K, наборе данных для семантического анализа SMCALFlow и наборе данных для ответов на научные вопросы GPQA.
Результаты показывают, что FEEDER позволяет сохранить почти половину обучающих образцов, достигая при этом более высокой или сопоставимой производительности. Оценка маловыборочной производительности на сложных задачах с использованием LLM, таких как Gemma-2, показывает, что FEEDER улучшает производительность даже тогда, когда LLM сталкиваются с трудными задачами.
Оптимизация на двух уровнях
FEEDER достигает улучшенной производительности за счёт использования небольшого, но высококачественного набора данных для тонкой настройки, одновременно снижая вычислительные затраты. Результаты показывают, что тонкая настройка LLM обеспечивает более значительные улучшения производительности по сравнению с добавлением контекстов в LLM, причём FEEDER достигает ещё больших приростов производительности в условиях тонкой настройки.
В заключение, исследователи представили FEEDER — демонстрационный предварительный селектор, разработанный для использования возможностей LLM и предметных знаний для идентификации высококачественных демонстраций с помощью эффективного подхода к обнаружению. Это снижает требования к обучающим данным, сохраняя при этом сопоставимую производительность, предлагая практическое решение для эффективного развёртывания LLM.
Будущие направления исследований включают изучение приложений с более крупными LLM и расширение возможностей FEEDER в таких областях, как безопасность данных и управление данными. FEEDER вносит ценный вклад в выбор демонстраций, предоставляя исследователям и практикам эффективный инструмент для оптимизации производительности LLM при одновременном снижении вычислительных затрат.
1. Какие проблемы решает система FEEDER в контексте больших языковых моделей (LLMs)?
Ответ: система FEEDER решает проблему выбора наиболее репрезентативных демонстраций из больших обучающих наборов данных для LLM. Это позволяет сократить размер обучающих данных на 20%, сохраняя при этом производительность и легко интегрируясь с различными методами выбора демонстраций в ICL для LLM.
2. Какие метрики и алгоритмы используются в системе FEEDER для отбора демонстраций?
Ответ: в системе FEEDER используются метрики «достаточности» и «необходимости» наряду с алгоритмом на основе дерева для отбора демонстраций.
3. На каких наборах данных была оценена система FEEDER и какие результаты были получены?
Ответ: система FEEDER была оценена на 6 наборах данных для классификации текста: SST-2, SST-5, COLA, TREC, SUBJ и FPB, а также на наборе данных для рассуждений GSM8K, наборе данных для семантического анализа SMCALFlow и наборе данных для ответов на научные вопросы GPQA. Результаты показывают, что FEEDER позволяет сохранить почти половину обучающих образцов, достигая при этом более высокой или сопоставимой производительности.
4. Какие преимущества предоставляет система FEEDER по сравнению с другими методами выбора демонстраций?
Ответ: система FEEDER предоставляет следующие преимущества:
* сокращение размера обучающих данных на 20% при сохранении производительности;
* лёгкая интеграция с различными методами выбора демонстраций в ICL для LLM;
* улучшение производительности даже в условиях сложных задач с использованием LLM, таких как Gemma-2.
5. Какие будущие направления исследований связаны с системой FEEDER?
Ответ: будущие направления исследований включают изучение приложений с более крупными LLM и расширение возможностей FEEDER в таких областях, как безопасность данных и управление данными.