В современном мире всё чаще встречаются автоматизированные системы, которые классифицируют текст. Это могут быть системы, которые определяют, является ли отзыв о фильме положительным или отрицательным, или системы, которые проверяют, содержит ли новостная статья информацию о бизнесе или технологиях. Но как мы можем быть уверены в точности таких классификаций?
Команда из Лаборатории информационных и управленческих систем (LIDS) Массачусетского технологического института (MIT) разработала инновационный подход к измерению эффективности таких систем и повышению их точности.
Принцип работы
Новый метод оценки и исправления ошибок был разработан учёным Kalyan Veeramachaneni и его студентами Lei Xu и Sarah Alnegheimish. Программное обеспечение доступно для бесплатного скачивания.
Стандартный метод тестирования этих систем заключается в создании синтетических примеров — предложений, которые напоминают уже классифицированные. Например, исследователи могут взять предложение, которое уже было помечено программой как положительный отзыв, и посмотреть, сможет ли изменение одного или нескольких слов обмануть программу, заставив её считать отзыв отрицательным.
Проблема уязвимостей
Люди пытались различными способами найти уязвимости в этих классификаторах, но существующие методы плохо справляются с этой задачей и упускают многие примеры, которые должны были обнаружить.
Компании всё чаще пытаются использовать такие инструменты оценки в реальном времени, чтобы отслеживать выходные данные чат-ботов, используемых для различных целей, и убедиться, что они не дают некорректных ответов. Например, банк может использовать чат-бота для ответа на рутинные запросы клиентов, но хочет быть уверен, что его ответы не могут быть истолкованы как финансовые консультации, которые могут привести к ответственности.
Решение проблемы
Исследователи обнаружили, что большинство изменений в классификации происходит из-за изменения всего лишь одного слова. Они также обнаружили, что определённые слова имеют непропорционально большое влияние на изменение классификаций. Это позволило им разработать более целенаправленные методы поиска таких слов и улучшения точности классификаторов.
Результаты исследования
Команда представила новую метрику, которую они называют p, которая измеряет устойчивость данного классификатора к атакам с одним словом. В результате их система сократила успешность атак почти вдвое, с 66% до 33,7%.
Результаты исследования были опубликованы 7 июля в журнале Expert Systems.
MIT готовится трансформировать производство
Производство является двигателем общества и основой устойчивых экономик. С учётом того, что производство является актуальной темой в сегодняшних новостях, возросло понимание важности производства для инноваций, экономической и национальной безопасности, а также для повседневной жизни.
Инициатива MIT по созданию новых производств
MIT запустил инициативу по созданию новых производств (INM), которая будет способствовать трансформации производства через новые технологии, развитие талантов и понимание того, как масштабировать производство таким образом, чтобы повысить производительность и устойчивость, стимулировать внедрение новых технологий и создавать хорошие рабочие места.
Основные направления инициативы
Инициатива преследует четыре основные цели: переосмысление производственных технологий и систем, повышение производительности и качества жизни работников производства, масштабирование нового производства и трансформация производственной базы.
Сотрудничество с корпорациями
Amgen, Autodesk, Flex, GE Vernova, PTC, Sanofi и Siemens являются основателями консорциума INM. Эти отраслевые партнёры будут тесно сотрудничать с преподавателями, исследователями и студентами MIT в различных аспектах исследований, связанных с производством.
Одним из основных направлений сотрудничества INM с промышленностью является внедрение и использование искусственного интеллекта и автоматизации в производстве. Это усилие будет включать в себя начальные исследовательские проекты в MIT, совместные тематические исследования и разработку общей стратегии.
Образование и подготовка кадров
INM также будет сосредоточена на образовании для всех профессий в производстве, с альянсами, объединяющими корпорации, общественные колледжи, государственные учреждения и других партнёров.
В области подготовки кадров INM будет сотрудничать с компаниями, чтобы помочь понять проблемы и сформулировать общую повестку дня в области кадров, а также с отдельными фирмами по конкретным проблемам, таким как привлечение сотрудников, подготовленных для работы на новом заводе.
Фокус на Соединённых Штатах
INM — это глобальный проект, который уделяет особое внимание Соединённым Штатам, которые остаются второй по величине производственной экономикой в мире, но пережили значительный спад занятости и инноваций в производстве.
Одним из ключей к изменению этой тенденции и оживлению производственной базы США является пропаганда критической роли производства в обществе и карьерных возможностей, которые оно предлагает.
MIT находится в уникальном положении, чтобы объединить представителей промышленности, академических кругов и правительства в работе над этим жизненно важным вопросом.
1. Какие проблемы существуют в современных системах классификации текста и как их решает подход, разработанный командой из MIT?
В современных системах классификации текста есть проблема уязвимостей, когда существующие методы плохо справляются с поиском ошибок и упускают многие примеры. Подход, разработанный командой из MIT, позволяет находить уязвимости более целенаправленно и улучшать точность классификаторов.
2. Какие методы используются для тестирования систем классификации текста и в чём их недостатки?
Для тестирования систем классификации текста используются стандартные методы, которые заключаются в создании синтетических примеров — предложений, напоминающих уже классифицированные. Однако эти методы плохо справляются с поиском уязвимостей и упускают многие примеры.
3. Как изменение одного слова может повлиять на классификацию текста и какие выводы можно сделать из этого факта?
Изменение одного слова может привести к изменению классификации текста. Исследователи обнаружили, что большинство изменений в классификации происходит из-за изменения всего лишь одного слова. Это позволило им разработать более целенаправленные методы поиска таких слов и улучшения точности классификаторов.
4. Какие результаты были получены в результате исследования и как они могут быть использованы на практике?
Команда представила новую метрику, которая измеряет устойчивость данного классификатора к атакам с одним словом. В результате их система сократила успешность атак почти вдвое, с 66% до 33,7%. Эти результаты могут быть использованы на практике для повышения точности систем классификации текста в различных областях.
5. Какие цели преследует инициатива MIT по созданию новых производств (INM) и как она связана с искусственным интеллектом и автоматизацией?
Инициатива MIT по созданию новых производств (INM) преследует четыре основные цели: переосмысление производственных технологий и систем, повышение производительности и качества жизни работников производства, масштабирование нового производства и трансформация производственной базы. Одним из основных направлений сотрудничества INM с промышленностью является внедрение и использование искусственного интеллекта и автоматизации в производстве.