На гигантском автономном складе сотни роботов снуют по проходам, собирая и распределяя товары для выполнения непрерывного потока заказов клиентов. В такой загруженной среде даже небольшие заторы или мелкие столкновения могут перерасти в масштабные замедления.
Чтобы избежать подобных проблем, исследователи из Массачусетского технологического института (MIT) и технологической фирмы Symbotic разработали новый метод, который автоматически обеспечивает бесперебойное движение роботов. Их метод учится определять, какие роботы должны двигаться первыми в каждый момент, основываясь на том, как формируется затор, и адаптируется к приоритету роботов, которые вот-вот застрянут. Таким образом, система может заранее перенаправлять роботов, чтобы избежать узких мест.
Как работает система
Гибридная система использует глубокое обучение с подкреплением — мощный метод искусственного интеллекта для решения сложных задач, чтобы определить, каким роботам следует отдавать приоритет. Затем быстрый и надёжный алгоритм планирования даёт роботам инструкции, позволяя им быстро реагировать на постоянно меняющиеся условия.
В симуляциях, вдохновлённых реальными планировками складов электронной коммерции, этот новый подход показал примерно 25-процентное увеличение пропускной способности по сравнению с другими методами. Важно, что система может быстро адаптироваться к новым условиям с разным количеством роботов или различной планировкой складов.
«Существует множество задач по принятию решений в производстве и логистике, где компании полагаются на алгоритмы, разработанные экспертами-людьми. Но мы показали, что с помощью глубокого обучения с подкреплением можно достичь сверхчеловеческой производительности. Это очень перспективный подход, потому что на этих гигантских складах даже увеличение пропускной способности на 2–3% может иметь огромное значение», — говорит Хань Чжэн, аспирант Лаборатории информационных и управленческих систем (LIDS) в MIT и ведущий автор статьи, посвящённой этому новому подходу.
Оптимизация маршрутов роботов
Координация сотен роботов на складе электронной коммерции одновременно — непростая задача. Проблема особенно сложна, потому что склад — это динамичная среда, и роботы постоянно получают новые задачи после достижения своих целей. Их нужно быстро перенаправлять, когда они покидают и въезжают на складскую площадку.
Компании часто используют алгоритмы, написанные экспертами-людьми, чтобы определить, где и когда роботы должны двигаться, чтобы максимально увеличить количество обрабатываемых ими посылок. Но если есть заторы или столкновения, у фирмы может не быть другого выбора, кроме как закрыть весь склад на несколько часов, чтобы вручную решить проблему.
«В этих условиях у нас нет точного прогноза будущего. Мы знаем только то, что будущее может принести, с точки зрения поступающих посылок или распределения будущих заказов. Система планирования должна адаптироваться к этим изменениям по мере продолжения складских операций», — говорит Чжэн.
Исследователи из MIT достигли такой адаптивности, используя машинное обучение. Они начали с разработки модели нейронной сети, которая на основе наблюдений за складской средой решает, как расставить приоритеты для роботов. Они обучают эту модель с помощью глубокого обучения с подкреплением — метода проб и ошибок, в котором модель учится управлять роботами в симуляциях, имитирующих реальные склады. Модель получает вознаграждение за принятие решений, которые увеличивают общую пропускную способность, избегая при этом конфликтов.
Со временем нейронная сеть учится эффективно координировать множество роботов.
«Взаимодействуя с симуляциями, вдохновлёнными реальными планировками складов, наша система получает обратную связь, которую мы используем для повышения интеллектуальности принятия решений. Обученная нейронная сеть может затем адаптироваться к складам с разной планировкой», — объясняет Чжэн.
Система разработана так, чтобы учитывать долгосрочные ограничения и препятствия на пути каждого робота, а также динамическое взаимодействие между роботами при их перемещении по складу.
Прогнозируя текущее и будущее взаимодействие роботов, модель планирует избежать заторов до того, как они возникнут.
После того как нейронная сеть решает, каким роботам отдать приоритет, система использует проверенный временем алгоритм планирования, чтобы указать каждому роботу, как двигаться из одной точки в другую. Этот эффективный алгоритм помогает роботам быстро реагировать в меняющейся складской среде.
Такое сочетание методов имеет ключевое значение.
«Этот гибридный подход основан на работе моей группы над тем, как достичь наилучшего сочетания машинного обучения и классических методов оптимизации. Чистые методы машинного обучения всё ещё с трудом решают сложные задачи оптимизации, и при этом чрезвычайно трудоёмко для экспертов разрабатывать эффективные методы. Но вместе, используя правильно разработанные экспертами методы, можно значительно упростить задачу машинного обучения», — говорит Ву.
Преодоление сложности
После того как исследователи обучили нейронную сеть, они протестировали систему в смоделированных складах, которые отличались от тех, что она видела во время обучения. Поскольку промышленное моделирование оказалось слишком неэффективным для этой сложной задачи, исследователи разработали свои собственные среды, имитирующие то, что происходит на реальных складах.
В среднем их гибридный подход, основанный на обучении, показал на 25% большую пропускную способность, чем традиционные алгоритмы, а также метод случайного поиска, по количеству посылок, доставленных на одного робота. Их подход также мог генерировать выполнимые планы маршрутов роботов, которые преодолевали заторы, вызванные традиционными методами.
«Особенно, когда плотность роботов на складе увеличивается, сложность растёт экспоненциально, и эти традиционные методы быстро начинают давать сбой. В таких условиях наш метод гораздо эффективнее», — говорит Чжэн.
Хотя их система всё ещё далека от внедрения в реальных условиях, эти демонстрации подчёркивают возможность и преимущества использования подхода, управляемого машинным обучением, в автоматизации складов.
В будущем исследователи хотят включить назначение задач в формулировку задачи, поскольку определение того, какой робот выполнит каждую задачу, влияет на заторы. Они также планируют масштабировать свою систему до более крупных складов с тысячами роботов.
Это исследование было профинансировано Symbotic.
1. Какие методы используются для оптимизации движения складских роботов в описанной системе?
В статье говорится, что для оптимизации движения складских роботов используется гибридная система, которая включает в себя глубокое обучение с подкреплением и быстрый и надёжный алгоритм планирования. Глубокое обучение с подкреплением позволяет определить, каким роботам следует отдавать приоритет, а алгоритм планирования даёт роботам инструкции, позволяя им быстро реагировать на постоянно меняющиеся условия.
2. Какие преимущества имеет описанный метод оптимизации движения роботов по сравнению с традиционными алгоритмами?
Согласно тексту, описанный метод имеет несколько преимуществ перед традиционными алгоритмами. Во-первых, он позволяет увеличить пропускную способность склада на 25% по сравнению с другими методами. Во-вторых, система может быстро адаптироваться к новым условиям с разным количеством роботов или различной планировкой складов. В-третьих, метод позволяет генерировать выполнимые планы маршрутов роботов, которые преодолевают заторы, вызванные традиционными методами.
3. Какие факторы учитывает система при определении приоритета для движения роботов?
Система учитывает несколько факторов при определении приоритета для движения роботов. Во-первых, она анализирует, как формируется затор, и определяет, какие роботы могут застрять. Во-вторых, система учитывает долгосрочные ограничения и препятствия на пути каждого робота. В-третьих, она прогнозирует текущее и будущее взаимодействие роботов, чтобы избежать заторов до того, как они возникнут.
4. Какие перспективы имеет описанный подход к оптимизации движения роботов на складах?
Исследователи считают, что описанный подход имеет большие перспективы для оптимизации движения роботов на складах. В будущем они планируют включить назначение задач в формулировку задачи, чтобы определить, какой робот выполнит каждую задачу, и масштабировать свою систему до более крупных складов с тысячами роботов. Это позволит ещё больше увеличить пропускную способность и эффективность складов.
5. Какие проблемы решает описанная система на складах с помощью оптимизации движения роботов?
Описанная система решает несколько проблем на складах. Во-первых, она позволяет избежать заторов и столкновений между роботами, что может привести к замедлению работы склада. Во-вторых, система увеличивает пропускную способность склада, позволяя обрабатывать больше посылок за определённый период времени. В-третьих, она может адаптироваться к различным условиям и планировкам складов, что делает её гибкой и универсальной.