Компания Uptime Industries делает ставку на локальную инфраструктуру для ИИ, представив портативное устройство под названием Lemony AI в формате «ИИ-в-коробке».
Размером с сэндвич, Lemony AI [https://www.lemony.ai/about], по заявлениям разработчиков, способен запускать большие языковые модели (LLM), ИИ-агентов и рабочие процессы ИИ на одном узле. Каждое устройство потребляет всего 65 Вт — аналогично зарядке ноутбука — а также может объединяться в кластеры для создания более мощных ИИ-систем.
Сооснователь и CEO Uptime Саша Бюрле рассказал TechCrunch, что каждый узел поддерживает LLM размером до 75 млрд параметров и может работать как с открытыми, так и с адаптированными закрытыми моделями. В кластере из нескольких устройств Lemony каждое из них может запускать отдельную модель.
Старт проекта сопровождается партнёрствами с IBM и JetBrains, чтобы предоставить клиентам доступ к ИИ-моделям, включая закрытые разработки IBM.
Идея Lemony AI возникла как побочный проект: основатели Uptime, Бюрле и Иван Кулешов, экспериментировали с запуском языковых моделей на микрокомпьютерах Raspberry Pi [https://techcrunch.com/2023/09/27/raspberry-pi-5/]. Хотя изначально это не было связано с генеративным ИИ, успешные тесты подтолкнули их к расширению возможностей.
Осознав, что локальный запуск моделей может ускорить внедрение ИИ в организациях (например, в компаниях, избегающих облачных решений), они начали разработку собственного устройства. Акцент на компактность и приватность данных, по их мнению, поможет бизнесу быстрее внедрять ИИ-технологии.
«Нам нужно нечто небольшое, что легко интегрируется в рабочие команды без необходимости согласований на уровне всей организации — по сути, локальные генеративные ИИ-решения для бизнес-подразделений», — пояснил Бюрле. Кластеры из компактных устройств позволяют масштабировать систему в соответствии с запросами клиентов.
Компания отмечает растущий спрос в регулируемых отраслях: финансах, здравоохранении и юриспруденции. «Всё остаётся внутри устройства: документы, файлы, письма. Модели и агенты работают локально, никакие данные не покидают систему», — подчеркнул Бюрле.
Uptime привлекла $2 млн в раунде посевного финансирования под руководством True Ventures при участии Alumni Ventures, JetBrains и бизнес-ангелов. Средства направят на доработку устройств.
Стартап планирует адаптировать свою ОС Lemony OS для стороннего оборудования, например, Nvidia DGX Spark [https://www.nvidia.com/en-us/products/workstations/dgx-spark/], и расширить функционал с индивидуального использования до командного.
Стоимость подписки на Lemony AI — $499 в месяц с доступом для пяти пользователей.