Компания Uptime Industries делает ставку на локальную AI-инфраструктуру, представив портативное устройство под названием Lemony AI формата «AI-в-коробке».
Размером с сэндвич, Lemony AI [https://www.lemony.ai/about], по заявлениям разработчиков, способен запускать крупные языковые модели (LLM), AI-агенты и процессы на одном узле. Каждое устройство потребляет всего 65 ватт энергии — как зарядка ноутбука — и может объединяться в кластеры для создания более мощных AI-систем.
Сооснователь и CEO Uptime Саша Бюрле рассказал TechCrunch, что каждый узел поддерживает LLM размером до 75 млрд параметров и совместим как с открытыми, так и с модифицированными версиями закрытых моделей. В кластере узлы могут работать с разными моделями одновременно.
Стартап запускается в партнерстве с IBM и JetBrains, чтобы предоставить клиентам доступ к AI-моделям, включая закрытые решения IBM.
Идея Lemony AI родилась из побочного проекта: основатели Uptime, Бюрле и Иван Кулешов, экспериментировали с запуском языковых моделей на микрокомпьютерах Raspberry Pi [https://techcrunch.com/2023/09/27/raspberry-pi-5/]. Хотя изначально это не было связано с генеративным ИИ, успех подтолкнул их к исследованиям возможностей Raspberry Pi.
Осознав, что локальный запуск моделей может ускорить внедрение AI в организациях (например, в компаниях, избегающих облачных решений), они начали разработку собственного устройства. Акцент на компактность и приватность данных, по их мнению, поможет бизнесу быстрее внедрять AI.
«Нам нужно было создать нечто небольшое, что можно легко внедрить в команды, не требуя общеорганизационных решений — по сути, привести локальные генеративные AI-решения в бизнес-подразделения», — пояснил Бюрле. Кластеры мини-устройств позволяют масштабировать систему в соответствии с потребностями клиентов.
Компания отмечает высокий спрос со стороны предприятий в строго регулируемых отраслях: финансы, здравоохранение и юриспруденция.
«Все остается внутри вашего устройства: документы, файлы, письма. Модели и агенты работают локально, и никакие данные не покидают устройство», — заявил Бюрле.
На сегодня Uptime привлекла $2 млн в рамках посевного раунда при участии True Ventures, Alumni Ventures, JetBrains и ряда бизнес-ангелов. Средства пойдут на доработку устройства.
Стартап планирует адаптировать свою ОС Lemony OS для работы на стороннем оборудовании, таком как Nvidia DGX Spark [https://www.nvidia.com/en-us/products/workstations/dgx-spark/], и расширить функционал с индивидуального использования до командного.
Стоимость подписки на Lemony AI составляет $499 в месяц с доступом для пяти пользователей.