Сети — это системы, состоящие из двух или более соединённых устройств, биологических организмов или других компонентов, которые обычно обмениваются информацией друг с другом. Понимание того, как информация перемещается между этими связанными компонентами, также известными как узлы, может помочь продвинуть исследования в различных областях — от искусственного интеллекта (ИИ) до нейробиологии.
Для измерения направленного потока информации в системах учёные обычно используют математическую конструкцию, известную как transfer entropy (передаточная энтропия), которая, по сути, количественно определяет скорость передачи информации от одного узла к другому. Однако большинство стратегий расчёта передаточной энтропии, разработанных до сих пор, основаны на приближениях, что значительно ограничивает их точность и надёжность.
Исследователи из AMOLF, института фундаментальной физики в Нидерландах, недавно разработали вычислительный алгоритм, который может точно количественно определять передаточную энтропию в широком спектре сложных сетей. Их алгоритм, представленный в статье, опубликованной в Physical Review Letters, открывает новые захватывающие возможности для изучения передачи информации как в биологических, так и в инженерных сетях.
«Наша повседневная жизнь зависит от слаженной работы множества сложных сетей», — сказал Ависhek Дас, соавтор статьи, в интервью Phys.org. «Типичные примеры варьируются от интернета, финансовых рынков, экосистем, человеческого мозга до тысяч взаимно реагирующих химических веществ внутри одной биологической клетки. Объединяющей чертой этих сетей является то, что они обрабатывают внешние сигналы для получения интеллектуальных результатов».
Ключевой целью недавнего исследования Даса и его коллеги Петера Рейна тен Вулде было разработать надёжный метод для понимания и контроля обработки информации в сложных системах. Первым шагом к достижению этой цели является надёжное измерение передаточной энтропии.
«Этот направленный поток информации не мог быть измерен в общих сетевых моделях до сих пор без непредсказуемых ошибок», — сказал Дас. «В нашей статье представлен вычислительный алгоритм TE-PWS для его точного количественного определения».
Количественная оценка скорости передачи информации от одного узла к другому по сути означает подсчёт одновременных флуктуаций в двух узлах и представление их как функции времени. Ключевая трудность, с которой сталкиваются при попытке сделать это, заключается в том, что флуктуации в узлах слишком редки, чтобы их можно было уловить с помощью традиционных стратегий моделирования.
«Наш прорыв произошёл благодаря заимствованию метода, широко используемого в статистической физике, под названием importance sampling (выборка важности), который заставляет редкие флуктуации происходить чаще в симуляциях», — объяснил Дас. «TE-PWS использует это для точного подсчёта редких флуктуаций, давая точную передаточную энтропию для любой модели».
Примечательным преимуществом алгоритма, разработанного Дасом и тен Вулде, является то, что его можно применять к широкому спектру сетей. Фактически алгоритм работает при наличии произвольного количества нелинейности и обратной связи в сети, успешно количественно определяя передаточную энтропию в случаях, когда все другие методы терпят неудачу.
«В нашем исследовании мы использовали TE-PWS, чтобы показать, что сильная обратная связь может парадоксально усиливать передачу информации по принципу прямой связи в отдалённые узлы в сети», — сказал Дас. «Мы также обнаружили, что TE-PWS использует либо сопоставимое, либо меньшее количество компьютерного времени, чем другие методы, что делает его одновременно точным и экономичным».
В начальных тестах вычислительная техника для измерения передаточной энтропии оказалась высокоточной, превосходя другие методы, разработанные в прошлом. Поскольку эта техника не основана на каких-либо приближениях, она даёт достоверные результаты, которые необходимы при попытке строго проверить точность теорий физики, сетевых наук или нейробиологии.
«Мы использовали нашу точную технику для проверки точности других методов и обнаружили, что они часто неточны и, кроме того, менее эффективны», — сказал Дас. «Без точного ответа от TE-PWS мы никогда не узнали бы, насколько велика ошибка, которую совершают другие методы. На сегодняшний день TE-PWS является единственным надёжным методом для общей сети».
Недавняя работа Даса и тен Вулде может вскоре проложить путь для новых исследований, изучающих передачу информации в системах ИИ, коммуникационных системах, финансовых сетях, экологических системах и биологических нейронных сетях. Поскольку разработанный ими алгоритм является одновременно точным и вычислительно лёгким, его можно применять к широкому спектру сложных и больших сетей.
«Мы планируем использовать TE-PWS для измерения обработки информации внутри бактериальных клеток через химические сигнальные сети», — добавил Дас. «Несмотря на то, что бактерии являются простыми организмами, они выполняют сложные вычисления, такие как взятие интегралов и производных и поиск оптимумов. TE-PWS поможет нам понять, как их сигнальные сети могут делать это эффективно».