Система, разработанная исследователями из Университета Ватерлоо, позволяет людям сотрудничать с группами роботов для создания произведений искусства, вдохновленных музыкой. Новая технология включает в себя несколько колесных роботов размером с футбольный мяч, которые оставляют за собой следы цветного света, двигаясь в пределах фиксированной области на полу в ответ на ключевые особенности музыки, включая темп и последовательность аккордов. Камера записывает скоординированные световые следы, извивающиеся в этой области, которая служит холстом для создания «картины», или визуального представления эмоционального содержания конкретного музыкального произведения.
«По сути, мы запрограммировали рой роботов рисовать на основе музыкального ввода», — сказал доктор Дженнаро Нотомиста, профессор электротехники и вычислительной техники в Университете Ватерлоо. «В результате получилась целостная система, которая не только обрабатывает музыкальный ввод, но и координирует работу нескольких роботов-художников для создания адаптивных, выразительных произведений искусства, отражающих эмоциональную сущность воспроизводимой музыки».
Роботы передают эмоции, «слушая» музыку, посредством цветов, интенсивности и ширины световых следов, а также своего положения на холсте и скорости передвижения по нему.
Пользователи могут одновременно влиять на процесс создания картины, используя элементы управления для изменения ширины световых следов и их расположения на виртуальном холсте.
«Мы включили возможность управления человеком, чтобы люди и роботы могли работать вместе», — сказал Нотомиста, чьи интересы включают в себя пересечение искусства и технологий. «Художник-человек должен дополнять работу роботов и получать от нее пользу».
Статья о системе «Рисование роем роботов под управлением музыки», написанная Нотомистой и Цзиндэ Чэном, бывшим аспирантом Университета Ватерлоо, была представлена на Международной конференции IEEE по передовой робототехнике и ее социальному воздействию 2025 года. Она доступна на сервере препринтов arXiv.
Первой задачей для исследователей стала разработка алгоритма управления несколькими роботами в заданной области. Они протестировали систему с участием до 12 роботов, но её можно масштабировать для работы с любым количеством.
Второй этап включал создание технологии для извлечения и анализа музыкальных характеристик, выражающих эмоции, чтобы затем преобразовать их в световые следы, которые соответствующим образом их отображают.
Уроки, извлеченные в ходе проекта, могут найти потенциальное применение в других областях, требующих управления и координации работы множества роботов, действующих согласованно, таких как мониторинг окружающей среды, точное земледелие, поисково-спасательные операции и исследование планет.
В дальнейшем Нотомиста планирует привлечь профессиональных художников и музыкантов для изучения возможностей нового инструмента в рамках пользовательских исследований и организации публичных выставок.
