Какая песня без баяна? ИИ научился восстанавливать песню по движениям музыканта, просматривая видео без звука

Разработчики искусственного интеллекта придумали систему, которая может распознавать музыку, глядя на играющих музыкантов, на видео без звука.

Затем ИИ с точностью восстанавливает музыкальную композицию.

Исследователи высказали предположение, что эта способность ИИ найдет применение, например, в технике воспроизведения речи и звуков.

Школа интеллекта: найти звуки в беззвучной игре музыкантов

Ученые из Массачусетского технологического института представили систему ИИ - Foley Music, которая может сгенерировать музыку по видео без звука. Достаточно внимательно изучить движения людей во время игры.

Оказалось, что ИИ успешно распознает различия в музыкальных инструментах и воспроизводит их звуки, превосходя по скорости и точности уже существующие подобные системы.

Говоря о перспективе такого навыка ИИ, разработчики предполагают, что в дальнейшем эта система позволит автоматически добавлять звуковые эффекты к видороликам либо создавать музыкальные композиции на основе полученных впечатлений от просмотра виртуального клипа.

Читает по губам или изучает движение ключевых точек

Подобный навык можно сравнить с умением людей читать по губам. Для того чтобы "прочесть" музыку, ИИ Foley Music сначала изучает положения 25 ключевых точек тела и двадцати контрольных точек пальцев на руках. Они становятся опорными точками для повторения движений музыкантов и воспроизведения музыки. Происходит перекодировка движений в музыкальные звуки.

Исследования показали, что теперь ИИ может воспроизвести игру на аккордеоне, пианино, на всех видах гитары, на духовых и струнных инструментах, таких как фагот и виолончель.

Для обучения ИИ использовались видео различной сложности из свободного доступа на YouTube, AtinPiano, задействованы фрагменты концертов и различных мастер-классов обучения игре на музыкальных инструментах.

Всего в Foley Music было загружено 450 видео.

Эксперты отмечают, что ИИ так точно генерирует музыку, что ее трудно отличить от реальных записей. Кроме того, фактически ИИ создает музыку - система Foley Music может самостоятельно улучшать качество мелодии, производить выравнивание и синхронизацию звуков.