Разработчики искусственного интеллекта придумали систему, которая может распознавать музыку, глядя на играющих музыкантов, на видео без звука.
Затем ИИ с точностью восстанавливает музыкальную композицию.
Исследователи высказали предположение, что эта способность ИИ найдет применение, например, в технике воспроизведения речи и звуков.
Школа интеллекта: найти звуки в беззвучной игре музыкантов
Ученые из Массачусетского технологического института представили систему ИИ - Foley Music, которая может сгенерировать музыку по видео без звука. Достаточно внимательно изучить движения людей во время игры.
Оказалось, что ИИ успешно распознает различия в музыкальных инструментах и воспроизводит их звуки, превосходя по скорости и точности уже существующие подобные системы.
Говоря о перспективе такого навыка ИИ, разработчики предполагают, что в дальнейшем эта система позволит автоматически добавлять звуковые эффекты к видороликам либо создавать музыкальные композиции на основе полученных впечатлений от просмотра виртуального клипа.
Читает по губам или изучает движение ключевых точек
Подобный навык можно сравнить с умением людей читать по губам. Для того чтобы "прочесть" музыку, ИИ Foley Music сначала изучает положения 25 ключевых точек тела и двадцати контрольных точек пальцев на руках. Они становятся опорными точками для повторения движений музыкантов и воспроизведения музыки. Происходит перекодировка движений в музыкальные звуки.
Исследования показали, что теперь ИИ может воспроизвести игру на аккордеоне, пианино, на всех видах гитары, на духовых и струнных инструментах, таких как фагот и виолончель.
Для обучения ИИ использовались видео различной сложности из свободного доступа на YouTube, AtinPiano, задействованы фрагменты концертов и различных мастер-классов обучения игре на музыкальных инструментах.
Всего в Foley Music было загружено 450 видео.
Эксперты отмечают, что ИИ так точно генерирует музыку, что ее трудно отличить от реальных записей. Кроме того, фактически ИИ создает музыку - система Foley Music может самостоятельно улучшать качество мелодии, производить выравнивание и синхронизацию звуков.