Blob Opera — веселый эксперимент по машинному обучению для создания вокальной оперы в вашем браузере

Blob Opera научит создавать вокальную оперу в браузере

Лаборатория Google Arts & Culture в сотрудничестве с Дэвидом Ли запустила забавный браузерный эксперимент под названием Blob Opera. Эта ИИ-разработка предоставляет в ваше распоряжение четыре оперных голоса для создания собственных вокальных произведений.

Оперные голоса в Blob Opera представлены в виде «капель», звучание которых управляется с помощью мыши. Чтобы изменить высоту тона конкретной капли надо растягивать ее вверх/ вниз. Если растягивать ее вправо/влево, то можно менять гласные звуки, которые она поет. Глаза все «певцов» следуют за курсором мыши по всему экрану и закрываются, если каплю отключить с помощью значка динамика.

Модель машинного обучения, использованная в эксперименте, была натренирована на реальных голосах четырех оперных певцов: Кристиана Джоэла (тенор), Фредерика Тонга (бас), Джоанны Гэмбл (меццо-сопрано) и Оливии Даутни (сопрано). Всего они записали для обучения 16 часов аудио, кроме того дополнительный вокал предоставили Ингунн Гида Храфнкельсдоттир и Джон Холланд-Эйвери.

То, что вы слышите, когда создаете свою собственную мини-оперу с помощью курсора мыши, определяется искусственным интеллектом, обученным на записях певцов.

Создаваемые произведения можно записывать и делиться ими. Нажатие на значок елочки надевает новогодние шапочки на головы «исполнителей» и предлагает возможность прослушать варианты популярных рождественских песенок. «Каплям» не удается петь настоящие слова, но их исполнение наверняка заставит вас им подпевать.