Вы когда-нибудь пытались создать мысленный образ человека, которого никогда не видели, основываясь исключительно на звуке его голоса? Искусственный интеллект (ИИ) теперь может делать это, генерируя цифровое изображение лица человека с помощью одной только короткой аудиозаписи.
Как ИИ научили воссоздавать лица по голосу
Ученые назвали это Speech2Face. Нейронной сети, которая «мыслит» аналогично человеческому мозгу, показали миллионы образовательных видеороликов из Интернета, на которых были изображены более 100 000 говорящих людей.
Из этого набора данных Speech2Face сформировала ассоциации между голосовыми сигналами и определенными физическими особенностями человеческого лица. Затем ИИ использовал аудиоклип для моделирования фотореалистичного лица, соответствующего голосу. Результаты были опубликованы в сети 23 мая.
Фото: Oh et. al.
К счастью, искусственный интеллект (пока) точно не определяет, как выглядит конкретный человек, основываясь только на его голосе. Авторы исследования сообщили, что нейронная сеть распознает в речи определенные маркеры, указывающие на пол, возраст и этническую принадлежность, а также на особенности, которые свойственны многим людям.
«Таким образом, модель будет производить только усредненные лица, — писали ученые. — Она не будет производить изображения конкретных людей».
Слабые стороны
Лица, сгенерированные Speech2Face — все в положении анфас и с нейтральными выражениями — не точно соответствовали людям, чей голос изучал ИИ. Однако изображения обычно иллюстрируют правильный возраст, этническую и половую принадлежность людей.
При столкновении с языковыми вариациями ИИ тоже демонстрировал ошибки. Например, когда нейронная сеть «слушала» аудиозапись азиата, говорящего по-китайски, программа сгенерировала изображение азиатского лица. Однако, когда этот же человек говорил по-английски в другом аудиоклипе, искусственный интеллект сформировал лицо белого человека.
Алгоритм также продемонстрировал гендерную предвзятость, связывая низкие голоса с мужскими лицами и высокие голоса с женскими лицами.
По материалам Live Science
Читайте также:
Искусственный интеллект научился оживлять фотографии
Искусственный интеллект распознает лживых туристов
Мошенников на сайтах знакомств разоблачает искусственный интеллект
