Speech2Face е алгоритам кој рекреира лик само по гласот на говорникот

Дали може да претпоставите како некој изгледа единствено ако сте го слушнале неговиот глас? Група истражувачи од MIT работи на технологија која може, или барем се обидува да рекреира лик по гласот на говорникот. Speech2Face користи звучен бран како влезен параметар и креира слика.

Секако дека станува збор за вештачка интелигенција / машинско учење кое ги овозможува ова. Секако дека дел од овие податоци како на пример возраста, етничката припадност или полот можат прилично точно да претпостават или препознаат од гласот на говорниците.

Експериментите на кои работат Тае-Хун О, Тали Декел, Чангил Ким, Инбар Мосери, Вилјам Фриман, Мајкл Рубинштајн и Војчек Матусик, треба да покажат дали и во која мера гласот зависи од изгледот на говорникот. Технологијата треба да покаже дека има цврста врска помеѓу говорот и изгледот, но поважно во која мера може да се рекреира изгледот ако го познаваме единствено гласот на говорникот.

За ова низ невралната мрежа „се пуштаа“ YouTube и различни други видеа од интернет. На овие видеа секако се гледа ликот од говорникот. Од овој процес на учење од звучниот бран алгоритамот креира база потребна за потоа да може да изработи 2Д модел од лицето. На сликата подолу е прикажана излезната слика од анализата. Првите слики се фотографии од говорникот, вторите се изглед на моделот во анфас, а третата и клучна слика е реконструкција базирана на гласот.

За креирање на овие слики моделите користеа видеа со должина од 6 секунди. Ова е поважно за аудио записот, а ако е покус од 6 секунди го пуштаат доволен број пати за алгоритамот да дојде до видео со должина од 6 секунди.

Секако дел од креираните слики имаа сличности, но во оваа фаза делува очигледно и дека технологијата, барем засега доаѓа со ограничувања. Сепак ако прецизност не е потребна, Speech2cartoon е забавна апликација. Врз база на гласот овој пат не се креира слика на говорникот, туку нацртан аватар кој наликува на говорникот. Секако вакви алатки веќе постојат, но тие креираат слика од селфи, а ова е прв пат овие слики да се генерираат со помош на звучен бран.

Повеќе за истражувањето и технологијата може да прочитате во споделените податоци.

Коментирај

Вашата адреса за е-пошта нема да биде објавена.

You may use these HTML tags and attributes: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>

*

Слични статии