Columbia Üniversitesi’nden bir araştırma takımı, Emo isminde insan mimiklerini algılayarak anında taklit edebilen bir robot yüz geliştirdi. Robot yüz, bir insanın gülümsemesini 839 milisaniye evvelden iddia edebiliyor ve tıpkı anda taklit edebiliyor. Takım, geliştirdikleri robot ile insan ve robotların daha doğal etkileşim kurulabilmesini amaçlıyor. Büyük lisan modelleri sayesinde robotik kelamlı bağlantı süratli bir gelişme içerisinde olsa da kelamsız irtibat tıpkı süratle gelişmiyor. Daha evvel geliştirilen robot yüzler, organik olmak yerine evvelden programlanmış tabirleri sergilemekten öteye gidemiyor. Grup, Emo ile bunun çok daha ötesine giderek dinamik tabirlerin oluşsurulmasına odaklandı.
Araştırmacılar, yüz animatroniği için karmaşık donanım ve yazılım dizaynlarına gereksinim duyulduğunun altını çiziyor. Donanım olarak robotik bir yüzün geliştirilmesi mekanik zorluklar içeriyor. Yazılım tarafında ise bu motorları gerçek bir halde ve vaktinde çalıştırmak, hisleri düzgün söz edebilmek için büyük değer taşıyor.
26 adet aktüatöre sahip
Grubun evvelki robot platformu Eva, yüz tabirlerini kendi kendine modelleyebilen birinci robotlardan biriydi. Fakat daha doğal bağlantı için robotun karşıdaki kişinin yüz tabirini de kestirim edebilmesi gerekiyor. Ekip bunu başarmak için Eva’yı geride bırakan Emo’yu tasarladı. 26 aktüatöre sahip olan robot, direkt bağlanan mıknatıslar aracılığıyla asimetrik tabirler sunarak hassasiyeti artırıyor. Ayrıyeten robotun her bir gözüne yerleştirilen yüksek çözünürlüklü kameralar ile karşıdaki kişini yüz tabirleri algılanıyor.
Yüz tabirlerini varsayım etmek için hudut ağları kullanıldı
Araştırmacılar, Emo’nun hem kendisinin hem de konuşan kişinin yüz tabirlerini iddia etmek için ikili bir hudut ağı çerçevesi kullanıyor. Bu da gerçek vakitli ifadeyi mümkün kılıyor. 23 yüz sözü motoru ve boyun hareketi için üç motorla donatılan Emo, bu sayede 5 kat daha süratli motor komutu üretebiliyor.
Aynalanan yüz tabirleri aracılığıyla, birinci hudut ağı, donanımından gelen motor komutlarını yorumlayarak robotun kendi duygusal yüz sözlerini varsayım etmesine yardımcı oldu. Bu ortada ikinci ağ, konuşma sırasında muhatabın yüz tabirlerini iddia etmek için eğitildi.
Bütün bunların sonucunda robot yüz, insanların gülümsemesini yaklaşık 839 milisaniye evvel kestirim etmeyi başardı. Dahası, robot kendi gülümsemesini gerçek vakitli olarak beşerlerle senkronize edebildi.
Araştırmanın baş muharriri Yuhang Hu, “İnsan yüz tabirlerini gerçek bir halde iddia etmenin insan-robot ektileşiminde bir ihtilal olduğunu düşünüyorum” diyerek çalışmanın değerini ortaya koydu.
