طور طالب الدكتوراه في علم الروبوتات يوهانغ هو، بالتعاون مع البروفيسور هود ليبسون وفريق من جامعة كولومبيا، روبوت EMO، وهو رأس روبوتي مزود بـ 26 محركاً صغيراً أسفل جلد مرن من السيليكون.
تصميم روبوت EMO
تعمل هذه المحركات بتوليفات مختلفة لإنتاج تعابير وجهية متعددة، بما في ذلك أشكال متنوعة لحركة الشفاه.
التعلم عبر المراقبة والتجربة
باشر الباحثون تدريب الروبوت عبر وضعه أمام مرآة ليلاحظ نفسه وهو يؤدي آلاف التعابير الوجهية، ما مكنه من فهم العلاقة بين تشغيل المحركات والحركات الناتجة من خلال نموذج تعلم من الرؤية إلى الفعل (VLA).
شاهد الروبوت ساعات طويلة من مقاطع فيديو لأشخاص يتحدثون ويغنون ليكتسب حركات الفم المرتبطة بالأصوات المختلفة.
آفاق التطوير والتفاعل
رغم أن التقنية ما تزال تواجه صعوبات في نطق بعض الأصوات مثل الب والواو، يتوقع الباحثون تحسن الأداء مع مزيد من التدريب، كما أشار يوهانغ هو إلى أن دمج مزامنة حركة الشفاه مع أنظمة ذكاء اصطناعي تفاعلية مثل شات جي بي تي أو جيمينا يمكن أن يعزز التفاعل بين الروبوت والإنسان، ويجعل التعابير الوجهية أكثر دقة وحساسية لسياق المحادثة.