تبرز حركة الشفاه المتزامنة مع الكلام كأحد أهم عناصر الواقعية في الروبوتات فائقة الشبه بالبشر، إذ لا يقتصر الأمر على محاكاة الحركة بل يمتلك الروبوت قدرة على تدريب نفسه ليحدث الكلام بأسلوب يحاكي الإنسان، مستفيداً من تقنيات تعلم تركّز على الربط بين الصوت والحركة.
تصميم روبوت EMO
طور طالب الدكتوراه في علم الروبوتات يوهانغ هو، بالتعاون مع البروفيسور هود ليبسون وفريق من جامعة كولومبيا، روبوت EMO، وهو رأس روبوتي مزود بـ 26 محركاً صغيراً أسفل جلد مرن مصنوع من السيليكون.
تتيح هذه المحركات توليفات مختلفة لإنتاج تعابير وجه متعددة، بما في ذلك أشكال متنوعة لحركة الشفاه.
التعلم عبر المراقبة والتجربة
بدأ الباحثون بتدريب الروبوت عبر وضعه أمام مرآة ليشاهد نفسه وهو يؤدي آلاف التعابير الوجهية، ما مكنه من فهم العلاقة بين تنشيط المحركات والحركات الناتجة عبر نموذج تعلم يعرف بـ من الرؤية إلى الفعل (VLA).
لاحقاً، شاهد الروبوت ساعات طويلة من مقاطع فيديو لأشخاص يتحدثون ويغنون ليتعلم حركات الفم المرتبطة بالأصوات المختلفة.
آفاق التطوير والتفاعل
يواجه البحث صعوبات في نطق أصوات مثل الباء والواو، لكن يتوقع الباحثون تحسن الأداء مع مزيد من التدريب.
ويشير يوهانغ هو إلى أن دمج مزامنة حركة الشفاه مع أنظمة ذكاء اصطناعي تفاعلية مثل شات جي بي تي وجيمينا قد يعزز العلاقة بين الروبوت والإنسان، ويجعل التعابير الوجهية أكثر دقة وحساسية لسياق المحادثة.