ByteDance تطور نموذجًا جديدًا قادرًا على إنشاء مقاطع فيديو واقعية للبشر

شاركت ByteDance، الشركة التي تقف خلف TikTok، أبحاثًا جديدة حول إطار عمل جديد للذكاء الاصطناعي (AI) يطلق عليه اسم OmniHuman، وهو عبارة عن إطار عمل لتوليد الفيديو يمكنه إنشاء مقاطع فيديو بشرية واقعية مع حركة الجسم بالكامل ومزامنة الشفاه.

 

وذكر الباحثون أن الأمر يتطلب صورة بشرية إلى جانب إشارات الحركة مثل الفيديو أو الصوت لتوليد الإخراج، وقد تمت أيضًا مشاركة العديد من مقاطع الفيديو التوضيحية التي تم إنشاؤها باستخدام نموذج الذكاء الاصطناعي، والتي تعرض واقعية الناتج النهائي.

جدير بالذكر أن الشركة ذكرت أن نموذج الذكاء الاصطناعي متاح في المجال العام.

كما يمكن لـ OmniHuman إنشاء مقاطع فيديو بشرية واقعية، فقد شارك الباحثون العديد من العروض التوضيحية وقاموا بتفصيل إطار العمل على موقعهم الإلكتروني، الذى يعد نظام شامل تم إنشاؤه باستخدام استراتيجية تدريب مختلط جديدة متعددة الوسائط لتكييف الحركة.

وعلى الرغم من أن الباحثين لم يشاركوا أي مقاييس مرجعية، إلا أنهم زعموا أن نموذج الذكاء الاصطناعي “يتفوق بشكل كبير على الأساليب الحالية”.

كما يمكن لـ OmniHuman إنشاء مقاطع فيديو باستخدام صورة الشخص وإشارة الحركة، و يمكن أن تكون إشارات الحركة صوتية فقط، أو فيديو فقط، أو مزيجًا من الصوت والفيديو.

كما يمكن لنموذج الذكاء الاصطناعي إنشاء مقاطع فيديو واقعية بناءً على المطالبات النصية، كما  يمكن أن تكون مقاطع الفيديو هذه لكامل الجسم حيث يمكن مزامنة الأطراف وتعبيرات الوجه وحركة الشفاه مع الصوت أو الموسيقى التي يتم تشغيلها في الخلفية.

اظهر المزيد

مقالات ذات صلة

اترك تعليقاً

لن يتم نشر عنوان بريدك الإلكتروني. الحقول الإلزامية مشار إليها بـ *

زر الذهاب إلى الأعلى