هوش مصنوعی و دوبله؛ تحولی عظیم در صنعت سینمای بین‌الملل

با هوش مصنوعی و دوبله شاهد تحولی عظیم در صنعت سینما هستیم. در حال حاضر کیفیت فیلم‌های دوبله‌شده قابل قبول نیست و یک کارگردان بریتانیایی قصد دارد با استفاده از فناوری هوش مصنوعی این مشکل را رفع کند.

فیلم سرقت رابرت دنیرو

در طول فیلم‌برداری فیلم سرقت (2015) رابرت دنیرو کارگردان این فیلم یعنی اسکات مَن را صدا می‌زند و  نظر او را در مورد دستبندی که باید در فیلم بپوشد جویا می‌شود. به گفته مَن، رابرت دنیرو « قسمتی از متن فیلم را خواند و حتی کوچک‌ترین جزئیات آن را تجزیه و تحلیل کرد». او می‌گوید در این حوزه، توجه به کوچک‌ترین جزئیات صحنه نیز از دید برخی پنهان نمی‌ماند.

مَن می‌گوید زمانی‌که فیلم سرقت در کشورهای غیر انگلیسی زبان اکران شد، متوجه شدیم توجه به این جزئیات بی‌ فایده است و ارزشی ندارد. دلیل آن هم خیلی واضح است: دوبله بد. به گفته این کارگردان بریتانیایی، دوبلورها به جای اینکه دقیقاً مطابق با متن اصلی فیلم پیش‌ روند و شخصیت «پاپ» را همان‌گونه که در فیلم اصلی است نشان دهند، فقط برای اینکه دیالوگ‌ها با حرکات صورت و لب این شخصیت همخوانی داشته باشند، دیالوگ‌ها را تغییر داده بودند و به همین دلیل در نسخه‌های دوبله شده فیلم، این شخصیت آنگونه که مد نظر رابرت دنیرو بوده ، انتقال داده نشده است. این کارگردان می‌گوید:« طبیعتاً این روش جواب نمی‌دهد و در خوشبینانه‌ترین حالت (فیلم‌های دوبله‌شده) چیزی بینابین هستند»

به همین دلیل مَن درصدد رفع این مشکل برآمدم. او به همراه نیک لینز Nick Lynes که در زمینه توسعه نرم‌‍افزار تجربه دارد سه سال از وقت خود را صرف یافتن راه‌حلی برای این مشکل کردند و امروز به طور رسمی شرکت Flawless را افتتاح کردند. این شرکت برای دوبله فیلم‌ به زبان‌های دیگر از فناوری هوش مصنوعی استفاده می‌کند. آن‌ها معتقدند این «آزمایشگاه شبکه عصبی فیلم» که در لندن واقع شده،  فرصت‌های جدیدی پیش‌ روی فیلم‌سازان و استودیوهای فیلم‌سازی قرار می‌دهد تا مخاطبان داخلی و خارجی را به خود جذب کنند.

دوبله در هوش مصنوعی

این اولین باری نیست که گروهی تلاش دارند با استفاده از فناوری هوش مصنوعی مشکلات دوبله را رفع کنند. سال گذشته، شرکت آمازون، یک سیستم هوش مصنوعی‌ توسعه داد تا به صورت خودکار فیلم‌ها را به زبان‌های دیگر دوبله کند، البته صدای این سیستم هوش مصنوعی هیچ شباهتی به صدای انسان‌ها ندارد. سیستم Flawless با دیگر سیستم‌ها و ابزارهایی که در این زمینه توسعه داده شده، تفاوت دارد. تفاوت این سیستم با سیستم‌های دیگر در این است که به‌جای اینکه فیلم در مرحله پَس‌تولید Post-production دوبله شود، صداهای نسخه دوبله شده از قبل ضبط می‌شوند و به همین دلیل لازم نیست برای هماهنگی صدا‌پیشگان با حرکات لب بازیگران اصلی ، متن فیلم و دیالوگ‌ها را تغییر داد.

همکاری اسکات مَن با مؤسسه انفورماتیک مکس پلانک، واقع در آلمان، الهام‌بخش او برای ساخت فناوری Flawless بود. تحقیقاتی که این مؤسسه در زمینه بازآفرینی و ویرایش دیجیتالی صورت انجام داده مَن را تحت تأثیر قرار داد. این شرکت با استفاده از یک شبکه عصبی، میلیون‌ها نقطه‌داده بصری را در راش‌های فیلم (بخشی از فیلم که در همان روز فیلم‌برداری شده و هنوز تدوین نشده) را مطالعه و بررسی می‌کند و سپس آن‌ها را به سیستمی وارد می‌کنند که می‌تواند بازیِ هنرپیشه را در زبانی دیگر بازآفرینی کند.

طبق توضیحات اسکات مَن، آن‌ها سیستمی توسعه داده‌اند که خللی در فرایند فیلم‌سازی ایجاد نمی‌کند و استخراج داده‌های مرتبط با چهره، که به لحاظ محاسباتی فرایندی زمان‌بر است، همزمان با تولید فیلم اصلی انجام می‌شود. لینز می‌گوید این فناوری چهره بازیگران را جدا می‌کند و چهره آنان را به یک مدل سه بُعدی تبدیل می‌کند. بدین ترتیب میلیون‌ها مدل سه بُعدی تولید می‌شود که هوش مصنوعی از آن‌ها به عنوان نقاط مرجع استفاده می‌کند. سپس با استفاده از صوتی (مجموعه دیالوگ‌هایی) که به زبان مقصد ضبط شده است، بازیگر را بررسی می‌کند و به ازای هر فریم یک مدل سه بُعدی تولید می‌کند. در پایان این مدل به یک مدل دو بُعدی تبدیل می‌شود. اگر ایرادی هم در نسخه دوبله شده مشاهده شود، متخصصان جلوه‌های دیجیتالی می‌توانند به صورت دستی آن را برطرف کنند.

دیپ فیک

اسکات مَن می‌گوید کاری که آن‌ها انجام می‌دهند دیپ فیک نیست. به عقیده وی: «در دیپ‌فیک‌ یک چهره دو بعدی جایگزین چهره اصلی می‌شود و هویت فردی به سرقت می‌رود و این نقطه مقابل کاری است که ما انجام می‌دهیم. ما با استفاده از یک شبکه عصبی بازی و عملکرد را ارتقا می‌دهیم. در ضمن ما به شکل هندسی و موقعیت تصویر هم توجه داریم که اصلی‌ترین تفاوت ما با دیپ‌فیک است و یک مدل کاملاً سه بعدی از بازیگر می‌سازیم.»

Flawless این تکنیک را بر روی بخش‌هایی از فیلم‌های کلاسیک، از جمله فارست گامپ و چند آدم خوب، آزمایش کرد و برای کاهش اثرات “uncanny valley” در اولین فیلم‌هایی که به این روش تولید می‌شوند، خروجی نهایی را برای مخاطبان غیر انگلیسی زبان نمایش گذاشتند. آزمایشات آن‌ها رضایت بخش بود: مَن و لینز هر دو می‌گویند اسپانیایی زبان‌های بومی پس از تماشای فیلم فارست گامپ که توسط Flawless به زبان اسپانیایی دوبله شده بود، متوجه مشکلات مربوط به هماهنگی دیالوگ‌ها ( دوبلور و شخصیت اصلی)، که پیش از این به آن توجه نمی‌کردند، شدند.

طی یک سال گذشته، مَن و لینز به معرفی فناوری‌شان در هالیوود پرداختند، با بازیگران و تولید‌کنندگان گفت‌و‌گو کردند تا نظرشان را در مورد این فناوری جویا شوند. مَن می‌گوید:« اسمی از کسی نمی‌برم، اما تعدادی از کلیپ‌های‌مان را به بازیگران نشان دادیم و آن‌ها هم با من هم عقیده بودند. آن‌ها هم معتقد بودند عملکردشان در فیلم‌های دوبله بد است و وقتی کلیپ‌های اولیه را به آن‌ها نشان می‌‍دادم، یک جواب می‌گرفتم: وای! عالیه! برای مخاطبان عجیب است که ببینند بازیگرها ناگهان به زبان ژاپنی تسلط پیدا کرده‌اند و می‌توانند این زبان را صحبت کنند.»

به گفته اسکات مَن شرکت Flawless در حال همکاری با استودیوهای فیلم‌سازی است و یک پخش‌کننده‌های فیلم است و امیدوار است به زودی بتوانند این همکاری را به صورت رسمی اعلام کنند. این شرکت انتظار دارد اولین فیلمی که با استفاده از این فناوری دوبله می‌شود تا دوازه ماه آینده پخش شود. مَن می‌گوید « هزینه استفاده از این فناوری، از فیلمی به فیلم دیگر متفاوت است. اما وقتی هالیوود حاضر می‌شود 60 میلیون دلار صرف بازسازی فیلم یک دور دیگر به زبان انگلیسی کند، می‌توانم این اطمینان را به شما بدهم که هزینه استفاده از این فناوری کمتر از 60 میلیون دلار است.»

اسکات من زیرنویس را بر دوبله ترجیح می‌دهد، اما از طرفداران زیرنویس هم نیست. او می‌گوید:« همیشه به این فکر می‌کنم که چگونه یک صحنه را فیلم‌برداری می‌کنم و تماشا کنندگان فقط برای اینکه مجبورند به پایین صفحه نگاه کنند و زیرنویس را بخوانند آن صحنه را از دست می‌دهند. و این تماشا کردن فیلم نیست، فیلم را می‌سازند که مخاطبان آن را تماشا کنند. به کمک این فناوری مردم سراسر دنیا می‌توانند فیلم‌ را همانگونه که کارگردان، تدوین‌گر ویرایش می‌کنند و می‌نویسند، تماشا کنند.»

اسکات مَن می‌گوید طبیعی است که مخاطبان، به ویژه طرفداران زیرنویس که تعداد کمی از علاقه‌مندان دنیای فیلم را تشکیل می‌دهند، نسبت به این فناوری واکنش منفی نشان دهند، (البته طبیعی است که آن‌ها از روی نیاز از زیرنویس استفاده می‌کنند) . من می‌گوید:« افرادی هم هستند که نمی‌خواهند فیلم‌های دوبله شده ما را تماشا کنند و معتقدند زیرنویس بهترین راهکار است، اما به کمک این فناوری می‌توان داستان‌های فوق‌العاده‌ای را با افرادی که قبلاً آن‌ها را ندیده‌ و نشنیده‌اند، به اشتراک گذاشت. به زودی این فناوری به حدی پیشرفت می‌کند که مخاطبان متوجه نمی‌شوند ما آن را دوبله کرده‌ایم.»

جدیدترین اخبار هوش مصنوعی ایران و جهان را با هوشیو دنبال کنید.