هوش مصنوعی می‌تواند ژانر فیلم را بر اساس موسیقی آن پیش‌بینی کند

موسیقی یکی از عناصر حیاتی فیلم به شمار می‌رود؛ چرا که جوّ فیلم را تحت تاثیر قرار داده، به واکنش‌های احساسی بینندگان جهت می‌دهد و بر تفسیر بینندگان از داستان و ژانر فیلم تاثیر می‌گذارد. پروفسور شریکانت نارایانان – سرپرست تیم تحقیقات در دانشکده مهندسی USC – مقاله‌ای را در PLOS ONE منتشر کرده‌ است؛ هدف از این مقاله، بررسی تاثیر موسیقی بر ژانرهای سینمایی می‌باشد. افزون بر این، محققان در تلاش بودند تا ببینند آیا فناوری هوش مصنوعی می‌تواند ژانر فیلم را بر اساس آهنگ آن مورد پیش‌بینی قرار دهد یا خیر.

نارایانان – استاد دانشگاه – و نیکی و مکس نیکیاس – مهندس و استاد مهندسی برق و کامپیوتر و مدیر آزمایشگاه تفسیر و تحلیل سیگنال USC Viterbi – این چنین توضیح می‌دهند: «اگر بهتر به این موضوع پی ببریم که موسیقی چگونه بر درک بینندگان از فیلم تاثیر می‌گذارد، به بینش‌های مهمی درباره نحوه‌ی جهت‌دهی تولیدکنندگان فیلم به تفکرات بینندگان دست می‌یابیم.»

این مفهوم کماکان جای بحث و بررسی دارد که ژانرهای مختلف فیلم به احتمال زیاد از عناصر موسیقیایی خاصی استفاده می‌کنند. ممکن است فیلم‌های عاشقانه دارای ملودی‌های پرحرارت و اشتیاق باشند، اما ممکن است فیلم‌های ترسناک دارای موسیقی‌هایی با نت‌های نامنظم و وهم‌آور باشند.

اگرچه پژوهش‌های کیفی قبلی نشان می‌دهد که ژانرهای مختلف فیلم دارای مجموعه هنجارهای موسیقیایی مخصوص خود هستند (هنجارهایی که باعث می‌شوند فیلم‌های عاشقانه با فیلم‌های ترسناک فرق داشته باشند)، اما نارایانان و تیم تحقیقاتی‌اش اولین کسانی بودند که مدل‌های یادگیری عمیق را در موسیقی فیلم به کار بردند تا ببینند آیا کامپیوتر می‌تواند ژانر فیلم را فقط بر اساس موسیقی پیش‌بینی کند یا خیر.

کاربرد یادگیری ماشین

آنان دریافتند که این مدل‌ها قادرند ژانر فیلم را به طور دقیق با استفاده از یادگیری ماشین دسته‌بندی کنند؛ بنابراین، این مفهوم مورد پشتیبانی قرار می‌گیرد که ویژگی‌های موسیقیایی می‌توانند به خوبی نشان دهند که بینندگان چگونه فیلم‌های مختلف را درک می‌کنند.

بر اساس اعلام تیموتی گرییر، دانشجوی مقطع دکتری در USC Viterbi در گروه کامپیوتر دانشگاه، پژوهش‌ آنها می‌تواند کاربردهای ارزشمندی برای شرکت‌های رسانه و سازندگان فیلم داشته باشد چرا که نشان می‌دهد موسیقی چگونه می‌تواند سایر گونه‌های رسانه را ارتقاء ببخشد.

همچنین، شرکت‌های تولیدکننده فیلم و ناظران موسیقی می‌توانند به درک بهتری از چگونگی ساخت موسیقی و قرار دادن آن در تلویزیون، فیلم، تبلیغات و مستند برسند تا احساسات معینی را در بینندگان برانگیزند. علاوه بر نارایانان و گرییر، محققان از دانشِ دیلون ناکس – دانشجوی مقطع دکتری در گروه مهندسی برق و کامپیوتر – و بنجامین ما – دانشجوی فارغ‌التحصیل USC در رشته کامپیوتر – نیز بهره جستند. محققان در مرکز هوش محاسباتی رسانه به انجام تحقیق پرداختند.

پیش‌بینی ژانر فیلم از روی موسیقی

محققان دیتاستی متشکل از ۱۱۰ فیلم مشهور را بررسی کردند که بین سال‌های ۲۰۱۴ تا ۲۰۱۹ اکران شده بودند. آنها از دسته‌بندی ژانری که در IMDb قرار داشت، استفاده کردند تا ژانر فیلم را تعیین کنند؛ ژانرهای اکشن، کمدی، درام، ترسناک، عاشقانه و علمی – تخیلی در دستور کار بودند. البته برخی از فیلم‌ها دارای چند ژانر مختلف بودند.

در گام بعدی، یک شبکه یادگیری عمیق به کار گرفته شد که اطلاعات شنیداری از قبیل هارمونی، ملودی، ریتم و تُن موسیقی را استخراج می‌کرد. امتیاز هر یک از فیلم‌ها نیز در این فرایند مد نظر قرار داشت. این شبکه از یادگیری ماشین برای تحلیل این ویژگی‌های موسیقیایی استفاده کرد و توانست ژانر هر یک از فیلم‌ها را بر اساس همین ویژگی‌ها طبقه‌بندی کند.

محققان این مدل‌ها را با دقت تفسیر کردند تا مشخص کنند کدام ویژگی‌های موسیقیایی به بهترین شکل نمایان‌گرِ تفاوت میان ژانرها هستند. مدل‌ها به طور دقیق مشخص نمی‌کردند که چه نوع نوت‌ها یا سازهایی با هر ژانر ارتباط داشتند، اما تواستند این موضوع را به خوبی پوشش دهند که ویژگی‌های تُن موسیقی بیشترین اهمیت را در پیش‌بینی ژانر فیلم داشتند.

ناکس بیان کرد: «این پژوهش شور و هیجان بسیاری آفریده است زیرا اکنون این فرصت را در اختیارمان قرار داده تا در خصوص نوع پرسش‌هایی که درباره چگونگی استفاده از موسیقی در فیلم وجود دارد، دقیق‌تر عمل کنیم. تجربه فیلم، نوعی تجربه پیچیده به شمار می‌آید. حال، به نقطه‌ای رسیده‌ایم که تجزیه و تحلیل محاسباتیِ اثرات فیلم، موسیقی فیلم و روندهای حاکم بر ساخت آن میسر شده است.»

جهت‌گیری‌های آتی

نارایانان و تیم تحقیقاتی‌اش اطلاعات شنیداریِ حاصل از فیلم‌ها را با استفاده از فناوری موسوم به «ردیابی شنیداری audio fingerprinting» بررسی کردند. این فناوری به خدماتی از قبیل Shazam این فرصت را می‌دهد تا با گوش دادن به آهنگ به شناسایی آن بپردازند؛ حتی در صورتی که افکت‌های صوتی در آن آهنگ به کار برده شده باشد یا نویز پس‌زمینه در آن وجود داشته باشد. محققان از این فناوری‌ برای شناسایی نشانه‌های موسیقیایی در فیلم استفاده کردند.

یکی دیگر از محققان گفت: «استفاده از فناوری ردیابی شنیداری برای گوش دادن به کلیه اصواتِ فیلم این امکان را به ما داد تا به محدودیت‌های تحقیقات پیشین غلبه کنیم؛ چرا که آن تحقیقات فقط به بررسی کل آلبوم موسیقیِ فیلم می‌پرداختند؛ بدون اینکه بدانند موسیقی چه زمانی در فیلم به کار برده می‌شود. با توجه به اینکه دسترسی به محتوای دیداری و شنیداری روز به روز گسترش یافته است، باید به صورت کمّی این موضوع را بررسی کرد که این رسانه چگونه بر انسان‌ها تاثیر می‌گذارد.»

به نظر شما هوش مصنوعی چه دستاورد دیگری در زمینه موسیقی می‌تواند داشته باشد؟