استفاده از هوش مصنوعی برای شناسایی مواد مشابه در تصویر

این روش یادگیری ماشینی می‌تواند به درک صحنه‌های رُباتیک، ویرایش تصویر و سامانه‌های پیشنهاد آنلاین، کمک کند تا فضای مورد مشاهده را بهتر درک کنند.

برای نمونه اگر رباتی در یک آشپزخانه کار کند، او نیاز خواهد داشت تا برای کار از اشیاء گوناگون استفاده کند و به همین خاطر نیز از درک اینکه چه نمونه‌هایی از مواد همانند تشکیل‌شده‌اند، سود می‌برد. با این توانایی، ربات می‌داند فرق چگونه برداشتن یک تکه کره کوچک از گوشه سایه‌دار پیشخوان با یک قالب کره بزرگ از داخل یخچال با نور مصنوعی، چیست و چگونه باید کار کند.

شناسایی اشیائی که از مواد یکسانی تشکیل‌شده‌اند و گزینش مواد شناخته‌شده از میان آن‌ها در صحنه‌های یکسان یا گوناگون، یک مشکل چالش‌برانگیز برای ماشین‌ها است؛ چراکه ظاهر یک ماده می‌تواند به‌شدت بر پایه ریخت جسم یا شرایط نور دگرگون باشد.

حال دانشمندان MIT و Adobe Research گامی در سوی حل این چالش برداشته‌اند. آنها تکنیکی را پیشرفت دادند که می‌تواند، تمام پیکسل‌های یک تصویر را که نشان‌دهنده یک ماده معین است، شناسایی کند؛ درنهایت این پیکسل‌ها در پیکسل انتخاب‌شده توسط کاربر نشان داده می‌شوند.

این روش چنان دقیق است که حتی زمانی که اشیاء «اشکال و اندازه‌های» متفاوتی دارند و مواد مشابه را متفاوت به نظر می‌رسانند، فریب سایه‌ها، شرایط نوری یا حتی پرسپکتیو و عمق میدان را نمی‌خورد و می‌تواند با کمک مدل یادگیری ماشینی که آن را توسعه داده است، تمام مواد را شناسایی کند.

اگرچه آنها الگوی خود را تنها با استفاده از داده‌های مصنوعی، (داده‌ها به‌دست رایانه‌ای که صحنه‌های سه‌بعدی را برای فرآوری نگاره‌های گوناگون تغییر می‌دهد، ساخته می‌شوند) آموزش داده‌اند؛ ولی این سامانه به‌طور کارآمد در صحنه‌های «درونی و بیرونی راستین» چنان خوب کار می‌کند، که پیشتر هرگز ندیده است.

این رویکرد همچنین می‌تواند برای فیلم و تصاویر متحرک نیز استفاده شود، هنگامی‌که کاربر یک پیکسل را در فریم اول شناسایی کرد، الگو می‌تواند اشیاء ساخته‌شده از همان مواد را در دیگر قاب‌های آن ویدیو نیز شناسایی کند.

همچنین می توان از تکنیک محققان برای انتخاب مواد مشابه در یک ویدیو استفاده کرد. کاربر یک پیکسل را در فریم اول شناسایی می کند (نقطه قرمز در تصویر سمت چپ روی پارچه زرد) و سیستم به طور خودکار اشیاء ساخته شده از همان مواد را در بقیه ویدیو شناسایی می کند.

علاوه بر کاربردهایی که این فناوری برای درک صحنه‌های روباتیک دارد، این روش می‌تواند برای ویرایش تصویر یا گنجاندن نگاره‌ها در سامانه‌های محاسباتی که پارامترهای مواد را در تصاویر استنتاج می‌کند، استفاده شود و همچنین می‌تواند برای سامانه‌های «توصیه وب مبتنی بر مواد» نیز مورداستفاده قرار گیرد. (مثلاً شاید یک خریدار به دنبال لباسی باشد که از نوع خاصی از پارچه ساخته‌شده باشد.)

پرافول شارما، دانشجوی فارغ‌التحصیل مهندسی برق و علوم رایانه و نویسنده اصلی این پژوهش در مورد این تکنیک می‌گوید: «دانستن اینکه با چه موادی در حال تعامل هستید اغلب بسیار مهم است. اگرچه ممکن است دو جسم بسیار شبیه به هم به نظر برسند، اما می‌توانند خواص مادی متفاوتی داشته باشند. روش ما می‌تواند انتخاب تمام پیکسل‌های دیگر در یک تصویر را که از همان ماده ساخته‌شده‌اند، تسهیل کند.»

نویسندگان این پژوهش عبارت‌اند از «جولین فیلیپ و مایکل وست»، پژوهشگران Adobe Research و همچنین نویسندگان ارشد «ویلیام تی فریمن، پروفسور توماس و گرد پرکینز» در مهندسی برق و علوم رایانه و عضو آزمایشگاه علوم رایانه و هوش مصنوعی CSAIL.

این تحقیق در کنفرانس SIGGRAPH 2023 ارائه خواهد شد.