درک‌پذیری خودکار مدل‌های هوش مصنوعی

پژوهشگران «آزمایشگاه علوم رایانه و هوش مصنوعی» (CSAIL) در «مؤسسه فناوری ماساچوست» (MIT) سامانه‌ای نوآورانه به نام «MAIA» (عامل تفسیرپذیری خودکار و چندوجهی) توسعه داده‌اند که می‌تواند آزمایش‌ها را به‌صورت خودکار و تکرارشونده طراحی کند تا درک عمیق‌تری از اجزای داخلی مدل‌های هوش مصنوعی، به‌ویژه مدل‌های بینایی مصنوعی، فراهم شود.

با توجه به گسترش روزافزون کاربردهای هوش مصنوعی در حوزه‌هایی همچون مراقبت‌های بهداشتی، امور مالی، آموزش، حمل‌ونقل و سرگرمی، نیاز به درک دقیق سازوکارهای درونی این سیستم‌ها بیش‌ازپیش اهمیت یافته است. افزایش تفسیرپذیری به ارزیابی ایمنی، شناسایی سوگیری‌های احتمالی و حتی کمک به تعمیق دانش ما درباره مفهوم «هوش» انسانی و مصنوعی منجر می‌شود.

چالش تفسیر شبکه‌های عصبی عظیم

بررسی مستقیم نورون‌های مغز انسان برای درک نقش آن‌ها در پردازش اطلاعات به‌دلیل ماهیت تهاجمی و پیچیدگی این فرآیند عملاً غیرممکن است. در مقابل، شبکه‌های عصبی مصنوعی امکان تحلیل تا حدی را فراهم می‌کنند. با این حال، مدل‌های امروزی که شامل میلیون‌ها نورون هستند، به‌دلیل مقیاس عظیم و پیچیدگی بالا، به‌سختی به‌صورت دستی قابل تحلیل‌اند. این مسئله، تفسیرپذیری در مقیاس بزرگ را به چالشی جدی تبدیل کرده است.

پژوهشگران «CSAIL» برای حل این مشکل، رویکردی خودکار برای تفسیر مدل‌های بینایی مصنوعی ارائه کرده‌اند. «MAIA» با استفاده از مدل‌های پیش‌آموزش‌دیده زبان-تصویر و مجموعه‌ای از ابزارهای تفسیرپذیری، می‌تواند مراحل تحلیل اجزای شبکه‌های عصبی را به‌صورت خودکار اجرا کند.

فرضیه‌سازی و آزمایش خودکار

«تمار روت شاهام»، پژوهشگر فوق‌دکترای مهندسی برق و علوم رایانه (EECS) در «CSAIL» و یکی از نویسندگان این مطالعه، می‌گوید:
«هدف ما توسعه یک پژوهشگر هوش مصنوعی است که بتواند به‌صورت مستقل آزمایش‌های تفسیرپذیری را اجرا کند. روش‌های خودکار موجود اغلب به برچسب‌گذاری ساده یا تصویرسازی داده‌ها محدود می‌شوند، اما «MAIA» می‌تواند فرضیه‌سازی کند، آزمایش‌هایی برای سنجش این فرضیه‌ها طراحی نماید و از طریق تحلیل‌های تکرارشونده، درک خود را بهبود بخشد.»

به‌عنوان نمونه، کاربر از «MAIA» می‌خواهد بگوید یک نورون خاص در مدل، چه مفهومی را شناسایی می‌کند. «MAIA» ابتدا تصاویر تحریک‌کننده نورون را از مجموعه داده «ImageNet» استخراج می‌کند. ممکن است این تصاویر شامل افراد با لباس رسمی یا کلوزآپ چانه و گردن باشند. سپس «MAIA» فرضیه‌هایی مانند حساسیت نورون به کراوات یا حالت چهره ایجاد کرده و برای آزمودن آن‌ها، تغییراتی مثل افزودن پاپیون به تصویر اعمال می‌کند.

روت شاهام توضیح می‌دهد:
«این فرآیند ما را قادر می‌سازد مانند یک آزمایش علمی، علت دقیق فعال‌سازی نورون را شناسایی کنیم.»

ارزیابی عملکرد «MAIA»

عملکرد «MAIA» به دو روش ارزیابی شد:

1. استفاده از سیستم‌های مصنوعی با رفتارهای از پیش تعریف‌شده برای سنجش دقت تفسیرها.
2. طراحی پروتکل ارزیابی خودکار برای نورون‌های «واقعی» در مدل‌ها، به‌منظور بررسی توانایی پیش‌بینی رفتار نورون در داده‌های نادیده.

نتایج این ارزیابی‌ها نشان داد که «MAIA» در توصیف نورون‌های مدل‌های بینایی همچون «ResNet»، «CLIP» و «Vision Transformer (DINO)»، عملکرد بهتری نسبت به روش‌های پایه دارد. حتی در مجموعه داده نورون‌های مصنوعی با توصیف شناخته‌شده، نتایج «MAIA» قابل‌مقایسه با توضیحات کارشناسان انسانی بود.

اهمیت و کاربردها

«سارا شوِتمان»، دانش‌آموخته دکتری و پژوهشگر «CSAIL»، می‌گوید:
«تفسیر رفتارهای خاص در سیستم‌های بزرگ هوش مصنوعی، بخش کلیدی اطمینان از ایمنی آن‌ها پیش از استفاده عملیاتی است. ما نشان داده‌ایم که «MAIA» می‌تواند نورون‌های دارای رفتارهای نامطلوب را شناسایی کرده و زمینه حذف آن‌ها از مدل را فراهم کند.»

یکی از کاربردهای مهم «MAIA» شناسایی سوگیری در مدل‌هاست. به‌عنوان مثال، در بررسی یک سیستم دسته‌بندی تصویر، این ابزار نشان داد که مدل نسبت به تصویری از لابرادورهای زرد دقت بالاتری دارد و لابرادورهای سیاه را بیشتر به‌اشتباه دسته‌بندی می‌کند.

محدودیت‌ها و برنامه‌های آینده

عملکرد «MAIA» به کیفیت ابزارهای خارجی وابسته است و ممکن است در معرض «سوگیری تأیید» یا «بیش‌برازش» قرار گیرد. پژوهشگران برای کاهش این مشکلات، ابزار تبدیل تصویر به متن را با کمک یک مدل زبانی توسعه داده‌اند که نتایج را خلاصه و تحلیلی‌تر ارائه می‌دهد.

روت شاهام می‌افزاید:
«گام بعدی ما استفاده از این روش برای تحلیل ادراک انسانی است تا بتوانیم مقایسه مستقیمی میان برداشت بصری انسان و سیستم‌های مصنوعی انجام دهیم.»

«جیکوب اشتاین‌هاردت»، استاد دانشگاه کالیفرنیا، برکلی که در این پروژه فعالیتی نداشته، می‌گوید:
«درک شبکه‌های عصبی به‌دلیل تعداد بالای نورون‌ها چالش‌برانگیز است. «MAIA» با تحلیل خودکار و گزارش‌های شفاف، شکاف بزرگی را پر می‌کند و می‌تواند نظارت و فهم سیستم‌های هوش مصنوعی را به‌طور چشمگیری بهبود دهد.»

جزئیات تیم و ارائه نتایج

این پروژه با همکاری تامار روت شاهام، سارا شوِتمان، «فرانکلین وانگ»، «آچیوته راجارام»، «ایوان هرناندز» و اساتید «جیکوب آندریاس» و «آنتونیو توررالبا» اجرا شد.

حمایت مالی از سوی «آزمایشگاه هوش مصنوعی MIT-IBM Watson»، «اوپن فیلانثروپی»، «هیوندای موتور»، «آزمایشگاه تحقیقات ارتش»، «اینتل»، «بنیاد ملی علوم»، «برنامه رهبری STEM زوکرمن» و «بورسیه ویتربی» صورت گرفت.

یافته‌های این پژوهش در هفته جاری در «کنفرانس بین‌المللی یادگیری ماشین» ارائه خواهد شد.