جعبه سیاه هوش مصنوعی را باز کنید و محتویات آن را بشناسید

هوش مصنوعی قوی‌تر از همیشه به رشد خود ادامه داده و جای خود را در زندگی روزمره‌ی افراد پیدا می‌کند؛ اما آنچه درون این سیستم‌ها می‌گذرد همچنان برای ما ناشناخته است. این عدم شفافیت می‌تواند سرمنشأ مشکلاتی اساسی همچون نژادپرستی باشد؛ به همین خاطر پژوهشگران قصد دارند این جعبه سیاه را گشوده و هوش مصنوعی را توضیح‌پذیر کنند.

در فوریه ۲۰۱۳، فردی به نام اریک لومیس Eric Loomis در حال رانندگی در شهر کوچک لاکروس La Crosse در ویسکانسین Wisconsin بود که پلیس او را متوقف کرد. مشخص شد خودروی او در یک حادثه‌ی تیراندازی درگیر بوده و به همین دلیل لومیس دستگیر شد و در نهایت دادگاهی او را به شش سال زندان محکوم کرد.

مسئله‌ای که این اتفاق را برای ما برجسته می‌کند این است که قاضی در صدور حکم و تصمیم‌گیری از یک تکنولوژی استفاده کرد. دادگاه الگوریتمی به نام COMPAS را به کاربرد که احتمال تکرار جرم توسط فرد خاطی را تعیین می‌کند. دادگاه داده‌هایی همچون اطلاعات دموگرافیک متهم را وارد سیستم می‌کند و الگوریتم مقداری را پیش‌بینی می‌کند که نشان‌دهنده‌ی میزان احتمال ارتکاب مجدد یک جرم توسط آن شخص است.

بااین‌حال ما نمی‌دانیم این پیش‌بینی چطور توسط الگوریتم انجام می‌شود. به‌بیان‌دیگر سیستم هوش مصنوعی مثل یک جعبه‌ سیاه می‌ماند که نمی‌دانیم داخل آن چه اتفاقاتی می‌افتد؛ همین مسئله باعث شد لومیس در سال ۲۰۱۷ در دادگاه عالی ایالات‌متحده شکایتی طرح کند. او ادعا کرد COMPAS برای تصمیم‌گیری از داده‌هایی استفاده کرده که ازنظر نژادی و جنسیتی سوگیری دارند و به همین دلیل احتمال بازگشت افراد آمریکایی-آفریقایی (سیاه‌پوست) به جرم را بیشتر از حد واقعی نشان می‌دهد. دادگاه با بیان این‌که بدون استفاده از الگوریتم مذکور هم حکم مشابهی برای وی صادر می‌شد، شکایت لومیس را رد کرد؛ اما ادله‌ای نیز صورت گرفته که نشان می‌دهند COMPAS به‌درستی احتمال تکرار جرم را پیش‌بینی نمی‌کند.

کاربرد

با این‌که ایالات‌متحده از سیستم‌های الگوریتمی صدور حکم استفاده می‌کند، اما کاربرد این تکنولوژی در اروپا هنوز محدودیت دارد. برای مثال، سیستم صدور حکمی  که در هلند برای رسیدگی به پرونده‌های خصوصی (مثل پرداخت‌های معوقه به شرکت‌ها) استفاده می‌شد، بعد از یک جنجال رسانه‌ای در سال ۲۰۱۸ متوقف گردید. بااین‌حال، اروپا در سایر حوزه‌ها، برای مثال، در تشخیص کووید-۱۹، از هوش مصنوعی بهره می‌بَرد. همچنین کسب‌وکارهای نوپای زیادی هستند که در مسیر پیشرفت و توسعه‌ی خود از هوش مصنوعی استفاده می‌کنند، همچون M:QUBE که واقع در بریتانیاست و هوش مصنوعی را برای بررسی درخواست‌های وام مسکن به کار می‌برد.

سیستم‌ها داده های تاریخی را وارد یک الگوریتم کرده و یک پیش‌بینی یا اقدام را به‌عنوان خروجی دریافت می‌کنند؛ اما هنوز نمی‌دانیم این خروجی چطور حاصل می‌شود؛ سیستم ممکن است درست کار کند یا این‌که یک خطای فنی در آن وجود داشته باشد. حتی ممکن است بدون این‌که طراحان آن متوجه شوند، درگیر نوعی سوگیری همچون نژادپرستی باشد.

به همین دلیل است که پژوهشگران می‌خواهند این جعبه‌ سیاه را باز کرده و سیستم های هوش مصنوعی را شفاف و «توضیح‌پذیر explainable» سازند. مقاله‌ی سفید اتحادیه اروپا (EU) با موضوع هوش مصنوعی توضیح‌پذیر که ابتدای سال جاری منتشر شد بر اهمیت و ضرورت توضیح‌پذیری هوش مصنوعی تأکید می‌کند؛ شرکت‌های بزرگ همچون گوگل و IBM سرمایه‌ زیادی را به پژوهش در این زمینه اختصاص داده‌اند و حتی آیین‌نامه‌ی عمومی عدم افشای اطلاعات شخصی General Data Protection Regulation (GDPR) حق توضیح‌پذیری را به‌عنوان یکی از حقوق کاربران شناخته‌اند.

به گفته‌ی فسکا جایانوتی Fosca Giannotti، سرپرست پژوهشگران در مرکز علوم و فناوری اطلاعات شورای ملی تحقیقات
Information Science and Technology Institute of National Research Council در شهر پیزا Pisa ی ایتالیا «مدل های هوش مصنوعی تولیدی ما عملکرد خوبی در مسائل گوناگون دارند. اما به دلیل عدم شفافیت آن، فهم این مدل‌ها برای کاربر نهایی اغلب ممکن نیست؛ به همین دلیل هوش مصنوعی توضیح‌پذیر محبوبیت زیادی به دست خواهد آورد.»

تشخیص

جایانوتی سرپرستی یک پروژه‌ی تحقیقاتی به نام XAI در مورد هوش مصنوعی توضیح‌پذیر را بر عهده دارد که هدفش آشکار کردن منطق درونی سیستم های هوش مصنوعی است. این پروژه روی سیستم‌های خودکار پشتیبانی از تصمیم تمرکز دارد، مثل تکنولوژی که به پزشکان در امر تشخیص بیماری کمک می‌کند یا الگوریتم‌هایی که به بانک‌ها کمک می‌کنند در مورد اعطای وام به افراد تصمیم بگیرند. پژوهشگران امیدوارند بتوانند روش‌های فنی یا حتی الگوریتم‌های جدیدی طراحی کنند که به توضیح‌پذیری هوش مصنوعی کمک می‌کند.

جایانوتی معتقد است: «هنوز هم انسان‌ها هستند که تصمیمات نهایی را در این سیستم‌ها می‌گیرند. اما افرادی که از این سیستم‌ها استفاده می‌کنند باید درکی روشن از منطق زیربنایی تصمیمات سیستم داشته باشند.»

امروزه بیمارستان‎‌ها و پزشکان به‌صورت فزاینده‌ای از سیستم های هوش مصنوعی برای پشتیبانی از تصمیمات خود استفاده می‌کنند، اما غالباً از نحوه‌ی اخذ این تصمیمات آگاهی ندارند. در چنین مواردی هوش مصنوعی مقادیر زیادی از داده های پزشکی را تجزیه‌وتحلیل کرده و بدین ترتیب به یک مقدار درصدی می‌رسد که احتمال ابتلای فرد به یک بیماری خاص را نشان می‌دهد.

برای مثال، یک سیستم ممکن است با استفاده از تصاویر زیادی از پوست انسان آموزش دیده باشد که بعضی از آن‌ها علائم سرطان پوست را نشان می‌دهند. سیستم با استفاده از این داده‌ها می‌تواند از روی عکس‌هایی که از ناهنجاری‌های پوستی یک نفر گرفته‌شده، پیش‌بینی کند آیا او سرطان پوست دارد یا خیر. کاربرد این سیستم‌ها هنوز عمومی نشده اما بیمارستان‌ها به‌طور روزافزون آن‌ها را امتحان کرده و در امور روزانه‌ی خود به کار می‌برند.

این سیستم‌ها عمدتاً از یک روش محبوب هوش مصنوعی به نام یادگیری عمیق استفاده می‌کنند. طی این روش از تعداد زیادی خرده‌تصمیم استفاده می‌شود؛ این خرده‌تصمیم‌ها یک شبکه با لایه‌های متعدد (از ده‌ها تا صدها لایه) را تشکیل می‌دهند. به همین دلیل درک این‌که چرا تصمیم سیستم ابتلای فرد به یک بیماری مثل سرطان پوست را نشان می‌دهد و تشخیص غلط یا درست بودن استدلال آن کار دشواری است.

جایانوتی می‌گوید: «گاهی درک منطق زیربنایی شبکه‌ها حتی از عهده‌ی خود متخصصان کامپیوتر که آن را طراحی کرده‌اند نیز خارج است.»

زبان طبیعی

به عقیده‌ی سنن بارو Senen Barro، استاد علوم کامپیوتر و هوش مصنوعی در دانشگاه سانتیاگو دو کمپستلا University of Santiago de Compostela اسپانیا: «هوش مصنوعی نه‌تنها باید بتواند تصمیمات خود را توجیه کند، بلکه باید این کار را با استفاده از زبان انسان‌ انجام دهد.»

وی می‌گوید «هوش مصنوعی توضیح‌پذیر نه‌تنها باید خروجی را با استفاده از زبان طبیعی به انسان‌ها منتقل کند، بلکه باید قادر باشد استدلال زیربنایی آن خروجی را نیز توضیح دهد.»

پروفسور بارو مدیر یک پروژه به نام NL4XAI است که روش توضیح‌پذیر کردن سیستم‌های هوش مصنوعی را به محققان آموزش می‌دهد و بدین منظور از تکنیک‌های ویژه و متنوعی استفاده می‌کند.

به گفته‌ی او «نتیجه‌ی نهایی باید مثل یک ربات سخنگو chatbot باشد. تکنولوژی پردازش زبان طبیعی می‌تواند عاملان Agent مکالمه‌ای بسازد که توضیحات تعاملی را به انسان‌ها منتقل می‌کنند.»

جایانوتی پیشنهاد می‌دهد: «یک راه دیگر برای ارائه‌ی توضیحات این است که سیستم سناریوی خلاف را ایجاد کند. بدین معنی که سیستم مثالی ارائه دهد از این‌که فرد با اعمال چه تغییری و انجام چه کاری می‌تواند راهکار ارائه‌شده (نتیجه) را عوض کند.» برای نمونه، فرض کنید الگوریتمی داریم که در مورد صلاحیت افراد و اعطای وام به آن‌ها قضاوت می‌کند، سناریوی خلافی که این الگوریتم ایجاد می‌کند می‌تواند به این شکل باشد: به کسی که درخواست وامش رد شده نشان دهد تحت چه شرایطی درخواستش پذیرفته می‌شد. مثلاً می‌تواند بگوید درآمدش کمتر از حد لازم بوده و اگر ۱۰۰۰ دلار به درآمد سالانه‌ی او اضافه می‌شد، به او وام تعلق می‌گرفت.

جعبه‌ سفید

طبق توضیحات جایانوتی، دو رویکرد اصلی برای توضیح‌پذیری وجود دارد. در یک رویکرد از الگوریتم‌های جعبه سیاه (که قادر به توضیح نتیجه‌گیری‌های خود نیستند) شروع می‌کنیم و سپس راهی برای روشن کردن منطق درونی آن‌ها می‌یابیم. بدین ترتیب پژوهشگران می‌توانند یک الگوریتم دیگر، به نام توضیح‌دهنده، به این جعبه سیاه اضافه کنند که مجموعه‌ای از سؤالات از جعبه سیاه می‌پرسد و نتیجه را با ورودی مربوطه مقایسه می‌کند. الگوریتم توضیح‌دهنده از این طریق می‌تواند طرز کار سیستم جعبه سیاه را بازسازی کند.

رویکرد دیگر، کنار گذاشتن جعبه سیاه و استفاده از الگوریتم‌های جعبه‌ی سفید White box است؛ این سیستم‌های یادگیری ماشینی به‌صورت توضیح‌پذیر طراحی شده‌اند، اما غالباً از همتایان جعبه سیاه خود قدرت کمتری دارند.

جایانوتی معتقد است: «نمی‌توانیم بگوییم یکی از این روش‌ها نسبت به دیگری برتری دارد. انتخاب یکی از این دو رویکرد به داده‌هایی که در دست داریم بستگی دارد.» وقتی در حال تجزیه‌وتحلیل حجم بزرگی از داده (همچون پایگاه داده‌ای از تصاویر باکیفیت) هستیم، اغلب به یک سیستم جعبه سیاه نیاز داریم زیرا قدرت بیشتری دارد. اما برای مسائل سبک‌تر، الگوریتم جعبه‌ی سفید می‌تواند انتخاب بهتری باشد.

پیدا کردن رویکردی مناسب برای دستیابی به قابلیت توضیح‌پذیری هنوز مسئله‌ی بزرگی محسوب می‌شود. محققان برای تشخیص توانایی یک روش در توضیح سیستم‌های جعبه سیاه، تست‌هایی فنی اجرا می‌کنند. پرفسور بارو، مدیر NL4XAI، می‌گوید: «بزرگ‌ترین چالش، تعریف پروتکل‌های جدیدی برای ارزیابی کیفیت و کارآمدی توضیحات تولید شده است.»

نکته مهم‌تر این‌که تعاریفی که از توضیح‌پذیری ارائه شده مبهم هستند و تعریف دقیق به موقعیت خاصی که سیستم در آن اجرا می‌شود بستگی دارد. برای مثال، داده‌ای که پژوهشگر هوش مصنوعی که الگوریتم را می‌نویسد، نیاز دارد  با داده‌ای که در اختیار پزشکی قرار می‌گیرد که از سیستم برای تشخیص بیماری استفاده می‌کند، متفاوت است.

دکتر خوزه ماریا آلونسو Jose Maria Alonso، معاون مدیر پروژه‌ی NL4XAI و پژوهشگر در دانشگاه سانتیاگو دو کامپوستلا می‌گوید: «ارزیابی انسانی (از خروجی سیستم) ذاتاً سوگیری فردی دارد، زیرا به پیش‌زمینه‌ی فرد در تعامل با ماشین هوشمند بستگی دارد.»

بااین‌حال تلاش پژوهشگران در راستای توضیح‌پذیر کردن هوش مصنوعی ادامه دارد؛ توضیح‌پذیری همکاری بین انسان‌ و ماشین را بهبود می‌بخشد. جایانوتی معتقد است «هوش مصنوعی جایگزین انسان‌ها نخواهد شد؛ بلکه موجب توانمندسازی آن‌ها می‌شود. اما توضیح‌پذیری شرطی اساسی برای این رابطه (همکاری) است.»