تفسیرپذیری هوش مصنوعی در حوزه بهداشت و درمان و اهمیت آن

پیش از پرداختن به اهمیت تفسیرپذیری هوش مصنوعی در حوزه بهداشت و درمان  بیاید موردی را با هم مرور کنیم. فرض کنید پنج‌شنبه صبح است. شب قبل تا دیروقت بیدار و مشغول اجرای چندباره‌ی مدلی برای رویگردانی مشتریان، بررسی ویژگی‌های جدید آن و دستکاری هایپرپارامترهای الگوریتم بوده‌اید. در نهایت موفق شده و توانستید چند ویژگی جدید اضافه کنید و در عین حفظ عملکرد، از آموزش بیش از حد مدل اجتناب نمایید.

شما توانسته‌اید از بین کل اعضای تیم بهترین منحنی ROC را برای آن مسئله‌ی خاص بسازید. در این صبح پنج‌شنبه، با خوشحالی وارد دفتر می‌شوید تا همه را از موفقیت شب گذشته باخبر کنید. اما کسی از این دستاورد راضی نیست و شما باید به پله‌ی اول برگردید.

در چنین شرایطی معمولاً ترجیح می‌دهیم فکر کنیم: «مدل من خیلی خوبه، بقیه اونو درک نمی‌کنند!». اما اگر می‌خواهید موفق شوید، باید این طرز تفکر را از خود دور کنید. گاهی اوقات سهواً مدلی می‌سازیم که بیش از حد پیچیده است.

در نتیجه‌ با موقعیت‌هایی مثل همان صبح پنج‌شنبه روبرو می‌شویم. سؤالی که باید از خود بپرسیم این است که چطور جلوی چنین اتفاقی را بگیریم؟

• اگر قرار بود شما این پیش‌بینی را انجام دهید، فکر می‌کنید تا چه حد موفق عمل می‌کردید؟
• در صورتی که معتقدید عملکرد خوبی داشتید، به نظرتان تصمیمتان مبتنی بر چه عواملی بود؟
• آیا همه‌ی این عوامل را می‌توان از داده‌های موجود دریافت کرد؟

ذی‌نفعان معمولاً به مدل‌هایی علاقه دارند که بازتابی از ذهنیت پیشین آن‌ها بوده و به همین دلیل تفسیرپذیرتر هستند. بهترین مدل برای شروع، مدلی است که برخی از ویژگی‌های حاضر در ذهنیت افراد را منعکس می‌کند. بعد از جلب نظر و موافقت آن‌ها، می‌توانید ویژگی‌ها و اطلاعات جدیدی را طی تکرارهای مدل به آن اضافه کنید. هم‌راستایی و هماهنگی با ذهنیت ذی‌نفعان هضم مدل‌های پیچیده را ساده‌تر می‌کند.

همدلی دیکتاتورهای دیجیتال را سرنگون می‌کند

خروجی کار ما متخصصان علوم داده، پیامدهای گسترده‌ای دارد و بر (کار) سایر انسان‌ها تأثیر می‌گذارد. ابزارهایی که می‌سازیم اغلب گردش‌کارهای مشخصی را برای کاربران نهایی دیکته می‌کند. بنابراین لازم است از نحوه‌ی تعامل این افراد با ابزارها درکی دقیق داشته باشیم.

ذی‌نفعان عموماً دانش چندانی در حوزه‌ی آمار پیشرفته ندارند، اما به مدل‌هایی که ما می‌سازیم اعتماد می‌کنند. باید نیازها و ذهنیت افراد را پیش‌بینی کرده و تکرار مدل را متناسب با این پیش‌بینی انجام دهیم، زیرا یک تصمیم کوچک ما درمورد طراحی مدل می‌تواند توانایی آن‌ها را در به کاربردن پیش‌بینی‌‌ها، درک واضح گردش‌کارها، برقراری ارتباط با شخص مناسب و یا اجرای کارآمد عملکردهای اصلی شغلشان، به شدت تغییر دهد.

از آن‌جایی که کاربرد مدل‌ها در کارهای انسانی به صورت فزاینده در حال رشد است، باید تلاش کنیم دستگاه‌هایی کارآمد و همدل بسازیم. این ابزارها باید قادر به بیان شفاف استدلال زیربنایی پیش‌بینی‌ها و حمایت از اهداف ذی‌نفعان باشند.

اگر افرادی که با این مدل‌ها سروکار دارند نتوانند خروجی را برای خود تفسیر کنند یا احساس کنند پیشنهادات مدل محدودیت‌زاست، از آن منزجر خواهند شد. این موضوع را می‌توانیم با احساس بیزاری از یک رئیس بد مقایسه کنیم. کارهای افراد هرروز بیشتر از روز قبل، توسط سرپرستان رباتی هدایت و مدیریت می‌شود.

این مدیران می‌توانند اهدافی غیرواقع‌بینانه وضع کنند یا برای رسیدن به حالت بهینه، الگوهای کاری غیرممکنی مطرح کنند. اگر روی چنین سیستم‌هایی کار می‌کنید، سعی کنید مدیری خوب و همدل بسازید. هیچ چیز بدتر از این نیست که کاربران نهایی به نتیجه‌ی کار شما به چشم یک دیکتاتور نگاه کنند.

تماس با دنیای واقعی

باید با افرادی که از ابزارهای ما استفاده می‌کنند همدلی داشته باشیم. این گروه اغلب اوقات نادیده گرفته می‌شوند و به همین دلیل، حتی با وجود عملکردی چشمگیر، پروژه‌های هوش مصنوعی در کاربرد به مشکل برمی‌خورند. پس می‌توان گفت ساخت مدل‌های یادگیری ماشینی در محیطی بسته که تعاملی با دنیای اطراف ندارد، منجر به شکست و فرسودگی می‌شود.

در مسیر رسیدن به مدل‌های همدلانه با کاربرد موفق، باید انتهای دیگر طیف (یعنی صرف هرلحظه برای مشاهده‌ی نحوه‌ی تأثیرگذاری مدل‌های یادگیری ماشینی بر تصمیمات) را در نظر بگیریم.

دکتر کریس وایت با ورود به یک منطقه‌ی جنگی این رویکرد را مورد آزمایش قرار داد. او در سال 2010 به افغانستان اعزام شد تا از نزدیک ببیند ارتشی‌ها برای تصمیم‌گیری در میدان جنگ چطور داده‌ها را جمع‌آوری، تحلیل و استفاده می‌کردند. شاید بتوان الگوریتم‌هایی مبهم را وارد ادارات و دفاتر کرد، اما این شیوه در جبهه و برای یک گروه ارتشی جایی نخواهد داشت.

درک دیدگاه افراد حاضر در میدان بسیار تأثیرگذار بود. ابزارهایی که دکتر وایت برای استخراج داده می‌ساخت برای ساخت تجهیزات جنگی هدفمند شده و موفقیت‌آمیز و مفید بودند. این تجربه‌ی میدانی باعث شد دکتر وایت رویکرد خود را بروز‌رسانی کند و سرپرستی برنامه‌ای به نام Memex را بر عهده گیرد که مربوط به آژانس پروژه‌های پژوهشی پیشرفته دفاعی است.

رسالت برنامه‌ی Memex تولید موتور جستجویی بود که به دارک وب دسترسی داشت، می‌توانست نتایج جستجو را به خوشه‌هایی منطقی از اطلاعات دسته‌بندی کند و دانش را میان جلسات کاربران ذخیره‌سازی کند. این برنامه در عمل می‌توانست یکی از بهترین ابزارهای موجود در سراسر دنیا باشد که با قاچاق انسان مبارزه می‌کند. تجربه‌ی دکتر وایت در کشورهای مختلف، اهمیت کاربردی بودن را به او آموخت.

وظیفه متخصصان داده

کار متخصصان داده در حال حاضر نسبتاً آسان‌تر است، چون به جای حضور در خط مقدم جنگ، سعی در تجهیز افرادی دارند که در بخش‌های اداری یا بیمارستانی از این ابزارها بهره‌مند می‌شوند. قبل از نشان دادن نتایج به ذی‌نفعان، باید از قبل با پیش‌بینی‌ها تعامل برقرار کرده باشید.

برای مثال، اگر یک مدل پیش‌بین مداخلات درمانی خاصی برای یک بیماری پیشنهاد می‌دهد، آیا دلیل آن شفاف است و فرد مراقبت‌کننده می‌داند چرا باید آن کار را انجام دهد؟ اگر قادر به شفاف‌سازی منطق زیربنایی تصمیم نباشید، احتمال پذیرش پیشنهادات توسط فرد به شدت کاهش می‌یابد.

باید از نحوه‌ی تعامل ذی‌نفعان با خروجی مدل آگاه باشید و اگر قرار است رابط کاربری برای پیش‌بینی‌ها بسازید، باید در جلسات آزمایش توسط کاربران شرکت داشته باشید. زمانی که با بازخورد منفی روبرو می‌شوید، کنار گذاشتن غرور می‌تواند کار دشواری باشد. اما مهم است که به چشم فرصتی برای پیشرفت به آن نگاه کنید.

در صورتی هم که پیش‌بینی‌های مدل شما در سیستمی تعبیه می‌شوند که شما نساخته‌اید، مشاهده‌ی کاربران برای درک تعاملات آن‌ها با خروجی همچنان مهم است. با این‌که شاید همیشه نتوانید تغییرات لازم را اعمال کنید، باید به دنبال فرصت‌هایی باشید که به شما کمک می‌کنند پیش‌بینی‌هایتان را اقدام‌پذیرتر و عملیاتی‌تر کنید.

به «کافی» قانع نباشید

موقعیت‌های زیادی وجود دارند که شفافیت منطق تصمیم در آن‌ها «خوب» است، اما در آخر عملکرد است که اهمیت دارد. این شرایط می‌تواند برای افرادی که از ابزارهای هوش مصنوعی و یادگیری ماشینی استفاده می‌کنند گیج‌کننده و آزاردهنده باشد، اما در حوزه‌ی توانایی‌های متخصصان علوم داده قرار می‌گیرد.

بسیاری از متخصصان داده به خاطر علاقه به ریاضیات وارد این حوزه می‌شوند و پازل، مسائل چالش‌برانگیز بهینه‌سازی و بحث در مورد جزئیات محرمانه‌ی الگوریتم‌ها را دوست دارند. نگاهی که اهمیت موضوع تفسیرپذیری را صرفاً به مسائل مربوط به عامه مردم مرتبط می‌کند ساده‌لوحانه است. این نقل قول از انیشتین را به یاد داشته باشید «اگر نمی‌توانید به زبان ساده چیزی را توضیح دهید، تا حد کافی آن را درک نکرده‌اید.»

برای این‌که اهمیت تفسیرپذیری را بهتر متوجه شوید، یک مثال می‌زنیم. پژوهشی در مورد مدل‌های کلاس‌بندی انجام شده است که سگ‌ها و گرگ‌ها را از هم تمیز می‌دهد.

وقتی منطق پشت تصمیم این مدل‌های به ظاهر دقیق را بررسی کردیم، یک حقیقت ساده نهفته بود: شبکه‌ی عصبی آموخته است تفاوت بین برف و چمن را تشخیص دهد، و بدیهی است اغلب تصاویر گرگ‌ها در شرایط آب و هوایی برفی گرفته شده بود. زمانی که منطق این الگوریتم‌ها مشخص شد، دریافتند عامل تأثیرگذار پس‌زمینه (و نه خود شیء) بوده است.

این یافته باعث ارتقای رده‌بندی در مقیاس وسیع شد. این نتیجه‌ بدون درک نحوه‌ی کار الگوریتم‌ها و احساس نیاز به توضیح آن‌ها به دست نمی‌آمد.

متخصصان علوم داده باید به این مسیر ادامه دهند و علاوه بر کارهای ریاضیاتی و محاسباتی همیشگی، رویکردی انسان‌گرایانه در پیش گیرند که آن‌ها را به دیدگاهی جدید در مورد مدل‌هایشان می‌رساند.