آیا باید سیستم‌های هوش مصنوعی را مانند داروهای تجویزی برچسب‌گذاری کنیم؟

سیستم‌های هوش مصنوعی روز به روز بیشتر در موقعیت‌های حساس مرتبط با سلامتی مورد استفاده قرار می‌گیرند. با این حال، این مدل‌ها گاهی اطلاعات نادرست تولید می‌کنند، پیش‌بینی‌های مغرضانه ارائه می‌دهند و یا به دلایل غیرمنتظره شکست می‌خورند. بدون شک روبه‌رو شدن با این دسته از اتفاقات، می‌تواند پیامدهای جدی برای بیماران و کادر درمان به همراه داشته باشد.

پژوهشگران پیشنهاد می‌کنند که در محیط‌های درمانی، سیستم‌های هوش مصنوعی باید مانند داروهای تجویزی برچسب‌های «استفاده مسئولانه» داشته باشند. این کار به اطمینان از به‌کارگیری صحیح و مناسب این فناوری‌ها کمک می‌کند.

در یک مقاله تحلیلی که در Nature Computational Science منتشر شد، «مرضیه قاسمی»، استادیار MIT و «الین نوسیزی»، استادیار دانشگاه بوستون، تأکید کردند که برای کاهش خطرات بالقوه ناشی از سیستم‌های هوش مصنوعی،  باید  برچسب‌های «استفاده مسئولانه» روی آن‌ها قرار بگیرد. این برچسب‌ها مشابه برچسب‌هایی هستند که اداره غذا و داروی ایالات متحده (FDA) برای داروهای تجویزی الزامی کرده است.

MIT News با مرضیه قاسمی درباره اهمیت این برچسب‌ها، اطلاعاتی که باید منتقل کنند و نحوه اجرای فرآیند برچسب‌گذاری گفت‌وگو کرده است. که در ادامه بخشی از این گفتگو را می‌خوانیم.

چرا در محیط‌های بهداشتی به برچسب‌های «استفاده مسئولانه» برای سیستم‌های هوش مصنوعی نیاز داریم؟

مرضیه قاسمی: در محیط‌های بهداشتی، ما با یک وضعیت خاص مواجه هستیم که پزشکان اغلب به فناوری‌ها یا درمان‌هایی تکیه می‌کنند که به طور کامل درک نشده‌اند. گاهی این عدم درک بنیادی است (مانند مکانیسم عملکرد استامینوفن) اما در دیگر موارد، این موضوع فقط به محدودیت‌های تخصصی پزشک مربوط می‌شود.

ما از پزشکان انتظار نداریم که یک دستگاه MRI را تعمیر کنند. در عوض، ما سازمان‌هایی مثل FDA داریم که برای استفاده از دستگاه‌های پزشکی یا داروها گواهینامه صادر می‌کنند. این گواهینامه‌ها نشان می‌دهند که این دستگاه‌ها یا داروها چگونه در یک محیط خاص می‌توانند به درستی و با خیال راحت استفاده شوند. به عبارت ساده‌تر، پزشکان فقط باید با نحوه استفاده از دستگاه‌ها و داروها آشنا باشند، نه اینکه چطور آن‌ها را درست کنند.

دستگاه‌های پزشکی معمولاً دارای قراردادهای خدماتی هستند. به این معنا که اگر دستگاه MRI شما دچار مشکل شود، یک تکنسین از شرکت سازنده می‌آید و آن را تعمیر می‌کند. همچنین برای داروهای تأیید شده، سیستم‌هایی وجود دارند که بعد از ورود به بازار، عوارض جانبی یا مشکلات مربوط به آنها را نظارت و گزارش می‌دهند. به عنوان مثال، اگر تعدادی از افراد یک داروی خاص مصرف کنند و سپس به یک بیماری یا آلرژی خاص مبتلا شوند، این سیستم‌ها می‌توانند بررسی و رسیدگی به این مشکلات را آسان‌تر کنند.

مدل‌ها و الگوریتم‌ها، چه شامل هوش مصنوعی باشند و چه نباشند، بسیاری از فرایندهای تأیید و نظارت بلندمدت را دور می‌زنند. ازآنجایی‌که این موضوع می‌تواند مشکلات زیادی را به وجود بیاورد، باید توجه بسیار زیادی به آن داشته باشیم.

تحقیقات قبلی نشان داده‌اند که مدل‌های پیش‌بینی نیاز به ارزیابی و نظارت دقیق‌تری دارند. به‌ویژه در مورد هوش مصنوعی مولد مطالعاتی وجود دارد که نشان می‌دهد تولید نتایج مناسب، قوی و بدون تعصب تضمین‌شده نیست. از آنجایی که ما سطح نظارت یکسانی بر پیش‌بینی‌ها یا تولیدات مدل‌ها نداریم، شناسایی پاسخ‌های مشکل‌ساز آن‌ها، دشوارتر خواهد بود.

مدل‌های هوش مصنوعی که اکنون در بیمارستان‌ها استفاده می‌شوند، ممکن است نظرهای نادرست یا تعصبات خاصی داشته باشند. استفاده از برچسب‌ها می‌تواند به ما کمک کند تا از این نظرهای نادرست و تعصبات مختلف راحت شویم. در واقع می‌توانیم به کمک برچسب‌های  «استفاده مسئولانه» مطمئن شویم این مدل‌ها از اشتباهات و تعصباتی که پزشکان قبلاً داشته‌اند چیز زیادی یاد نگرفته و یا آن‌ها را تکرار نمی‌کنند.

مقاله شما چندین مؤلفه از یک برچسب استفاده مسئولانه را برای هوش مصنوعی توصیف می‌کند که رویکرد FDA برای ایجاد برچسب‌های تجویزی از جمله استفاده‌های تأیید شده، مواد تشکیل‌دهنده، عوارض جانبی بالقوه و غیره را دنبال می‌کند. این برچسب‌ها چه اطلاعات اصلی باید منتقل کنند؟

مرضیه قاسمی: یک برچسب خوب باید بگوید که مدل چه زمانی و کجا و چگونه باید استفاده شود. برای مثال، کاربر باید بداند که این مدل در یک زمان مشخص و با داده‌های مربوط به همان زمان آموزش‌داده‌شده است. این اطلاعات به کاربر کمک می‌کند تا درک بهتری از شرایط و زمینه استفاده از مدل داشته باشد.

برای مثال، آیا داده‌هایی که مدل از آن‌ها استفاده کرده شامل اطلاعات مربوط به دوران پاندمی کووید-19 هست یا نه؟ در دوران کووید، روش‌های بهداشتی متفاوتی وجود داشت که می‌توانست بر نتایج تأثیر بگذارد. به همین دلیل، ما تأکید می‌کنیم که باید اطلاعات درباره مواد تشکیل‌دهنده مدل و مطالعاتی که انجام شده، مشخص شود. این اطلاعات کمک می‌کند تا بفهمیم که مدل چقدر قابل اعتماد است.

تحقیقات انجام شده در این زمینه به ما می‌گوید: مدل‌های هوش مصنوعی که در یک مکان خاص آموزش می‌بینند، معمولاً وقتی به مکان‌های دیگر منتقل می‌شوند، عملکرد ضعیف‌تری دارند؛ بنابراین، اطلاع از منبع داده‌ها و نحوه تنظیم مدل برای آن جمعیت، می‌تواند به کاربران کمک کند تا از مشکلات و عوارض جانبی، هشدارها و واکنش‌های نامطلوب آگاه شوند.

اگر مدلی برای پیش‌بینی یک نتیجه خاص آموزش‌دیده باشد، دانستن زمان و مکان آموزش می‌تواند در تصمیم‌گیری شما مؤثر باشد. در واقع این امر به شما کمک کند تا تصمیم بگیرید که از آن مدل کجا و چگونه استفاده کنید. البته بسیاری از مدل‌های جدید هوش مصنوعی انعطاف‌پذیر بالایی دارند و می‌توانند برای کارهای مختلفی به کار بروند.

در اینجا، دانستن زمان و مکان ممکن است اطلاعات مفیدی ندهد، بنابراین نیاز است که راهنمایی‌های واضح‌تری درباره «شرایط استفاده» و «استفاده‌های مجاز» در برابر «استفاده‌های غیرمجاز» ارائه شود.

در واقع اگر یک مدل هوش مصنوعی برای خواندن یادداشت‌های پزشکی بیماران و ایجاد صورت‌حساب‌ها استفاده شود، ممکن است این مدل برای برخی بیماری‌ها هزینه بیشتری بدهد یا برخی را نادیده بگیرد. به همین خاطر، نمی‌توان از این مدل برای تصمیم‌گیری درباره ارجاع بیماران به پزشک متخصص استفاده کرد. ما باید اطلاعات بیشتری درباره چگونگی استفاده درست از این مدل‌ها داشته باشیم.

به طور کلی، ما پیشنهاد می‌کنیم که شما بهترین مدل ممکن را با استفاده از ابزارهایی که دارید، بسازید. اما حتی اگر این کار را انجام دهید، باید اطلاعات زیادی درباره مدل بدهید. در واقع هیچ مدلی نمی‌تواند کاملاً بی‌نقص باشد.

به عبارتی دیگر، ما می‌دانیم که هیچ دارویی کامل نیست و همیشه خطر و یا عوارض‌ مختلفی دارد. اکنون باید همین موضوع را درباره مدل‌های هوش مصنوعی هم درک کنیم. هر مدل، چه با هوش مصنوعی باشد و چه بدون آن، محدودیت‌هایی دارد. در واقع این مدل‌ها ممکن است پیش‌بینی‌های خوبی از آینده بکنند، اما باید درباره آن‌ها احتیاط کنیم.

اگر برچسب‌های هوش مصنوعی پیاده‌سازی شوند، چه کسی باید برچسب‌گذاری کند و برچسب‌ها چگونه تنظیم و اجرایی می‌شوند؟

مرضیه قاسمی: اگر نمی‌خواهید مدل شما در دنیای واقعی استفاده شود، اطلاعاتی که در یک مقاله تحقیقاتی خوب ارائه می‌دهید، کافی است. اما اگر می‌خواهید مدل خود را در محیطی که با انسان‌ها در ارتباط است، استفاده کنید، باید توسعه‌دهندگان و کسانی که آن را به کار می‌برند، ابتدا آن را برچسب‌گذاری کنند. البته این کار باید  بر اساس قوانین و چارچوب‌های مشخصی انجام شود.

قبل از اینکه از یک مدل یا فناوری جدید استفاده کنید، باید مطمئن شوید که ادعاهای آن درست است. این بررسی‌ها در مکان‌هایی مانند بیمارستان که سلامتی افراد مهم است، اهمیت بسیار زیادی دارد. برای انجام این کار نهادهای مختلف وزارت بهداشت و خدمات انسانی می‌توانند کمک‌های زیادی انجام دهند.

کسانی که در حوزه ساخت مدل‌های هوش مصنوعی فعالیت می‌کنند، باید بدانند که ملزم به مشخص‌کردن محدودیت‌های مدل خود هستند. در واقع داشتن اطلاعات کافی درباره این الزام باعث می‌شود که تمرکز بیشتری روی نحوه ساخت آن بگذارند.

مثلاً اگر توسعه‌دهندگان بفهمند که باید درباره مدل خود اطلاعات خاصی ارائه دهند و بگویند که بر اساس چه داده‌هایی ساخته شده است، احتمالاً نمی‌گویند که مدل خود را فقط از گفتگوهای مردان ساخته‌اند. انجام این کار می‌تواند نشان بدهد که مدل آن‌ها به‌درستی کار نمی‌کند. به‌طورکلی اگر به این نکات فکر کنید که داده‌ها از چه کسانی جمع‌آوری شده‌اند، چه مدت زمانی این داده‌ها گرفته شده، تعداد داده‌ها چقدر بوده و چه داده‌هایی انتخاب یا حذف شده‌اند، می‌توانید به مشکلاتی که ممکن است هنگام استفاده از مدل پیش بیاید، پی ببرید.