چه زمانی می‌توان به یک مدل هوش مصنوعی اعتماد کرد؟

اطلاع از این موضوع که مدل‌های یادگیری ماشین تا چه میزان پاسخ درستی را ارائه می‌دهند، به کاربران این امکان را می‌دهد تا بتوانند درمورد زمان و نحوه‌ی استفاده از این مدل‌ها بهتر تصمیم بگیرند.با توجه به پیش‌بینی‌های نادرستی که در مدل‌های یادگیری ماشین وجود دارد، پژوهشگران همواره سعی کرده‌اند تا آن‌ها را به این توانایی مجهز کنند که میزان اطمینان از یک پیش‌بینی را نیز برای کاربر مشخص کنند. این مزیت باعث شده است تا از این مدل‌ها در موارد حساس و مهم مانند تشخیص بیماری و … نیز استفاده شود.

اما باید به این نکته توجه کرد که این تخمین از میزان درستی پاسخ برای این مدل‌ها، ممکن است اشتباه باشد و تنها زمانی می‌توان به این تخمین اعتماد کرد که امکان اشتباه در آن‌ها وجود نداشته باشد یا بسیار پایین باشد.

برای رفع این محدودیت، پژوهشگران دانشگاه MIT روش جدیدی را ارائه کرده‌اند که در آن‌ها میزان اشتباه در تخمین میزان درستی یک پاسخ، کاهش پیدا می‌کند. نتایج این روش نشان می‌دهد که تخمین‌های ارائه شده به کمک آن، در مقایسه با سایر روش‌ها از دقت و درستی بالاتری برخوردار است. درواقع این روش به کاربران (حتی آن‌هایی که تخصصی در یادگیری ماشین ندارند) اطلاعات بیشتر و بهتری ارائه می‌دهد که آن‌ها می‌توانند بر اساس این اطلاعات، درباره میزان صحت پاسخ یک مدل و بکارگیری یا عدم بکارگیری آن، تصمیم بهتری بگیرند.

با توجه به دقت بالا، کارایی زیاد و مقیاس‌پذیری این روش، آن‌ها معتقدند می‌توان از این روش برای مدل‌های بزرگ یادگیری عمیق که در کاربردهای بهداشتی و سلامت کارایی دارند، استفاده کرد.

کمی‌سازی عدم قطعیت

برای کمی‌سازی عدم‌قطعیت معمولاً از روش‌های آماری استفاده می‌شود. پیچیدگی در محاسبات و نیاز به فرضیات اولیه، از جمله محدودیت‌هایی هستند که باعث می‌شود تا استفاده از این روش‌ها در مدل‌های یادگیری ماشین برای داده‌های زیاد، کارایی بالایی نداشته باشد.

برای رفع این محدودیت، پژوهشگران دانشگاه MIT، طی یک پژوهش از رویکرد جدیدی رونمایی کرده‌اند. آن‌ها در این پژوه از روشی به نام اصل حداقل طول توضیح یا اصل حداقل طول (MDL) استفاده کرده‌اند. در این روش نیاز به محاسبات پیچیده و در نظر گرفتن فرضیات نیست. در واقع آن‌ها از این روش برای تعیین کمیت و کالیبراسیون عدم قطعیت استفاده می‌کنند.

در این روش که با نام IF-COMP شناخته می‌شود، MDL از سرعت بالایی برخوردار بوده و این قابلیت را دارد تا با انواع مدل‌های بزرگ یادگیری عمیق ترکیب شده و در کاربری‌های حساس و مهم دنیای واقعی مورد استفاده قرار گیرد.

یکی از پژوهشگران این پژوهش (که نام آن به اختصار به صورت Ng ذکر شده است) معتقد است، یکی از راه‌های تعیین دقت اطمینان این مدل‌ها، دادن اطلاعات غلط به آن‌ها و سنجش میزان احتمال باور یا تایید این اطلاعات توسط مدل است.

درواقع در یک MDL که برای برچسب‌گذاری بر روی داده‌های خواسته شده استفاده می‌شود؛ اگر یک مدل از برچسب‌گذاری یک داده مطمئن باشد از یک کد بسیار کوتاه برای توصیف آن داده استفاده خواهد کرد؛ اما اگر درمورد تصمیم خود اطمینان کافی نداشته باشد، کد طولانی‌تری را برای آن در نظر می‌گیرد.

آن‌ها معتقدند که طول کد مورد استفاده برای برچسب‌گذاری یک داده، میزان پیچیدگی داده‌های تصادفی را نشان می‌دهد. بنابراین اگر مدل پاسخ درستی نداد، باید از میزان پیچیدگی داده‌ها کاسته شود.

افزایش سرعت فرایند

روش IF-COMP، می‌تواند با تابعی تحت عنوان تابع اثر، میزان پیچیدگی داده‌های تصادفی را با دقت بالا برآورد کند. علاوه بر این، پژوهشگران در این روش از یک تکنیک آماری به نام temperature-scaling نیز استفاده کرده‌اند. این تکنیک به بهبود کالیبراسیون خروجی‌های مدل اصلی کمک می‌کند و برآورد دقیق و مطمئنی را از میزان پیچیدگی داده‌ها ارائه می‌دهد.

علاوه بر این، IF-COMP از دقت بالایی برای کمی‌سازی عدم‌قطعیت برخوردار است که می‌تواند میزان اطمینان به یک مدل را بر اساس آن سنجید. همچنین این روش این توانایی را دارد تا علیرغم شناسایی داده‌های پرت و نامرتبط، داده‌هایی را که مدل به صورت اشتباه برچسب‌گذاری کرده را نیز تعیین کند. نتایج این پژوهشگران نشان می‌دهد که این روش از دقت و سرعت بالاتری در مقایسه با روش‌های دیگر برای انجام این کارها، برخوردار است.

به اعتقاد آن‌ها، این روش یک ابزار مدل آگنوستیک (model-agnostic) بوده و توانایی بالایی در تعیین دقیق میزان عدم‌قطعیت بسیاری از مدل‌های یادگیری ماشین را دارد. این موضوع که یک مزیت برای روش پیشنهادی آن‌ها به شمار می‌آید، باعث کارایی بالاتر این روش در کاربردهای دنیای واقعی می‌شود و در تصمیم‌گیری بهتر پزشکان می‌تواند بسیار موثر باشد.

آن‌ها در پایان می‌گویند که علیرغم پیشرفت‌هایی که صورت گرفته است، باز هم ممکن است خطاهایی در تعیین میزان عدم قطعیت رخ دهند، زیرا ذات این سیستم‌ها و مدل‌ها با خطا همراه است و در آینده حتما مطالعات بیشتری برای صفر کردن خطای این مدل‌ها صورت خواهد گرفت. در واقع هرچقدر جلوتر برویم خطای آن‌ها نیز کاهش یافته و به یک مدل مطمئن‌تر تبدیل خواهند شد.

منبع: news.mit.edu