ارزیابی عملکرد مدل طبقه بندی
آموزش‌های پایه‌ای هوش مصنوعیآموزش‌های پیشرفته هوش مصنوعیاصول هوش مصنوعیداده کاوی و بیگ دیتا

متدهایی برای ارزیابی عملکرد مدل طبقه بندی

    0
    مدت زمان مطالعه: ۵ دقیقه

    در این نوشتار قصد داریم تعدادی از متدهای ارزیابی عملکرد مدل طبقه بندی را به شما معرفی کنیم:

    • Cross Validation مدل
    • ماتریس در هم ریختگی(Confusion Matrix)
    • منحنی ROC
    • امتیازCohen’s κ
    در گام اول، دیتاست‌های ساده‌ای ایجاد می‌کنیم که سه ستون ویژگی دارند و با برچسب‌هایی باینری (دودویی) برچسب‌گذاری شده‌اند:
    برای نمایش نتایج از یک رگرسیون خطی ساده استفاده می‌کنیم:
     

    Cross Validation

    یکی از متدهای ارزیابی عملکرد مدل طبقه بندی متد Cross Validation است که بسیار ساده است: مقداری برای k انتخاب می‌کنیم، معمولاً k=5 یا k=10 ( در کتابخانه sklearn، ۵ مقدار پیش‌فرض است). سپس داده‌ها را به k بخش مساوی تقسیم می‌کنیم و مدل را بر روی k-1 تا از بخش‌های مذکور آموزش می‌دهیم و عملکرد آن را بر روی بخش‌های باقیمانده ارزیابی و بررسی می‌کنیم. این عملیات را k دفعه انجام می‌دهیم و میانگین نمرات را محاسبه می‌کنیم، مقدار میانگین برابر است با امتیاز CV.

    مزایا: متدCV نحوه عملکرد مدل‌تان را به شما نشان می‌دهد. این متد بسیار قدرتمند است (بر خلاف متدهایی که در آن‌ها دیتاست را به دو بخش آموزشی و آزمایشی تقسیم می‌کنیم). با استفاده از این متد می‌توانیم اَبَرپارامترها را به صورت دقیق تنظیم کنیم: به بیان دیگر، اگر یک پارامتر داشته باشیم، با استفاده از امتیاز CV می‌توانیم مقدار آن را بهینه‌سازی کنیم.

     

    امتیاز CV مثالی که ذکر کردیم بدین شکل خواهد بود:

    ارزیابی عملکرد مدل طبقه بندی

    علاوه بر این، به کمک مقادیرِ امتیازات CV می‌توانیم فاصله اطمینان را به دست بیاوریم و در این فاصله می‌توانیم امتیاز واقعی را با احتمال بالایی پیدا کنیم.

     

    ماتریس در هم ریختگی(Confusion Matrix)

    ماتریس در هم‌ ریختگی نسبتاً ساده است. هدف از استفاده از این ماتریس این است که مثبت صحیح (TP)، منفی‌های صحیح (TN)، مثبت‌های کاذب (FP) و منفی‌های کاذب (FN) را نشان دهیم. فرض کنید تعدادی برچسب داریم؛ با استفاده از این ماتریس می‌توانیم تعداد نقطه‌ها داده‌هایی که با برچسب i برچسب‌گذاری شده‌اند اما در کلاس j طبقه‌بندی شده‌اند را نشان می‌دهیم. این عدد به صورت (i.j) تعریف می‌شود و ورودی ماتریس در هم ریختگی خواهد بود.

    ارزیابی عملکرد

    منحنی ROC

    در این قسمت، نگاه دقیق‌تری به ماتریس در هم ریختگی خواهیم داشت. پیش از این، مفاهیم مثبت‌های کاذب (TP) و مثبت‌های کاذب (FP) را توضیح دادیم. طبیعتاً اگر FP برابر با ۱  باشد، TP هم برابر با ۱ خواهد بود. به طور کلی، اگر مقدار TP و FP با هم برابر باشد، پیش‌بینی‌مان به خوبی یک حدس تصادفی خواهد بود.

    منحنی ROC نموداری است که در آن TP نسبت به (به عنوان تابعی از) FP سنجیده می‌شود. لذا، با توجه به آنچه گفتیم، منحنی ROC در قسمت بالای خط y=x قرار خواهد گرفت.

    منحنی ROC بر مبنای احتمالاتی ترسیم می‌شود که کلاسیفایرها به هر یک از نقاط تخصیص داده‌اند؛ برای هر نقطه‌داده xi که برچسب li∈{۰,۱} برای آن پیش‌بینی شده، احتمال pi∈[۰,۱]  را به شکل yi=li خواهیم داشت.

    ROC

    در منحنی ROC به چند نکته مهم باید توجه داشته باشید:

    • مساحت زیرمنحنی (AUC) معیار مهمی برای سنجش کیفیت کلاسیفایر است. AUC یک حدس تصادفی برابر با AUC=∫xdx=۱/۲ است، بنابراین، انتظار داریم امتیاز یک کلاسیفایر مشخص score >1/2 باشد. معمولاً از AUC منحنی ROC در یادگیری ماشین استفاده می‌شود. در این حالت می‌توانیم بگوییم که مثبت‌های تصادفی (به لحاظ احتمال مدل) بیشتر از منفی‌های تصادفی بوده‌اند.
    • نقاطی که بر روی نمودار مشخص شده‌اند، نرخ‌های TP و FP هستند.
    • اگر منحنی ROC زیر خط y=x باشد، به این معناست که اگر نتایج کلاسیفایر را معکوس کنیم، یک کلاسیفایر آموزنده به دست خواهیم آورد. با اجرای کد زیر می‌توانید منحنی ROC را ترسیم کنید:

    امتیاز Cohen’s κ

    ضریب کاپای کوهن میزان توافق دو کلاسیفایر بر روی داده‌های یکسان را نشان می‌دهد. ضریب کاپا بدین شکل تعریف می‌شود: κ=۱−(۱−po)/(۱−pe). در این معادله po نشان‌دهنده احتمال توافق و pe احتمال تصادفی توافق است.

    به این مثال توجه کنید. در اینجا لازم است از یک کلاسیفایر دیگر هم استفاده کنیم:

    ضریب κ را  دیتاست آموزشی محاسبه می‌کنیم.

    که توافق میان دو کلاسیفایر را نشان می‌دهد. κ=۰ به این معناست که دو کلاسیفایر با هم توافق ندارند و κ<0 نیز عدم توافق میان دو کلاسیفایر را نشان می‌دهد.

    نتیجه‌گیری

    در این نوشتار که مربوط به ارزیابی عملکرد مدل طبقه بندی بود، به معرفی چندین معیار برای سنجش و مقایسه عملکرد یک مدل با مدل‌های دیگر پرداختیم. این معیارها در زمان استفاده از الگوریتم‌های ML و مقایسه عملکرد آن‌ها یا یکدیگر اهمیت زیادی دارند.

    این مطلب چه میزان برای شما مفید بوده است؟
    [کل: ۰ میانگین: ۰]

    دعوت به هم‌اندیشی وزارت بهداشت از شرکت‌های فعال در حوزه سلامت الکترونیک

    مقاله قبلی

    کوبرنتیس چیست؟

    مقاله بعدی

    شما همچنین ممکن است دوست داشته باشید

    نظرات

    پاسخ دهید

    نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *