ارزیابی عملکرد مدل رده بندی
آموزش‌های پایه‌ای هوش مصنوعیآموزش‌های پیشرفته هوش مصنوعیاصول هوش مصنوعیداده کاوی و بیگ دیتا

مدل‌های‌ داده‌ای: مقدمه‌ای بر معیارهای ارزیابی عملکرد مدل رده بندی

    0
    مدت زمان مطالعه: ۴ دقیقه

    وقتی صحبت از مدل‌سازی داده‌ها می‌شود، اکثر افراد به مدل‌های رگرسیون فکر می‌کنند که می‌توانند بر اساس داده‌های جمع‌آوری شده، متغیر هدف را پیش‌بینی کنند. با این حال، ارزیابی عملکرد مدل رده بندی نشان داده که آن‌ها نیز (با این‌که روش متفاوتی را در پیش‌ می‌گیرند) در پیش‌بینی خوب بوده‌اند. متغیرهایی که توسط مدل‌های رگرسیون پیش‌بینی می‌شوند، توزیع پیوسته دارند، بدین معنی که تعداد خروجی‌هایشان بی‌شمار است.

    از مسائل رگرسیون می‌توان به این موارد اشاره کرد: پیش‌بینی قیمت فروش یک خانه، پیش‌بینی دمای هوا در یک روز خاص یا پیش‌بینی امتیازاتی که بازیکنی خاص در یک مسابقه‌ی بسکتبال به دست خواهد آورد. از سوی دیگر، متغیر هدفی که مدل‌های رده‌بندی پیش‌بینی می‌کنند یک توزیع گسسته دارد و تعداد خروجی‌های آن بی‌نهایت نیست.

    برای مثال، پیش‌بینی نامزدی که در انتخابات برنده خواهد شد، یا پیش‌بینی روزی در هفته که بیشترین میزان فروش را به خود اختصاص خواهد داد. در ادامه‌ این نوشتار، بر مدل‌های رده‌بندی دودویی تمرکز می‌کنیم؛ این مدل‌ها محتمل‌ترین گزینه از دو خروجی ممکن را پیش‌بینی می‌کنند.

    معیارهای ارزیابی پیش‌بینی رده‌بندی

    عملکرد مدل‌های رگرسیون داده، از طریق مقایسه‌ مقادیر مشاهده‌شده با مقادیر واقعی با استفاده از معیاری همچون خطای میانگین مجذورات Mean squared error  یا ضریب تعیینCoefficient of determination ، ارزیابی می‌شود.

    ارزیابی عملکرد مدل رده بندی می‌تواند بر اساس معیارهای خاصی صورت گیرد.انتخاب این معیارها به نوع مسئله بستگی دارد. علاوه بر این، همانطور که پیش‌تر نیز گفته شد، معیارهایی که برای ارزیابی مدل‌های رده‌بندی به کار می‌روند باید مخصوص متغیرهای گسسته باشند.

    • منفی حقیقی (TN): پیش‌بینی خروجی منفی، هنگامی که پاسخ واقعاً منفی است.
    • منفی کاذب (FN): پیش‌بینی خروجی منفی، هنگامی که پاسخ در واقع منفی نیست.
    • مثبت حقیقی (TP): پیش‌بینی خروجی مثبت هنگامی که پاسخ واقعاً مثبت است.
    • مثبت کاذب (FP): پیش‌بینی خروجی مثبت هنگامی که پاسخ در واقع مثبت نیست.

    این مقادیر را می‌توان در قالب یک ماتریس درهم‌ریختگیConfusion matrix  نمایش داد؛ در این ماتریس، تعداد داده‌های موجود در هر دسته (منفی حقیقی، منفی کاذب، مثبت حقیقی، مثبت کاذب) نشان داده می‌شود.

    ارزیابی عملکرد مدل رده بندی

    معیارهای ارزیابی عملکرد مدل رده بندی

    یک نمونه‌ مشهور از مسئله‌ رده‌بندی دودویی، پیش‌بینی باردار بودن یا نبودن یک فرد است. در این مثال مثبت حقیقی، باردار بودن و منفی حقیقی باردار نبودن است (تعیین این‌که کدام پاسخ مثبت یا منفی است به عهده‌ فردی است که قصد دارد پیش‌بینی‌های مدل را ارزیابی کند). اگر کسی واقعاً باردار باشد و مدل خلاف این را پیش‌بینی کند، پیش‌بینی در دسته‌ منفی کاذب قرار می‌گیرد.

    اگر کسی واقعاً باردار نباشد اما مدل پیش‌بینی کند که او باردار است، خروجی مدل مثبت کاذب است. بنابراین، مثبت حقیقی و منفی حقیقی شرایطی هستند که باردار بودن یا نبودن فرد به درستی پیش‌بینی شده است. برای ارزیابی عملکرد مدل رده بندی (با استفاده از یک عدد)، معیارهای زیادی وجود دارند:

    صحت: چند خروجی به درستی پیش‌بینی شده‌اند؟

    ارزیابی عملکرد مدل رده بندی

    نرخ رده‌بندی نادرست: چند خروجی به اشتباه پیش‌بینی شده‌اند؟

    ارزیابی عملکرد مدل رده بندی

    حساسیت/بازخوانی: چند خروجی از مواردی که مدل مثبت پیش‌بینی کرده واقعاً مثبت بوده‌اند؟

    ارزیابی عملکرد مدل رده بندی

    توجه داشته باشید که در این بافت، حساسیت و بازخوانی هم‌معنی هستند.

    اختصاصی بودن: چند خروجی از مواردی که مدل منفی پیش‌بینی کرده واقعاً منفی بوده‌اند؟

    ارزیابی عملکرد مدل رده بندی

    دقت: مدل چند خروجی مثبت را به درستی پیش‌بینی کرده است؟

    ارزیابی عملکرد مدل رده بندی

    جمع‌بندی

    انتخاب معیاری برای ارزیابی عملکرد که به بهینه‌سازی مدل کمک کند، به بافت آن مسئله‌ رده‌بندی بستگی دارد. به مثال بالا برمی‌گردیم (پیش‌بینی باردار بودن یا نبودن فرد)؛ در چنین شرایطی، اگر مدل وضعیت کسی که واقعاً باردار است، را به اشتباه رده‌بندی کند (منفی کاذب)، خطای فاحش‌تری را مرتکب شده است (نسبت به زمانی که اشتباهاً پیش‌بینی کند فرد غیرباردار، باردار است)؛ چون بافت مسئله به گونه‌ای است که اگر یک خانم باردار فکر کند باردار نیست، ممکن است فعالیت‌هایی انجام دهد که به جنین آسیب برساند.

    بنابراین مدلی که قرار است برای این مسئله‌ رده‌بندی خاص ساخته شود، باید با هدف به حداقل رساندن منفی‌های کاذب بهینه‌سازی شود. «حساسیت» آن معیاری است که منفی کاذب را به حداقل می‌رساند؛ بنابراین مدل را باید به نحوی بهینه‌سازی کرد که مقدار حساسیت به کمترین حد ممکن برسد. استفاده از معیارهای عملکردی مناسب هنگام ساخت مدل‌های رده‌بندی دودویی منجر به ارتقای چشم‌گیر کیفیت مدل، با توجه به مسئله‌ی مدنظر، می‌شود.

    این مطلب چه میزان برای شما مفید بوده است؟
    [کل: ۰ میانگین: ۰]

    تخمین عمق در وسایل نقلیه خودران

    مقاله قبلی

    هوش مصنوعی می‌تواند تصمیم های بالینی بهتری از انسان بگیرد

    مقاله بعدی

    شما همچنین ممکن است دوست داشته باشید

    نظرات

    پاسخ دهید

    نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *