چرا مدل‌های زبانی دچار «توهم» می‌شوند؟

«توهم» زمانی رخ می‌دهد که یک مدل زبانی پاسخی تولید کند که درست به نظر می‌رسد اما در واقع نادرست است. این مشکل حتی در ساده‌ترین پرسش‌ها هم دیده می‌شود. برای نمونه، پژوهشگران از یک مدل درباره پایان‌نامه دکتری یکی از نویسندگان مقاله پرسیدند و مدل با اطمینان چند پاسخ مختلف ارائه کرد که همگی غلط بودند.

بر اساس این تحقیق، دلیل اصلی توهم‌ها به شیوه فعلی آموزش و ارزیابی برمی‌گردد. مدل‌ها در فرایند آموزش مانند کسی عمل می‌کنند که در یک آزمون چندگزینه‌ای اگر پاسخ را نداند، حدس می‌زند؛ چون در سیستم‌های فعلی، پاسخ ندادن به سؤال نمره‌ای ندارد اما حدس زدن ممکن است شانس درستی داشته باشد. همین ساختار باعث می‌شود مدل‌ها برای کسب امتیاز بیشتر به جای اعتراف به ندانستن، پاسخ اشتباه اما قاطعانه بدهند.

پژوهشگران OpenAI می‌گویند روش‌های کنونی سنجش، دقت را بر همه چیز مقدم می‌دانند و به همین دلیل، مدل‌ها یاد می‌گیرند که حدس بزنند. در حالی که اگر در ارزیابی‌ها «اشتباه قاطعانه» بیشتر از «پاسخ ندادن» جریمه شود، انگیزه مدل‌ها برای اعتراف به عدم قطعیت افزایش خواهد یافت.

این گزارش همچنین توضیح می‌دهد که چرا مدل‌های زبانی کمتر در مواردی مثل املا یا دستور زبان اشتباه می‌کنند اما در حقایق کم‌تکرار (مثلاً تاریخ تولد افراد) دچار خطا می‌شوند. دلیل آن است که الگوهای زبانی قابل پیش‌بینی‌اند، اما اطلاعات پراکنده و تصادفی به‌سادگی از روی داده‌ها قابل یادگیری نیستند.

OpenAI در پایان تأکید کرده است که هرچند توهمات کاملاً از بین نخواهند رفت، اما با تغییر رویکرد در آموزش و ارزیابی، می‌توان نرخ این خطاها را به‌طور قابل توجهی کاهش داد.