در آموزش هوش مصنوعی یک اشتباه بزرگ کردیم

مشکل «توهم» یا تولید پاسخ‌های اشتباه توسط مدل‌های زبانی هوش مصنوعی یکی از بزرگ‌ترین چالش‌های این فناوری است؛ مشکلی که حتی با پیشرفته‌تر شدن مدل‌ها نیز شدت گرفته است.

OpenAI در مقاله‌ای تازه توضیح داده که دلیل این اتفاق، شیوه آموزش مدل‌هاست. در حال حاضر، وقتی مدل پاسخ درستی بدهد امتیاز مثبت می‌گیرد و در صورت پاسخ غلط امتیاز منفی. اما اگر بگوید «نمی‌دانم»، باز هم امتیاز منفی می‌گیرد. به همین دلیل، مدل‌ها یاد می‌گیرند همیشه جواب بدهند، حتی اگر اشتباه باشد، چون «حدس زدن» شانس بیشتری برای گرفتن امتیاز دارد.

پژوهشگران OpenAI این وضعیت را یک «اشتباه ساختاری» در آموزش هوش مصنوعی توصیف کردند و پیشنهاد دادند سیستم ارزیابی تغییر کند: به جای پاداش دادن به حدس‌های اشتباه، باید پاسخ‌های همراه با «عدم قطعیت» امتیاز بگیرند. به این ترتیب مدل‌ها تشویق می‌شوند وقتی جواب را نمی‌دانند، به‌جای ساختن اطلاعات غلط، صادقانه بگویند «اطمینان ندارم».

این شرکت در وبلاگ خود نوشت: «اگر همچنان رتبه‌بندی مدل‌ها بر اساس دقت و شانسِ حدس درست باشد، مدل‌ها به توهم ادامه می‌دهند.» OpenAI مدعی است که اصلاح روش ارزیابی می‌تواند راه را برای ساخت مدل‌های دقیق‌تر و کم‌خطاتر باز کند.

با وجود این، کارشناسان تردید دارند که مشکل به این سادگی برطرف شود. بسیاری معتقدند «توهم» بخشی جدایی‌ناپذیر از ذات مدل‌های زبانی است و ممکن است محدودیت بنیادی این فناوری باشد.