خلاصه سازی کتاب از طریق بازخورد انسانی

در آینده، به منظور بهره‌مندی از هوش مصنوعی قدرتمند و همه‌منظوره باید مطمئن شد که مدل‌های یادگیری ماشین مطابق با خواسته‌های انسان عمل کنند. این چالش با نام مسئله هم‌ترازی شناخته می‌شود. راه‌حل قابل اندازه‌گیری که برای مسئله هم‌ترازی ارائه می‌شود باید در حوزه مسائلی باشد که در آنها ارزیابی خروجی‌های مدل برای انسان دشوار یا زمان‌بر باشد. از این رو، برای ارزیابی تکنیک‌های هم‌ترازی، مدلی برای خلاصه سازی کتاب آموزش داده شد.  این مدل ابتدا بخش‌های کوچکی از کتاب را خلاصه می‌کند و سپس بخش‌های خلاصه شده را مجدداً به خلاصه سطح بالاتری تلخیص می‌کند و این روند تا پایان کتاب ادامه پیدا می‌کند.

این مدل نسخه‌ای از GPT-3 است که به طور دقیق تنظیم  (fine-tune) شده است و خلاصه‌های قابل قبولی از کتاب ارائه می‌دهد. برخی اوقات خلاصه‌هایی که این مدل از کتاب‌ها ارائه می‌دهد به لحاظ کیفی با خلاصه‌هایی که انسان‌ها نوشته‌اند و کیفیت متوسطی دارند برابری می‌کنند: این مدل در پنج درصد مواقع از انسان‌هایی که کتاب را خوانده‌اند امتیاز ۷/۶ ( مشابه خلاصه‌ای که انسان‌ها نوشته‌اند و کیفیت متوسطی دارد) و ۱۵ درصد مواقع امتیاز ۷/۵ کسب کردند. علاوه‌براین، این مدل در دیتاست BookSum برای خلاصه سازی کتاب به نتایج خارق‌العاده‌‍ای دست یافت. مدل‌های پرسش و پاسخی که به روش بدون نمونه آموزش می‌بینند می‌توانند با استفاده از خلاصه‌های این مدل در دیتاست NarrativeQA به نتایج قابل قبولی دست پیدا کنند.

معرفی رویکرد: ترکیبی از یادگیری تقویتی مبتنی بر بازخوردهای انسان‌ و تجزیه بازگشتی مسئله

برای مثال، مسئله خلاصه‌سازی بخشی از متن را در نظر بگیرید. مدل‌های بزرگی که از قبل آموزش دیده‌اند در امر خلاصه‌سازی عملکرد خوبی ندارند. نتایج پژوهش‌‌های پیشین نشان می‌دهد که آموزش مدل‌ها به روش یادگیری تقویتی و با تکیه بر بازخوردهای انسان موجب می‌شود خلاصه‌هایی که مدل از مقالات و متون کوتاه تولید می‌کند مطابق با ترجیحات انسان باشند. اما، ارزیابی خلاصه‌هایی که مدل از یک کتاب کامل ایجاد می‌کند، کار دشواری است زیرا فردی باید کل کتاب را بخواند و این کار چندین ساعت طول می‌کشد.

برای رفع این مشکل از تجزیه بازگشتی مسئله استفاده شده است: وظایف دشوار به وظایف آسان‌تر تقسیم می‌شوند. در این آزمایش، خلاصه‌سازی متنی طولانی به خلاصه‌سازی بخش‌های کوچک‌تری از آن متن شکسته شده است. تجزیه بازگشتی مسئله در مقایسه با یادگیری نقطه به نقطه مزایایی دارد که در ادامه ذکر شده‌اند:

1. در این رویکرد، با توجه به اینکه انسان‌ها مجبور نیستند متن اصلی را به طور کامل مطالعه کنند و فقط لازم است خلاصه قسمت‌های کوچک‌تر را بررسی می‌کنند، در مدت زمان کمتری می‌توانند خلاصه‌هایی را که مدل تولید کرده است بازبینی کنند.
2. دوم، دنبال‌کردن فرایند خلاصه نویسی آسان‌تر است. برای مثال، می‌توان دید اتفاقاتی که در خلاصه به آنها اشاره شده است در کدام بخش از متن اصلی رخ داده‌اند.
3. با توجه به طول توالی (بافت)‌ مدل‌های ترنسفورمر با استفاده از این مدل می‌توانید کتاب‌هایی با طول نامحدود را خلاصه کنید.

دلایل اهمیت انجام این پروژه

پروژه حاضر بخشی از یک پروژه‌ی در حال اقدام راجع به هم‌ترازی سیستم‌های پیشرفته هوش مصنوعی است که اهمیت زیادی برای ما دارد. هم‌زمان با اینکه مدل برای انجام مسائل دشوارتر آموزش داده می‌شود، ارزیابی دقیق و آگاهانه خروجی‌های مدل برای انسان‌ها دشوارتر می‌شود. بدین ترتیب، به‌سختی می‌توان مشکلات جزئی را در خروجی‌های مدل تشخیص داد. همین امر ممکن است عملکرد مدل را پس از پیاده‌سازی و اجرا تحت الشعاع قرار دهد. به همین دلیل امیدواریم توانایی ما در ارزیابی مدل‌ها هم‌گام با افزایش قابلیت‌های آنها افزایش یابد.

رویکرد کنونی ما برای رفع مشکل یادشده این است که انسان‌ها به کمک مدل‌های دیگر خروجی‌های مدل یادگیری ماشین را ارزیابی کنند. در این حالت، برای ارزیابی خلاصه‌های یک کتاب، خلاصه‌هایی را که مدل‌ از هر فصل کتاب ایجاد کرده است در اختیار فرد مورد نظر قرار می‌دهیم. مطالعه خلاصه‌ کتاب به جای کل متن اصلی در زمان این افراد صرفه‌جویی می‌کند. پیشرفت‌هایی که در خلاصه سازی کتاب به دست آمده اولین پروژه عملی در مقیاس بزرگ در زمینه تکنیک‌های هم‌ترازی است.

موضوع جست‌وجوی راه‌هایی برای کمک به انسان‌ها در ارزیابی رفتار مدل‌هاست. هدف از این کاریافتن تکنیک‌هایی برای ترازکردن هوش عمومی مصنوعی است.

انواع کاربردهای هوش مصنوعی در صنایع مختلف را در هوشیو بخوانید