معرفی جایگزین متن باز GPT-3: این هوش مصنوعی متون باکیفیت تولید می‌کند

سازندگان Eleuther ابراز امیدواری کرده‌اند که این محصول می‌تواند یک جایگزین متن باز برای GPT-3 باشد. لازم به ذکر است که GPT-3 یکی از نرم‌افزارهای مشهور زبانِ OpenAI می‌باشد.
برخی از بزرگ‌ترین پیشرفت‌های هوش مصنوعی را مرهون منابعی هستیم که فقط در اختیار شرکت‌های بزرگ فناوری قرار دارد. آنها از هزاران رایانه قدرتمند و ترابایت‌ها داده برای حصول اهداف‌شان کمک می‌گیرند. اما محققان در پروژه جدیدشان از داده‌ها، کدها و توان بالای رایانه‎‌ها برای بازتولید یکی از حماسی‌ترین الگوریتم‌های هوش مصنوعی که در سال‌های اخیر تولید شده، استفاده کرده‌اند.

Eleuther یک ابزار متن باز است که قابلیت سازگاری با الگوریتم قدرتمند زبان GPT-3 را دارد . الگوریتم مذکور که در سال ۲۰۲۰ از طرف شرکت OpenAI منتشر شد ، گاهی می‌تواند مقاله‌های بسیار منسجمی به زبان انگلیسی بنویسد. Eleuther کماکان قادر نیست با تمامی قابلیت‌های GPT-3 سازگار باشد، اما محققان چندی پیش نسخه جدیدی از مدل خود موسوم به GPT-Neo منتشر کردند که توانی برابر با ساده‌ترین نسخه‌ی GPT-3 دارد. ارائه متن باز پروژه‌های بزرگ هوش مصنوعی می‌تواند میزان دسترسی به این فناوری را افزایش دهد؛ به ویژه در عصری که اکثر این فناوری‌ها در انحصار شرکت‌های بزرگ فناوری قرار گرفته است. البته اشاره به این نکته خالی از لطف نیست که چنین اقدامی می‌تواند به درآمدهای حاصل از فناوری‌های هوش مصنوعی تاثیر بگذارد و احتمال سوء استفاده از ابزارهای هوش مصنوعی را افزایش دهد.

استفاده از پردازش زبان طبیعی

الکساندر راش، استاد کامپیوتر در دانشگاه کورنل، می‌گوید: «امروزه، بکارگیری پردازش زبان طبیعی متن باز با هدفِ تولید مدل‌های مفید، منجر به ایجاد شور و شوق زیادی شده است. این مدل‌ها دیگر در انحصار شرکت‌های بزرگ فناوری نخواهند بود. فکر می‌کنم نوعی رقابت پرشور در زمینه پردازش زبان طبیعی ایجاد شده است.»

اگر گفته‌های راش صحت داشته باشد، شاید بتوان GPT-3 را به عنوان «اسپوتنیکِ» این حوزه در نظر گرفت . GPT-3 از شبکه عصبی مصنوعی بزرگی تشکیل یافته که چند میلیارد واژه از فضای وب دریافت کرده است. GPT-3 می‌تواند به طرز شگفت‌انگیزی فصیح و شیوا باشد، اما گاهی کلمات یا جملات اهانت‌آمیز و نامفهوم نیز به کار می‌برد. چندین شرکت و گروه تحقیقاتی در تلاش‌اند تا راهکارهایی برای استفاده از این فناوری ابداع کنند.

کدهای GPT-3 هنوز در دسترس قرار نگرفته است، اما چندی از محققان که در پروژه Eleuther مشغول به کارند، در مقالاتی به نحوه کارکرد آن اشاره کرده‌اند. آقای راش که هیچ نقشی در پروژه Eleuther ندارد، می‌گوید این پروژه یکی از جذاب‌ترین فعالیت‌های متن باز در پردازش زبان طبیعی است. به باور وی، علاوه بر انتشار الگوریتم‌های قدرتمند زبان پس از GPT-3، اعضای پروژه Eleuther موفق به گردآوری و انتشار مجموعه داده متنیِ باکیفیتی تحت عنوان «the Pile» شده‌اند که برای آموزش الگوریتم‌های پردازش زبان طبیعی به کار برده می‌شود .

موهیت لیِر، استاد کامپیوتر در دانشگاه ماساچوست آمریکا، از داده‌ها و مدل‌های Eleuther برای استخراج نقدهای ادبی استفاده می‌کند. در همین راستا، یک الگوریتم آموزش داده می‌شود تا پیش‌بینی کند کدام بخش از کتاب در یک نقد ادبی مورد اشاره قرار می‌گیرد: «این اقدام می‌تواند منجر به ساخت نرم‌افزاری با توانش زبانی بالا شود. ما از این موضوع بسیار خوشحالیم که محققان آن پروژه کل این داده‌ها را در یک منبع به کار بردند.»

منابع محاسباتی گران‌قیمت

شاید قدرت محاسباتی بالا، بزرگ‌ترین چالش پیش روی پروژه‌های متن باز هوش مصنوعی باشد. آموزش GPT-3 به منابع محاسباتی گران‌قیمت نیاز داشت و در کل هفت میلیون دلار هزینه برد. به تازگی، شرکت OpenAI اعلام کرد که قدرت محاسباتی لازم برای پیشرفته‌ترین پروژه‌های هوش مصنوعی در بین سال‌های ۲۰۱۲ تا ۲۰۱۸ حدود ۳۰۰/۰۰۰ برابر افزایش یافته است . در پروژه Eleuther از منابع رایانش توزیع‌شده استفاده می‌شود که شرکت ابری CoreWeave و گوگل برای ارائه آن از «ابر تحقیقاتی تنسورفلو » کمک گرفته‌اند.

به گفته‌ی اعضای این پروژه، در این طرح از قدرت رایانش بیشتری برای پیشبرد اهداف بهره برده شده است . تیم Eleuther برای دسترسی آسان به این قدرت رایانشِ بالا، راهکاری برای تقسیم محاسبات هوش مصنوعی در میان ماشین‌های مختلف ابداع نموده است. اما مشخص نیست که در صورت گسترش پروژه، نیازهای پردازشی و رایانشی آن رفع خواهد شد یا خیر.

شرکت OpenAI ابراز امیدواری کرده که GPT-3 می‌تواند به بازار عرضه شود. این شرکت در ماه جولای ۲۰۱۹ مبلغ ۱ میلیارد دلار از مایکروسافت دریافت کرد . بنا به اعلام OpenAI، بیش از ۳۰۰ پروژه GPT-3 (با API محدود) در دست انجام است . در این راستا، از ابزاری برای کسب بینش از بازخورد مشتریان استفاده می‌شود . افزون بر این، استفاده از سیستم تولید خودکار ایمیل و بازی‌های ماجراجویانه‌ی متنی نیز در دستور کار قرار دارد . شاید Eleuther زمینه را برای ساخت ابزارهای مشابه هموارتر کند، بدون اینکه نیازی به دسترسی به GPT-3 API باشد.

چالش سوگیری

این پروژه با چالش دیگری برای دسترسی به سامانه‌های قدرتمند هوش مصنوعی روبرو است. از آنجا که GPT-3 و مدل‌های زبانی مشابه از متون تصادفی استفاده می‌کنند، ممکن است به سوگیری‌ها دامن زده یا بیانات تبعیض‌آمیز تولید کنند. احتمال می‌رود ابزاری نظیر GPT-3 برای تولید اخبار جعلی یا پیام‌ها و فعالیت‌های کلاهبرداری استفاده شود. یکی از دلایل عمده‌ای که OpenAI از انتشار نسخه کامل GPT-3 امتناع می‌کند، همین است. داده‌های مورد استفاده‌ی Eleuther تنوع بیشتری نسبت به GPT-3 دارد. در این پروژه، از منابعی نظیر Reddit استفاده نشده زیرا احتمال انتشار مطالب نادرست و بحث‌برانگیز در این قبیل از منابع بالاست.

کانر لیهی، محقق مستقل هوش مصنوعی و هم‌بنیان‌گذار Eleuther، اظهار کرد: «محققان پروژه Eleuther ماه‌ها برای گردآوری یک دیتاست ارزشمند زحمت کشیده‌اند. آنها مطمئن‌اند که این مجموعه‌داده از صافی عبور داده شده و از تنوع بالایی برخوردار است. محققان نواقص و سوگیری‌های آن را نیز به طور مستند بررسی کرده‌اند.»

الکساندر راش، استاد کامپیوتر در دانشگاه کورنلف گفت: «بهتر است این نوع ابزارها به صورت آزاد توسعه داده شوند. از نظر من، ارائه‌ی متن بسته‌ی آن کار اشتباهی است. بسیاری از محققان دانشگاهی علاقمند به بررسی سوءرفتارِ مدل‌های زبان هستند و قصد دارند راهکارهایی برای مسائل پیدا کنند. پروژه‌های متن باز می‌تواند نقش بی‌بدیلی در این پیشرفت‌ها داشته باشد.»