PASTA، ابتکار MIT برای سریع‌تر کردن مغزهای مصنوعی
نگار علی- ۳ مرداد ۱۴۰۴
حالا تیمی از پژوهشگران MIT و گوگل با الهام از یک وعده پاستای خوش‌طعم (!) روش تازه‌ای ارائه کرده‌اند که می‌تواند سرعت پاسخ‌دهی این مدل‌ها را تا دو برابر افزایش دهد، بیآنکه کیفیت افت محسوسی داشته باشد.
این روش جدید که PASTA نام دارد (مخفف Parallel Structure Annotation)، به مدل‌ها یاد می‌دهد که هنگام تولید متن، بخش‌هایی از پاسخ را که معنای مستقل دارند، شناسایی کرده و به‌طور همزمان (parallel) بنویسند؛ به‌جای این‌که کلمه‌به‌کلمه و پشت‌سرهم (مثل قبل) پیش بروند.
مغزهای مصنوعی یاد می‌گیرند خودشان تقسیم کار کنند
تفاوت PASTA با روش‌های قبلی در این است که دیگر به قوانین دست‌ساز و ساختارهای از پیش تعریف‌شده (مثل بولت‌ها یا پاراگراف‌ها) متکی نیست. این مدل‌ها در طی آموزش یاد می‌گیرند کجاها را می‌شود همزمان نوشت، درست مثل یک سرآشپز ماهر که متوجه می‌شود لازم نیست همه مواد را دانه‌دانه آماده کند و می‌تواند بعضی بخش‌ها را موازی انجام دهد.
به گفته «تیان جین»، نویسنده اصلی این تحقیق و دانشجوی دکتری در MIT: «مدل‌های زبانی قبلی مثل یک آشپز بودند که لازانیا را مرحله‌به‌مرحله آماده می‌کرد. ولی با PASTA، حالا می‌دانند که می‌توانند مواد را همزمان آماده کنند؛ مثلاً وقتی فر در حال گرم‌شدن است، مایه را هم بزنند.»
چطور کار می‌کند؟
در قلب این روش دو مؤلفه کلیدی قرار دارد:« PASTA-LANG زبان نشانه‌گذاری‌ای که مدل از آن برای برچسب‌گذاری بخش‌های مستقل از نظر معنایی در پاسخ‌هایش استفاده می‌کند و interpreter که این برچسب‌ها را می‌خواند و با استفاده از آن‌ها، تولید متن را موازی‌سازی می‌کند.
مدل‌ها ابتدا در دو مرحله آموزش می‌بینند که چطور این برچسب‌ها را بسازند و از آن‌ها برای تولید سریع‌تر استفاده کنند، بیآنکه از دقت پاسخ‌ها کاسته شود. طبق گزارش منتشر شده، پاسخ‌ها در اکثر موارد یا تا ۲٪ بهبود کیفیت پیدا کرده‌اند یا حداکثر تا ۷٪ افت داشته‌اند، که برای سرعتی تا دو برابر بیشتر، معامله قابل قبولی است.
