فیسبوک به سیستم های هوش مصنوعی می‌آموزد اطلاعات غیرمرتبط را فراموش کنند
تیم تحریریه- ۸ خرداد ۱۴۰۰
بیشتر شبکه‌های عصبی، بر خلاف حافظه‌ی انسان، اطلاعات را بدون تمیز دادن و به صورت غیرسیستماتیک پردازش می‌کنند. این مسئله شاید در مقیاس کوچک، کاربردی و مفید باشد؛ اما سیستم های هوش مصنوعی کنونی، باید به صورت گزینشی روی برخی قسمت‌های ورودی بیشتر متمرکز شوند و به همین دلیل هنگامی که حجم داده‌ها بالاست، هزینه‌های محاسباتی آن‌ها بیش از حد افزایش می‌یابد.
به همین دلیل، پژوهشگران فیسبوک قصد دارند با اختصاص ویژگی تاریخ انقضاء به داده‌ها، به سیستم های هوش مصنوعی آینده کمک کنند به داده‌های مهم‌تر توجه داشته باشند. طبق گزارشات، این محققان یک روش جدید یادگیری عمیق به نام Expire-Span (طیف انقضاء) معرفی کرده‌اند. این روش منحصر به فرد است و شبکه‌های عصبی را قادر می‌سازد در مقیاس بزرگ، اطلاعات غیرلازم را فراموش کنند. این روش به شبکه عصبی کمک می‌کند اطلاعاتی که با مسئله‌ی موجود ارتباط بیشتری دارند را به نحو کارآمدتری مرتب و ذخیره‌سازی کنند.
طبق توضیحات آنجلا فن و سینبایر سوخباتار، از اعضای مؤسسه‌ی تحقیقاتی FAIR: «در روش Expire-Span ابتدا اطلاعاتی که بیشترین ارتباط را با مسئله‌ی موجود دارند، پیش‌بینی می‌شوند. سپس بر اساس بافت، به هر قسمت از اطلاعات یک تاریخ انقضاء اختصاص داده می‌شود. وقتی انتقال داده‌ها تمام شد، اطلاعات به تدریج در سیستم هوش مصنوعی منقضی می‌شوند.»
بدین طریق اطلاعاتی که اهمیت بیشتری برای عملیات سیستم دارند، برای مدت زمان طولانی‌تری نگهداری می‌شوند و اطلاعاتی که ارتباط کمتری دارند، سریع‌تر منقضی می‌شوند. در نتیجه‌ی این امر، حافظه‌ی سیستم آزاد می‌شود و سیستم می‌تواند روی مسائل کلیدی تمرکز کند. با اضافه شدن داده‌های جدید، سیستم علاوه بر ارزیابی اهمیت نسبی آن داده‌ها، اهمیت هر کدام از نمونه‌های موجود را نیز (در ارتباط با داده‌های جدید) مجدداً مورد ارزیابی قرار می‌دهد. این فرآیند به سیستم هوش مصنوعی کمک می‌کند از حافظه‌ای که در اختیار دارد به صورت کارآمد استفاده کند؛ بدین ترتیب مقیاس‌پذیری کل سیستم تسهیل می‌شود.
فراموشی داده‌های نامرتبط یکی از قابلیت‌های مهم سیستم های هوش مصنوعی است؛ با این حال، چالش اصلی که به همراه دارد این است که یک عملیات گسسته Discrete operation به شمار می‌رود. یعنی مثل 1 و 0 هایی که کد را تشکیل می‌دهند، سیستم یک قسمت اطلاعات را یا فراموش می‌کند یا نمی‌کند و هیچ حد وسطی وجود ندارد. بهینه‌سازی عملیات‌های گسسته‌ای از این دست واقعاً دشوار است. بیشتر راهکارهایی که تا کنون برای حل این مشکل مطرح شده‌اند شامل فشرده‌سازی داده‌هایی می‌شوند که فایده و کاربرد کمتری دارند، به نحوی که فضای کمتری از حافظه را اشغال کنند. فشرده‌سازی، حافظه‌ی مدل را افزایش می‌دهد؛ با این حال منجر به محو و مبهم شدن آن می‌شود.
فن و سوخباتار توضیح می‌دهند: «راهکار Expire-Span، هر بار که اطلاعات جدید وارد سیستم شود، تاریخ انقضاء را برای همه‌ی حالات نهانHidden state محاسبه و بدین طریق تعیین می‌کند آن اطلاعات چقدر باید در حافظه باقی بمانند. در واقع آن‌چه در این روش اتفاق می‌افتد تجزیه‌ی تدریجی اطلاعات است که بر خلاف روش‌های قبلی، بدون محو و مبهم شدن اطلاعات مهم، آن‌ها را در حافظه نگه می‌دارد. این مکانیزم قابل یادگیری مدل را قادر می‌سازد اندازه‌ی بازه‌ی زمانی را با نیازش منطبق کند. Expire-Span بر اساس بافتی که از داده‌ها می‌آموزد و با توجه به خاطرات اطراف، پیش‌بینی انجام می‌دهد.»
Expire-Span به سیستم های هوش مصنوعی کمک می‌کند اطلاعات غیرمرتبط را فراموش کنند و به شکلی کارآمد، این عملیات‌های گسسته را دائماً بهینه‌سازی کنند.
این پژوهشگران در ادامه می‌گویند: «هنوز در مراحل اولیه‌ی تحقیقات قرار داریم؛ گام بعدی که در راستای دستیابی به سیستم های هوش مصنوعی شبه‌انسانی برخواهیم داشت، پیاده‌سازی (شبیه‌سازی) انواع مختلف حافظه در شبکه‌های عصبی است. هدف ما این است که بتوانیم در آینده هوش مصنوعی را به حافظه‌ی شبه‌انسانی از این هم نزدیک‌تر کنیم و سرعت آموزش آن‌ها را نسبت به سیستم های کنونی ارتقاء دهیم.»
جدیدترین اخبار هوش مصنوعی ایران و جهان را با هوشیو دنبال کنید
