آموزش سریع‌ و بهینه شبکه‌های عصبی با یادگیری عمیق آنالوگ

هرچه عرصه‌ یادگیری ماشینی بیشتر پیشرفت می‌کند، مقدار زمان، انرژی و هزینه‌ لازم برای آموزش شبکه‌های عصبی به طرز سرسام‌آوری افزایش می‌یابد. شاخه‌ای جدید از هوش مصنوعی، تحت عنوان یادگیری عمیق آنالوگ، امکان محاسبه سریع‌تر با کاهش مصرف انرژی را فراهم می‌آورد.

همان‌طور که ترنزیستورها مؤلفه‌ اصلی پردازشگرهای دیجیتالی به شمار می‌روند، واحد سازنده‌ یادگیری عمیق آنالوگ هم مقاومت‌های قابل برنامه‌نویسی هستند. پژوهشگران آرایه‌هایی از مقاومت‌های قابل برنامه‌نویسی را درون لایه‌های پیچیده کنار هم قرار می‌دهند تا شبکه‌ای از نورون‌ها و سیناپس‌های مصنوعی آنالوگ بسازند. این شبکه درست مانند شبکه‌های عصبی دیجیتال قادر به محاسبه بوده و می‌تواند مسائل پیچیده‌ای از قبیل تشخیص تصویر و پردازش زبان طبیعی را انجام دهد.

گروهی از پژوهشگران MIT سعی کردند محدوده سرعت سیناپس آنالوگی که پیش‌تر ساخته بودند را افزایش دهند. بدین منظور، از یک ماده‌ معدنی (غیرآلی) استفاده کردند که به دستگاه‌ها اجازه می‌داد یک میلیون بار سریع‌تر از نسخه‌های قبلی (و سیناپس‌های موجود در مغز انسان) عمل کنند.

این ماده‌ معدنی مصرف مقاومت را تا حد زیادی کاهش می‌دهد. بر خلاف موادی که در نسخه‌ قبلی دستگاه به کار رفته بود، این ماده‌ جدید با تکنیک‌های ساخت سیلیکونی نیز سازگاری دارد؛ در نتیجه ساخت دستگاه‌ها در مقیاس نانومتری و همچنین، ادغام دستگاه‌ها در سخت‌افزارهای محاسباتی تجاری، امکان‌پذیر شدند.

هسوس ای‌دل آلامو، استاد مهندسی برق و علوم کامپیوتر MIT و نویسنده ارشد مقاله، توضیح می‌دهد: «با تکیه بر این اطلاعات و البته، تکنیک‌های قدرتمندی که برای تولید نانومتری در MIT.nano در اختیار داریم، توانستیم سرعت بالا و بازده مناسب دستگاه‌ها را ثابت کنیم. این پروژه دستگاه‌های مذکور را در جایگاهی قرار داد که مناسب کاربردهای آینده باشند.»

بیلج ایلدیز، استاد علوم هسته‌ای و مهندسی مواد، اضافه می‌کند: «مکانیزم زیربنایی عبارت است از الحاق الکتروشیمیایی کوچک‌ترین یون، یعنی پروتون، داخل یک اکسید عایق، به نحوی که رسانایی الکترونیکش مدوله شود. از آن‌ جایی که با دستگاه‌های بسیار باریکی سروکار داشتیم، توانستیم حرکت یون را با استفاده از یک میدان الکتریکی قوی تسریع کنیم و این دستگاه‌های یونی را به سوی علمیات نانوثانیه‌ای سوق دهیم.»

جو لی، استاد علوم هسته‌ای و مهندسی مواد، می‌گوید: «پتانسیل عمل در سلول‌های زیستی در عرض چند میلی‌ثانیه بالا و پایین می‌رود، چون ثبات آب، نوسان ولتاژ را در سطح ۱/۰ ولتی محدود می‌کند. در این پروژه، توانستیم بدون این‌که آسیب دائمی به ماده برسانیم، جریان ۱۰ ولتی به یک فیلم شیشه‌ای جامد با ضخامت چند نانومتری و قابلیت رسانایی پروتون وارد کنیم. هرچه میدان قوی‌تر باشد، سرعت دستگاه‌های یونی بیشتر می‌شود.»

مقاومت‌های قابل برنامه‌نویسی سرعت آموزش شبکه‌های عصبی را به طرز چشمگیری افزایش داده و هزینه و انرژی مصرفی را پایین می‌آورند. بدین ترتیب، دانشمندان می‌توانند با سرعت بیشتری مدل‌های یادگیری عمیق را توسعه دهند. به علاوه، کاربرد این فناوری در خودروهای خودران، تشخیص کلاهبرداری یا تحلیل تصویر پزشکی گسترش می‌یابد.

مورات اونن، دانشجوی پست‌دکتری MIT و نویسنده اول مقاله، توضیح می‌دهد: «با داشتن پردازشگر آنالوگ، دیگر نیازی به آموزش شبکه‌های عادی نخواهیم داشت؛ در عوض، به سراغ آموزش شبکه‌هایی می‌رویم که به طرز بی‌سابقه‌ای پیچیده هستند و هیچ‌کس دیگری نمی‌تواند از پس هزینه‌های آموزش‌شان برآید. به همین دلیل، عملکرد این شبکه از تمام شبکه‌های دیگر بهتر خواهد بود. اگر شبکه‌های عادی را به مانند خودروهای معمولی در نظر بگیریم، شبکه‌های آنالوگ صرفا یک خودروی سریع‌تر نیستند، بلکه حکم یک فضاپیما را دارند!»

فرانسس ام‌راس، استاد علوم و مهندسی مواد، نیکولاس ایکاند و بائومینگ وانگ، دانشجوی پست‌دکتری، و دیفی ژانگ، دانشجوی EECS، سایر نویسندگان این مقاله بوده‌اند که در ژورنال Science منتشر شده است.

مقاومت پروتونی قابل برنامه‌نویسی با مصرف کم و سرعت بالا

یادگیری عمیق آنالوگ به دو دلیل سریع‌تر و به صرفه‌تر از همتای دیجیتالی خود است. دلیل اول این است ‌که محاسبات در حافظه انجام می‌گیرند؛ به همین دلیل، حجم عظیمی داده بین حافظه و پردازشگر در رفت‌وآمد نیست. دوما، پردازشگرهای آنالوگ، عملیات‌ها را به صورت موازی انجام می‌دهند. در صورتی که ماتریس بزرگ‌تر شود، زمان عملیات پردازشگر آنالوگ افزایش نمی‌یابد، چون محاسبات به صورت همزمان انجام می‌گیرند.

مؤلفه‌ کلیدی پردازشگر آنالوگ MIT، یک مقاومت پروتونی قابل‌ برنامه‌نویسی است. این مقاومت‌ها که مقیاس نانومتری دارند، با آرایشی شبیه به تخته‌ شطرنج کنار هم قرار گرفته‌اند.

در مغز انسان، یادگیری در نتیجه‌ تقویت و تضعیف اتصالات بین نورون‌ها، یا همان سیناپس‌ها، انجام می‌گیرد. شبکه‌های عصبی عمیق نیز از قدیم همین راهبرد را در پیش گرفته‌اند. الگوریتم‌های آموزشی به پارامترهای شبکه وزن می‌دهند. با این حال، در پردازشگرهای جدید، افزایش و کاهش رسانایی الکتریکی پروتون‌هاست که امکان یادگیری ماشینی را فراهم می‌آورد.

حرکت پروتون‌ها، رسانایی دستگاه را کنترل می‌کند. برای افزایش رسانایی، بیشتر پروتون‌ها به کانالی داخل مقاومت هل داده می‌شوند؛ بالعکس، برای کاهش رسانایی، پروتون‌ها از این کانال بیرون کشیده می‌شوند. این فرآیند با استفاده از یک الکترولیت (شبیه به الکترولیت باتری) صورت می‌گیرد که پروتون‌ها را عبور می‌دهد و جلوی الکترون‌ها را می‌گیرد.

پژوهشگران مواد گوناگونی برای ساخت الکترولیت امتحان کردند تا در نهایت، بتوانند یک مقاومت پروتونی قابل برنامه‌نویسی، مصرف کم و سرعت بالا بسازند. با این‌که سایر دستگاه‌ها از ترکیبات آلی استفاده می‌کنند، اونن و همکارانش شیشه‌ فسفوسیلیکات غیرآلی (PSG) را انتخاب کردند.

PSG در اصل یک دی‌اکسید سیلیکونی است؛ همان ماده‌ پودری خشک‌کننده‌ای که به صورت بسته‌ها کوچک، در لباس‌ها یا اسباب خانه می‌بینید. PSG شناخته‌شده‌ترین اکسید به کاررفته در پردازش سیلیکونی است. برای ساخت PSG، ذره‌ای فسفر به سیلیکون اضافه می‌شود تا ویژگی‌های رسانایی پروتون را به آن اضافه کند.

اونن به درستی حدس زد که PSG بهینه‌سازی شده می‌تواند در دمای محیط، و بدون نیاز به آب، رسانایی پروتونی بالایی داشته باشد، به همین دلیل است که الکترولیت ایده‌آل این دستگاه به شمار می‌رود.

سرعت بی‌سابقه

PSG حرکت بسیار سریع پروتون‌ها را امکان‌پذیر می‌سازد، چون چندین حفره‌ی نانومتری دارد که مسیر لازم برای پخش پروتون را فراهم می‌آورند. این ماده همچنین می‌تواند میدان‌های الکتریکی بسیار قوی و ضربانی را هم تحمل کند؛ از آن‌جایی که ورود ولتاژ بیشتر به دستگاه، سرعت پروتون‌ها را تا حد سرسام‌آوری بالا می‌برد، این نکته اهمیت زیادی می‌یابد.

اونن می‌گوید: «سرعت پروتون‌ها در این دستگاه بی‌سابقه است. در حالت عادی، چنین میدان‌های قوی‌ای را در دستگاه‌ها اجرا نمی‌کنیم، چون به خاکستر تبدیل می‌شوند! اما در این دستگاه، پروتون‌ها با سرعتی چشمگیر، یک میلیون برابر سرعت دستگاه‌های قبلی، شروع به حرکت می‌کنند. جالب این‌جاست که به لطف اندازه‌ کوچک و جرم پایین پروتون‌ها، این سرعت هیچ آسیبی به دستگاه وارد نمی‌کند.»

لی اضافه می‌کند: «مقیاس زمانی نانوثانیه‌ای بدین معنی است که بیشتر از هر زمان دیگری به تحقق نظام تونل‌سازی پرتابی یا حتی کوآنتومی پروتون در شرایط اعمال میدان قوی، نزدیک شده‌ایم.»

از آن‌جایی که پروتون‌ها به ماده آسیب نمی‌زنند، مقاومت می‌تواند میلیون‌ها دور اجرا شود. الکترولیت جدید امکان ساخت مقاومت پروتونی قابل برنامه‌نویسی را فراهم آورده است که یک میلیون‌ برابر سریع‌تر از دستگاه‌های قبلی است و می‌تواند در دمای محیط، به صورت کارآمد کار کند، امری که برای سخت‌افزارهای محاسباتی اهمیت بالایی دارد.

خاصیت عایقی PSG اجازه نمی‌دهد هنگام حرکت پروتون‌ها، هیچ جریانی از ماده عبور کند. به همین دلیل است که مصرف انرژی دستگاه کاهش می‌یابد.

به گفته‌ دل‌آلامو، حال که کارآمدی این مقاومت‌های قابل برنامه‌نویسی تأیید شده‌ است، پژوهشگران آن‌ها را باز مهندسی خواهند کرد تا برای تولید در حجم بالا مناسب شوند. سپس، خواص آرایه‌های مقاومتی را مطالعه کرده و با تغییر مقیاس‌شان، آن‌ها را در سیستم‌ها تعبیه می‌کنند. پژوهشگران قصد دارند با بررسی مواد، موانعی را از میان بردارند که ولتاژ لازم برای انتقال کارامد پروتون‌ها به الکترولیت، از طریق الکترولیت و به الکترولیت را با محدودیت روبرو می‌کنند.

ایلدیز می‌گوید: «دستاورد دیگر این دستگاه‌های یونی را می‌توان ایجاد سخت‌افزارهای به‌صرفه‌ای دانست که از مدارهای عصبی و قوانین پلاستیکی سیناپسی تقلید کرده و از شبکه‌های عصبی عمیق آنالوگ هم فراتر می‌روند.»

دل‌آلامو معتقد است که نوآوری بیشتر مسلتزم همکاری است و مسیر پیشرفت همواره چالش‌برانگیز، و در عین حال، پر از شگفتی، خواهد بود.

تأمین بخشی از منابع مالی این پروژه بر عهده آزمایشگاه هوش مصنوعی IBM Watson دانشگاه MIT بوده است.

جدیدترین اخبار هوش مصنوعی ایران و جهان را با هوشیو دنبال کنید