الگوریتم های پیشرفته اهمیت بیشتری از سخت‌افزارهای سریع در عملکرد هوش مصنوعی دارند
تیم تحریریه- ۲۹ آبان ۱۴۰۰
نوآوری الگوریتم های پیشرفته هوش مصنوعی اهمیت بیشتری از سخت‌افزارها دارد. به ویژه اگر مسائل دربردارنده‌ی میلیاردها تا تریلیون‌ها نقاط داده باشند. تیمی از دانشمندان در آزمایشگاه هوش مصنوعی و علوم کامپیوتر دانشگاه ام‌آی‌تی به نتیجه فوق دست یافتند.
بنا به ادعای آنان، الگوریتم های پیشرفته هوش مصنوعی با سرعت خارق‌العاده‌ای در حوزه‌های مختلف در حال پیشرفت هستند. الگوریتمها دستورالعمل‌های لازم را در اختیار نرم‌افزارها قرار می‌دهند تا از منطق داده‌های صوتی، متنی و دیداری سر در بیاورند. بنابراین، امکان استنباط از داده‌ها فراهم می‌آید. برای نمونه، GPT-3 (محصول شرکت نام‌آوازه‌ی OpenAI) در صفحات وب، کتاب‌های الکترونیکی و سایر اسناد آموزش دیده و قابلیت نوشتن مقاله‌هایی در سطح انسان را کسب کرده است.
[irp posts=”7963″]هرچقدر الگوریتم کارآمدتر باشد، نرم‌افزار کار کمتری انجام می‌دهد. پیشرفت الگوریتمها باعث می‌شود به نیروی محاسباتی کمتری نیاز داشته باشیم. اما این ادعا کماکان جای بحث و بررسی دارد. استارت‌آپ‌های زیرساخت و تحقیقات هوش مصنوعی از قبیل OpenAI و Cerberus بر این باورند که الگوریتمها باید بزرگتر شوند تا به سطوح بالاتری از پیچیدگی دست یابند.
تیمی از دانشمندان در آزمایشگاه هوش مصنوعی و علوم کامپیوتر دانشگاه ام‌آی‌تی به سرپرستی نیل تامسون توانستند داده‌های 57 کتاب درسی کامپیوتر و بیش از 1110 مقاله پژوهشی را مورد تجزیه و تحلیل قرار دهند تا بینش عمیق‌تری درباره تاریخچه الگوریتم های پیشرفته به دست آورَند. در مجموع، 113 مجموعه الگوریتم که مسئله یکسانی را حل کرده بودند، بررسی شدند. این الگوریتمها اهمیت بالایی داشتند.
بازسازی تاریخچه
دانشمندان تاریخچه‌ی این 113 الگوریتم را بازسازی کردند. هر بار، الگوریتم جدیدی در یک مسئله بررسی شد و گزینه‌های کارآمد یادداشت شدند. این تیم کار خود را با بررسی الگوریتم‌های دهه 1940 میلادی آغاز کرد و به تدریج به الگوریتم های پیشرفته امروزی رسید. آنها به طور میانگین هشت الگوریتم در ازای هر مجموعه الگوریتم پیدا کردند که تا حدی ارتقای کارایی را تجربه کرده بودند.
در مسائل محاسباتی بزرگ، %43 از مجموعه الگوریتمها به طور سالانه افزایش کارایی را تجربه کرده بودند که قدری فراتر از پیش‌بینی قانون مور بود. بر اساس این اصل، سرعت کامپیوترها هر دو سال یک بار تقریباً دو برابر افزایش می‌یابد. در %14 از مسائل، پیشرفت عملکرد بسیار فراتر از پیشرفت سخت‌افزاری بود. الگوریتم‌های بهتر توانستند نقش مهم‌تری در رویارویی با مسائل کلان داده داشته باشند. مطالعات جدید ام‌آی‌تی مهر تاییدی بر این مجموعه از شواهد و قرائن می‌زند که اندازه الگوریتمها اهمیت کمتری نسبت به پیچیدگی معماری آنها دارد.
[irp posts=”12070″]برای نمونه، در ابتدای ماه جاری، تیمی از محققان گوگل مقاله‌ای را منتشر کردند که می‌گوید مدلی بسیار کوچک‌تر از GPT-3 در بسیاری از معیارهای چالش‌برانگیز از این مدل بهتر عمل می‌کند. شرکت OpenAI در یکی از نظرسنجی‌های خود در سال 2020 دریافت که میزان کارهای محاسباتی برای آموزش مدل‌های هوش مصنوعی از سال 2012 هر 16 ماه یک بار با کاهش دو برابری همراه بوده است.
تناقض
یکی از یافته‌های دیگر با ادعای فوق تناقض دارد. محققان OpenAI در سال 2018 در گزارشی تحلیلی نشان دادند میزان محاسبات لازم در بزرگ‌ترین فرایندهای آموزش هوش مصنوعی از سال 2012 تا 2018 شاهد رشد 000/300 برابری بوده است. یعنی هر 5/3 ماه یک بار دو برابر شده است که بسیار فراتر از قانون مور می‌باشد.
با فرض اینکه پیشرفت الگوریتمها در سال‌های آتی بیش از پیش مورد توجه قرار خواهد گرفت، می‌توان امیدوار بود که آنها بخشی از مسائل مربوط به مدل‌های زبانی بزرگ را نیز حل کنند. از جمله این مسائل می‌توان به هزینه و اثرات زیست‌محیطی اشاره کرد.
محققان دانشگاه ماساچوست در ماه ژوئن 2020 با انتشار گزارشی نشان دادند که توان لازم برای آموزش و جستجوی مدل‌های خاص باعث انتشار حدود 000/626 پوند کربن دی‌اکسید می‌شود. بنا به مطالعات شرکت گوگل، GPT-3 به تنهایی 1287 مگاوات در طی فرایند آموزش استفاده کرده و 552 تُن انتشار کربن دی‌اکسید داشته است. در حالی که همین مقدار با مصرف برق دست 100 خانوار در طی یک سال ثبت شده است.
مدل تشخیص اخبار جعلی دانشگاه واشنگتن موسوم به Grover برای آموزش به 000/25 دلار نیاز دارد. شرکت OpenAI نیز 12 میلیون دلار برای آموزش GPT-3 هزینه کرده است. علاوه بر این، گوگل مبلغ 912/6 دلار برای آموزش بِرت اختصاص داده است.
اگرچه هزینه‌های آموزش هوش مصنوعی بین سال 2017 تا 2019 حدود 100 برابر کاهش یافت، اما همین مبالغ بسیار فراتر از بودجه‌های محاسباتی اکثر موسسات و استارت‌آپ‌ها بوده است. تامسون در پایان خاطرنشان کرد: «ما در طی تحلیل‌های خود دریافتیم که چه مقدار از کارها را می‌توان با استفاده از نیروی محاسباتی یکسان و پس از ارتقای الگوریتم انجام داد. در عصری که ردپای زیست‌محیطی محاسبات به طرز فزاینده‌ای موجب تشدید نگرانی‌ها شده است، این اقدام می‌تواند به پیشرفت و توسعه‌ی کسب‌وکارها و سایر سازمان‌ها کمک کند.»
