الگوریتم های پیشرفته اهمیت بیشتری از سخت‌افزارهای سریع در عملکرد هوش مصنوعی دارند
نوآوری الگوریتم های پیشرفته هوش مصنوعی اهمیت بیشتری از سخت‌افزارها دارد. به ویژه اگر مسائل دربردارنده‌ی میلیاردها تا تریلیون‌ها نقاط داده باشند. تیمی از دانشمندان در آزمایشگاه هوش مصنوعی و علوم کامپیوتر دانشگاه ام‌آی‌تی به نتیجه فوق دست یافتند.
بنا به ادعای آنان، الگوریتم های پیشرفته هوش مصنوعی با سرعت خارق‌العاده‌ای در حوزه‌های مختلف در حال پیشرفت هستند. الگوریتمها دستورالعمل‌های لازم را در اختیار نرم‌افزارها قرار می‌دهند تا از منطق داده‌های صوتی، متنی و دیداری سر در بیاورند. بنابراین، امکان استنباط از داده‌ها فراهم می‌آید. برای نمونه، GPT-3 (محصول شرکت نام‌آوازه‌ی OpenAI) در صفحات وب، کتاب‌های الکترونیکی و سایر اسناد آموزش دیده و قابلیت نوشتن مقاله‌هایی در سطح انسان را کسب کرده است.
[irp posts=”7963″]هرچقدر الگوریتم کارآمدتر باشد، نرم‌افزار کار کمتری انجام می‌دهد. پیشرفت الگوریتمها باعث می‌شود به نیروی محاسباتی کمتری نیاز داشته باشیم. اما این ادعا کماکان جای بحث و بررسی دارد. استارت‌آپ‌های زیرساخت و تحقیقات هوش مصنوعی از قبیل OpenAI و Cerberus بر این باورند که الگوریتمها باید بزرگتر شوند تا به سطوح بالاتری از پیچیدگی دست یابند.
تیمی از دانشمندان در آزمایشگاه هوش مصنوعی و علوم کامپیوتر دانشگاه ام‌آی‌تی به سرپرستی نیل تامسون توانستند داده‌های ۵۷ کتاب درسی کامپیوتر و بیش از ۱۱۱۰ مقاله پژوهشی را مورد تجزیه و تحلیل قرار دهند تا بینش عمیق‌تری درباره تاریخچه الگوریتم های پیشرفته به دست آورَند. در مجموع، ۱۱۳ مجموعه الگوریتم که مسئله یکسانی را حل کرده بودند، بررسی شدند. این الگوریتمها اهمیت بالایی داشتند.
بازسازی تاریخچه
دانشمندان تاریخچه‌ی این ۱۱۳ الگوریتم را بازسازی کردند. هر بار، الگوریتم جدیدی در یک مسئله بررسی شد و گزینه‌های کارآمد یادداشت شدند. این تیم کار خود را با بررسی الگوریتم‌های دهه ۱۹۴۰ میلادی آغاز کرد و به تدریج به الگوریتم های پیشرفته امروزی رسید. آنها به طور میانگین هشت الگوریتم در ازای هر مجموعه الگوریتم پیدا کردند که تا حدی ارتقای کارایی را تجربه کرده بودند.
در مسائل محاسباتی بزرگ، %۴۳ از مجموعه الگوریتمها به طور سالانه افزایش کارایی را تجربه کرده بودند که قدری فراتر از پیش‌بینی قانون مور بود. بر اساس این اصل، سرعت کامپیوترها هر دو سال یک بار تقریباً دو برابر افزایش می‌یابد. در %۱۴ از مسائل، پیشرفت عملکرد بسیار فراتر از پیشرفت سخت‌افزاری بود. الگوریتم‌های بهتر توانستند نقش مهم‌تری در رویارویی با مسائل کلان داده داشته باشند. مطالعات جدید ام‌آی‌تی مهر تاییدی بر این مجموعه از شواهد و قرائن می‌زند که اندازه الگوریتمها اهمیت کمتری نسبت به پیچیدگی معماری آنها دارد.
[irp posts=”12070″]برای نمونه، در ابتدای ماه جاری، تیمی از محققان گوگل مقاله‌ای را منتشر کردند که می‌گوید مدلی بسیار کوچک‌تر از GPT-3 در بسیاری از معیارهای چالش‌برانگیز از این مدل بهتر عمل می‌کند. شرکت OpenAI در یکی از نظرسنجی‌های خود در سال ۲۰۲۰ دریافت که میزان کارهای محاسباتی برای آموزش مدل‌های هوش مصنوعی از سال ۲۰۱۲ هر ۱۶ ماه یک بار با کاهش دو برابری همراه بوده است.
تناقض
یکی از یافته‌های دیگر با ادعای فوق تناقض دارد. محققان OpenAI در سال ۲۰۱۸ در گزارشی تحلیلی نشان دادند میزان محاسبات لازم در بزرگ‌ترین فرایندهای آموزش هوش مصنوعی از سال ۲۰۱۲ تا ۲۰۱۸ شاهد رشد ۰۰۰/۳۰۰ برابری بوده است. یعنی هر ۵/۳ ماه یک بار دو برابر شده است که بسیار فراتر از قانون مور می‌باشد.
با فرض اینکه پیشرفت الگوریتمها در سال‌های آتی بیش از پیش مورد توجه قرار خواهد گرفت، می‌توان امیدوار بود که آنها بخشی از مسائل مربوط به مدل‌های زبانی بزرگ را نیز حل کنند. از جمله این مسائل می‌توان به هزینه و اثرات زیست‌محیطی اشاره کرد.
محققان دانشگاه ماساچوست در ماه ژوئن ۲۰۲۰ با انتشار گزارشی نشان دادند که توان لازم برای آموزش و جستجوی مدل‌های خاص باعث انتشار حدود ۰۰۰/۶۲۶ پوند کربن دی‌اکسید می‌شود. بنا به مطالعات شرکت گوگل، GPT-3 به تنهایی ۱۲۸۷ مگاوات در طی فرایند آموزش استفاده کرده و ۵۵۲ تُن انتشار کربن دی‌اکسید داشته است. در حالی که همین مقدار با مصرف برق دست ۱۰۰ خانوار در طی یک سال ثبت شده است.
مدل تشخیص اخبار جعلی دانشگاه واشنگتن موسوم به Grover برای آموزش به ۰۰۰/۲۵ دلار نیاز دارد. شرکت OpenAI نیز ۱۲ میلیون دلار برای آموزش GPT-3 هزینه کرده است. علاوه بر این، گوگل مبلغ ۹۱۲/۶ دلار برای آموزش بِرت اختصاص داده است.
اگرچه هزینه‌های آموزش هوش مصنوعی بین سال ۲۰۱۷ تا ۲۰۱۹ حدود ۱۰۰ برابر کاهش یافت، اما همین مبالغ بسیار فراتر از بودجه‌های محاسباتی اکثر موسسات و استارت‌آپ‌ها بوده است. تامسون در پایان خاطرنشان کرد: «ما در طی تحلیل‌های خود دریافتیم که چه مقدار از کارها را می‌توان با استفاده از نیروی محاسباتی یکسان و پس از ارتقای الگوریتم انجام داد. در عصری که ردپای زیست‌محیطی محاسبات به طرز فزاینده‌ای موجب تشدید نگرانی‌ها شده است، این اقدام می‌تواند به پیشرفت و توسعه‌ی کسب‌وکارها و سایر سازمان‌ها کمک کند.»
