پردازش داده‌ی Gemini چقدر معتبر است؟
پریسا سلامتی- ۲۰ مرداد ۱۴۰۳
ابزارهای هوش مصنوعی گوگل که با نام‌هایی مانند Gemini 1.5 pro به بازار رقابتی وارد شده و در اختیار کاربران قرار گرفته‌اند، کاربردهای مختلفی دارند. یکی از کاربردهایی که شرکت گوگل ادعا می‌کند این ابزارها قادر به انجام آن هستند، تحلیل و پردازش داده است. اما این سوال ایجاد می‌شود که آیا واقعا این پلتفرم‌ها در حد ادعایی که شرکت تولیدکننده آن دارد هستند یا خیر؟
در این مطلب همراه ما باشید تا با میزان توانایی Gemini به عنوان ابزار هوش مصنوعی گوگل در تحلیل و پردازش داده آشنا شوید.
ادعای گوگل درباره ابزارهای هوش مصنوعی خود
شرکت گوگل در کنفرانس مطبوعاتی معرفی ابزارهای هوش مصنوعی خود بارها ادعا کرده است که مدل‌های هوش مصنوعی متعلق به این شرکت، توانایی انجام کارهایی مانند خلاصه کردن چندین سند چندصد صفحه‌ای و تحلیل تعداد زیادی داده را دارند که پیش از این غیرممکن بوده است.
اما آنچه از که از نتایج مطالعات مختلف در این زمینه برمی‌آید با ادعای گوگل متناقض است و نشان می‌دهد که این ابزارها آنقدرها که گوگل ادعا می‌کند، توانا نیستند.
نتایج دو مطالعه‌ای که به صورت جداگانه بر روی دقت و درستی عملکرد ابزارهای گوگل در پردازش و درک متن و داده‌های طولانی، انجام شده است، نشان می‌دهد که این ابزارها تنها 40 تا 50 درصد، نتایج درستی را ارائه می‌دهند. علاوه بر این، این پژوهشگران معتقدند که این ابزارها قدرت درک درستی از محتوا ندارند.
پلتفرم Gemini فاقد پنجره محتوایی (context window) است
«پنجره محتوایی» به حجم داده‌هایی گفته می‌شود که به عنوان ورودی به ابزارهای هوش مصنوعی داده می‌شوند و پیش از تولید خروجی، مورد استفاده قرار می‌گیرند. با افزایش پنجره‌های محتوایی، اندازه اسناد و فایل‌هایی که در آن‌ها قرار می‌گیرند نیز افزایش می‌یابند.
شرکت گوگل ادعا می‌کند که جدیدترین نسخه‌های Gemini می‌توانند بیش از 2 میلیون توکن (توکن به بیت‌های تقسیم‌بندی شده داده‌های خام گفته می‌شود. به عنوان مثال در کلمه fantastic، fan، tas و tic به عنوان توکن به شمار می‌روند.) را به عنوان محتوا استفاده کنند. این رقم از توکن تقریبا معادل 1.4 میلیون کلمه، 2 ساعت ویدئو و 22 ساعت صدا است.
به منظور تایید این ادعاها مسئولان گوگل بارها این ابزارها را در کنفرانس‌های مطبوعاتی با مثال‌های مختلفی مورد آزمایش قرار داده و از نتایج به دست آمده تعریف و تمجید کرده‌اند. حتی معاون بخش تحقیق و توسعه‌ی گوگل دیپ‌مایند (Google DeepMind)، مدل Gemini را جادویی توصیف کرده است.
علیرغم تمام ادعاهای شرکت گوگل، پژوهشگران به منظور بررسی میزان صحت این ادعاها، ابزارهای هوش مصنوعی گوگل را به روش‌های مختلفی مورد مطالعه قرار داده‌اند. در یکی از این مطالعات کارپینسکا (Karpinska) و همکارانش ازمدل‌های مختلف هوش مصنوعی Gemini خواستند تا گزاره‌های درست و نادرست کتاب‌های داستانی (Fiction) که به زبان انگلیسی نوشته شده‌اند را مشخص کنند. این پژوهشگران به منظور جلوگیری از هرگونه سوء استفاده از دانش قبلی، کتاب‌هایی که به تازگی منتشر شده‌اند را مورد ارزیابی قرار دادند. همچنین برای سنجش میزان درک و دقت این ربات‌ها درخواست‌هایی کردند که درک آن‌ها بدون مطالعه کامل کتاب، غیرممکن بود.
در این آزمایش آن‌ها با در نظر گرفتن شرایط فوق یک کتاب 260000 کلمه‌ای که حدود 520 صفحه بود را با استفاده از دو ابزار هوش مصنوعی Flash و Gemini 1.5 pro مورد بررسی قرار دادند. هر دو ابزار هوش مصنوعی در تشخیص کامل گزاره‌های درست و نادرست با چالش روبرو شدند و به ترتیب 20 و 46.7 درصد پاسخ صحیح ارائه کردند.
این پژوهشگران با استناد به نتایج خود بیان می‌کنند که هیچ یک از این مدل‌ها از نظر دقت در پاسخگویی به سوالات به درستی عمل نکردند و کارایی خوبی نداشتند.
در پژوهشی دیگر، پژوهشگران توانایی ابزار Gemini 1.5 Flash را به تنهایی مورد ارزیابی قرار دادند. در این مطالعه با پرسیدن سوالاتی درباره‌ی محتوای یک ویدئو، توانایی این ربات درباره میزان درک و تحلیل محتوای ویدئویی ارزیابی شد.
«مایکل ساکسون» (Michael Saxon) که از جمله پژوهشگران این پژوهش بوده است، بیان می‌کند:« نتایج این مطالعه نشان می‌دهد که دقت این ابزار در درک محتوای ویدئو بسیار پایین بوده و میزان پاسخ درست ارائه شده به سوالات در حدود 30 درصد بوده است.»
پژوهشگران معتقدند که تبلیغ شرکت‌ها از ابزارهای خود با تعداد توکن قابل پشتیبانی توسط آن‌ها نمی‌تواند پاسخی برای این سوال باشد که این ابزارها با این دقت و ناکارآمدی قرار است چه کاری انجام دهند؟
پاسخ‌های اشتباه، اطلاعات نادرست و سایر محدودیت‌های ابزارهای هوش مصنوعی، سبب شده است تا شرکت‌کندگان در نظرسنجی اخیر گروه مشاوران بوستون از کارایی هوش مصنوعی مولد اظهار ناامیدی کنند. همچنین بر اساس گزارش‌هایی که PitchBook به تازگی منتشر کرده است، معاملات مبتنی بر هوش مصنوعی مولد در پایان سال 2023 میلادی طی دو فصل متوالی با کاهش همراه بوده است.
جمع‌بندی
کارپینسکا معتقد است با توجه به نتایج مطالعه‌ای که انجام داده‌اند نمی‌توان با دقت و صراحت گفت که ادعاهای شرکت گوگل درمورد میزان عملکرد ابزارهای هوش مصنوعی این شرکت چقدر درست است. علاوه بر این، هر دو گروه پژوهشگر بیان می‌کنند که برای اثبات چنین ادعاهایی از سوی سازندگان ابزارهای هوش مصنوعی نیاز است تا مطالعات دقیق‌تری توسط شخص دیگر صورت بگیرد تا این ادعاها تایید یا رد شوند.
همچنین ساکسون معتقد است که این ابزارها تنها برای پاسخ به سوالات سطح پایین و بسیار ساده توانایی دارند و برای مباحث پیچیده که نیاز به درک بالاتر و عمیق‌تری از موضوع است، توانایی آن‌ها بسیار کاهش می‌یابد.
