دلایل توقف پروژه مدل Llama 4 Behemoth توسط شرکت متا

بر اساس گزارش منتشرشده در تاریخ ۱۴ ژوئیه سال ۲۰۲۵ توسط روزنامه نیویورک تایمز، شرکت متا قصد دارد پروژه مدل Llama 4 Behemoth، پیشرفته‌ترین و بزرگ‌ترین مدل هوش مصنوعی خود را متوقف کند. این گزارش حاکی از آن است که گروهی از مدیران ارشد در آزمایشگاه جدید فراهوش (superintelligence) متا، هم‌اکنون روی توسعه یک مدل بسته (closed-source) متمرکز شدند. این تغییر، انحراف قابل‌توجهی از رویکرد سنتی متا در ارائه مدل‌های متن‌باز (open-source) محسوب می‌شود.

مدل Behemoth، بخشی از خانواده Llama 4 که در آوریل ۲۰۲۵ معرفی شد، با دو تریلیون پارامتر، بزرگ‌ترین مدل این مجموعه است و توسط متا به‌عنوان یکی از نوآورانه‌ترین مدل‌های هوش مصنوعی جهان توصیف می‌شد. با این حال، به گزارش نیویورک تایمز، اگرچه آموزش این مدل تکمیل شد، انتشار آن به دلیل عملکرد ضعیف در ارزیابی‌های داخلی به تعویق افتاده است. پس از اعلام تأسیس آزمایشگاه فراهوش در ماه گذشته، تیم‌های مسئول توسعه Behemoth آزمایش‌های مرتبط با این مدل را متوقف کردند.

روزنامه وال استریت ژورنال نیز پیش‌تر به نقل از منابع آگاه گزارش کرد که متا عرضه این مدل را به تأخیر انداخته است، امری که نگرانی‌هایی درباره جهت‌گیری سرمایه‌گذاری‌های چند میلیارددلاری این شرکت در حوزه هوش مصنوعی ایجاد می‌کند. مهندسان و پژوهشگران متا ابراز نگرانی کردند که عملکرد مدل با ادعاهای مطرح‌شده درباره قابلیت‌های آن همخوانی ندارد. انتظار می‌رفت Behemoth در اواخر سال ۲۰۲۵ عرضه شود، اما تحولات اخیر نشان می‌دهد این امر در آینده نزدیک محقق نخواهد شد.

چالش‌های فنی مدل Behemoth

بر اساس گزارش شرکت تحقیقاتی سمی‌انالیسیس (SemiAnalysis)، یکی از دلایل اصلی مشکلات Behemoth، استفاده از تکنیک «توجه قطعه‌ای» (chunked attention) برای بهبود کارایی حافظه بود. در مکانیزم توجه استاندارد، هر توکن به تمامی توکن‌های قبلی دسترسی دارد و زمینه کامل متن را درک می‌کند. اما در روش توجه قطعه‌ای، توکن‌ها به بلوک‌های با اندازه ثابت تقسیم می‌شوند و هر توکن تنها به توکن‌های درون بلوک خود دسترسی دارد. سمی‌انالیسیس گزارش می‌دهد: «اجرای تکنیک توجه قطعه‌ای در Behemoth، با هدف افزایش کارایی، نقاط کوری در مرزهای بلوک‌ها ایجاد کرد.» این محدودیت مانع از توانایی مدل در دنبال کردن زنجیره‌های استدلالی پیچیده شد، به‌ویژه زمانی که منطق یا استدلال بین بلوک‌ها امتداد می‌یافت. همچنین، متا فاقد زیرساخت مناسب برای ارزیابی زمینه‌های طولانی (long-context evaluations) بود و نتوانست ناکارآمدی این روش را در مراحل اولیه شناسایی کند.

علاوه بر این، تغییر ناگهانی روش مسیریابی در معماری «مختلط از متخصصان» (Mixture of Experts) در میانه فرایند آموزش، به بی‌ثباتی شبکه‌های تخصصی مدل منجر شد و کارایی کلی آن را کاهش داد.

مشکلات داده‌های آموزشی

یکی دیگر از چالش‌های کلیدی، مشکلات مربوط به داده‌های آموزشی بود. متا در میانه آموزش Behemoth از داده‌های عمومی مانند Common Crawl به یک خزنده وب داخلی روی آورد. این تغییر، اگرچه در تئوری بهبود محسوب می‌شد، به دلیل ناتوانی در پاک‌سازی داده‌های تکراری در مقیاس بزرگ، نتیجه‌ای معکوس داشت. گزارش سمی‌انالیسیس تأکید می‌کند که فرایندهای متا برای مدیریت داده‌ها در این مقیاس به‌طور کامل آزمایش نشده بودند.

چالش‌های سازمانی و رهبری

سمی‌انالیسیس به مشکلات سازمانی نیز اشاره دارد، از جمله نبود رهبری قاطع برای تعیین مسیر بهینه توسعه مدل و وجود جهت‌گیری‌های تحقیقاتی متضاد. این مسائل، همراه با کمبود زیرساخت‌های ارزیابی مقیاس‌پذیر، توانایی متا برای تبدیل پژوهش‌های اولیه به آموزش‌های کامل را محدود کرد. گزارش وال استریت ژورنال نیز به نارضایتی مدیران ارشد از عملکرد تیم Llama 4 اشاره کرده و احتمال تغییرات مدیریتی در بخش محصولات هوش مصنوعی متا را مطرح کرده است.

تغییر استراتژی به سمت مدل بسته

تصمیم احتمالی متا برای توقف Behemoth و تمرکز بر توسعه یک مدل بسته، نشان‌دهنده تغییر استراتژیک این شرکت است. متا که سال‌ها به دلیل ارائه مدل‌های متن‌باز مورد تحسین بود، اکنون تحت فشار رقابت با شرکت‌هایی مانند OpenAI، Google و Anthropic قرار دارد. مارک زاکربرگ، مدیرعامل متا، با تأسیس آزمایشگاه فراهوش به رهبری الکساندر وانگ، مدیرعامل پیشین Scale AI، و جذب استعدادهایی از OpenAI، در تلاش است جایگاه متا را در رقابت هوش مصنوعی تقویت کند. زاکربرگ همچنین اعلام کرده که متا صدها میلیارد دلار برای زیرساخت‌های هوش مصنوعی، از جمله ۶۰۰,۰۰۰ واحد پردازش گرافیکی (GPU) تا پایان ۲۰۲۵، سرمایه‌گذاری خواهد کرد.

چالش‌های مرتبط با داده‌های آموزشی مدل Behemoth

بر اساس گزارش شرکت تحقیقاتی سمی‌انالیسیس (SemiAnalysis)، مدل Llama 4 Behemoth با موانع قابل‌توجهی در زمینه داده‌های آموزشی مواجه شده است. در مراحل اولیه توسعه، شرکت متا (Meta) از منابع عمومی مانند Common Crawl برای تأمین داده‌های آموزشی استفاده می‌کند. اما در میانه فرایند، متا به خزنده وب داخلی خود روی آورد که به‌طور بالقوه داده‌هایی با کیفیت بالاتر ارائه می‌دهد. با این حال، این تغییر نتیجه معکوسی به دنبال داشت.

گزارش سمی‌انالیسیس تأکید می‌کند: «متا در فرایند پاک‌سازی (cleaning) و حذف داده‌های تکراری (deduplication) از جریان جدید داده‌ها با مشکلاتی مواجه می‌شود. این فرایندها پیش‌تر در مقیاس گسترده آزمایش نشده بودند.» این ناکارآمدی در مدیریت داده‌ها، کیفیت آموزش مدل را تحت تأثیر قرار می‌دهد.

علاوه بر این، متا در تبدیل آزمایش‌های تحقیقاتی به فرایندهای آموزشی در مقیاس کامل با چالش‌هایی روبه‌رو بود. وجود رقابت بین مسیرهای تحقیقاتی مختلف و نبود رهبری قاطع برای تعیین مسیر بهینه توسعه، به پیچیدگی‌های پروژه افزود. گزارش در پایان خاطرنشان می‌کند: «برخی از انتخاب‌های معماری مدل بدون ارزیابی دقیق (ablation) در طراحی گنجانده شدند. این امر به نردبان‌های مقیاس‌دهی ضعیف و مدیریت ناکارآمد فرایند توسعه منجر می‌شود.»