Decoupled DiLoCo؛ مرزی جدید برای آموزش تاب‌آور و توزیع‌شده هوش مصنوعی

آموزش یک مدل هوش مصنوعی پیشگام، به طور سنتی به یک سیستم بزرگ و کاملاً یکپارچه بستگی دارد که در آن تراشه‌های یکسان باید در همگام‌سازی تقریباً کاملی باقی بمانند. این رویکرد برای مدل‌های پیشرفته امروزی بسیار مؤثر است، اما همان‌طور که به نسل‌های آینده و مقیاس‌های بزرگ‌تر می‌نگریم، حفظ این سطح از همگام‌سازی در میان هزاران تراشه به یک چالش لجستیکی مهم تبدیل می‌شود.

راهکار گوگل

گوگل اخیراً در پژوهشی جدید رویکرد تازه‌ای را برای حل این مسئله به اشتراک گذاشته که Decoupled DiLoCo (دی‌لوکوی منفصل) به معنای ارتباط کمِ توزیع‌شده (Distributed Low-Communication)، نامیده می‌شود. با تقسیمِ اجراهای آموزشی بزرگ به «جزایر» محاسباتی منفصل که در آن‌ها جریان داده‌ها به‌صورت ناهمگام بین آن‌ها برقرار است، این معماری اختلالات محلی را ایزوله می‌کند تا سایر بخش‌های سیستم بتوانند به یادگیری کارآمد خود ادامه دهند.

نتیجه این کار، روشی انعطاف‌پذیرتر و تاب‌آورتر برای آموزش مدل‌های پیشرفته در مراکز داده توزیع‌شده در سطح جهانی است. و از همه مهم‌تر، این ورش از تأخیرهای ارتباطی که روش‌های توزیع‌شده قبلی مانند موازی‌سازی داده (Data-Parallel) را در مقیاس جهانی غیرعملی می‌کردند، رنج نمی‌برد.

توسعه آموزش ناهمگام با تحمل خطای بیشتر در مقیاس بالا

Decoupled DiLoCo بر پایه دو پیشرفت قبلی بنا شده است؛ Pathways که یک سیستم هوش مصنوعی توزیع‌شده مبتنی بر جریان داده ناهمگام را معرفی کرد و DiLoCo که پهنای باند موردنیاز بین مراکز داده توزیع‌شده را به طرز چشمگیری کاهش داد و آموزش مدل‌های زبانی بزرگ در مکان‌های دوردست را عملی ساخت.

Decoupled DiLoCo این ایده‌ها را گرد هم می‌آورد تا مدل‌های هوش مصنوعی را در مقیاس بالا با انعطاف‌پذیری بیشتری آموزش دهد. این سیستم که بر روی Pathways ساخته شده است، آموزش ناهمگام را در جزایر محاسباتی مجزا (شناخته شده به‌عنوان واحدهای یادگیرنده یا learner units) امکان‌پذیر می‌سازد تا خرابی یک تراشه در یک ناحیه، مانع پیشرفت سایر نواحی نشود.

این زیرساخت همچنین خودترمیم‌شونده (self-healing) است. در مرحله آزمایش، گوگل از روشی به نام «مهندسی آشوب» (chaos engineering) برای ایجاد خرابی‌های سخت‌افزاری مصنوعی در طول اجراهای آموزشی استفاده کرد. این رویکرد پس از قطع کامل واحدهای یادگیرنده به فرایند آموزش ادامه داد و پس از بازگشت آنلاین آن‌ها، این واحدها را به‌صورت یکپارچه مجدداً به سیستم متصل کرد.

آزمایش Decoupled DiLoCo با مدل‌های  Gemma 4 نشان داد که در صورت خرابی سخت‌افزار، این سیستم در مقایسه با روش‌های آموزشی متداول‌تر، دسترسی بیشتری به خوشه‌های یادگیری را حفظ می‌کند؛ درحالی‌که در نهایت همان سطحِ ارزیابی‌شده (benchmarked) از عملکرد یادگیری ماشین را ارائه می‌دهد.

دی‌لوکوی منفصل نه‌تنها در برابر خرابی‌ها تاب‌آوری بیشتری دارد، بلکه برای اجرای پیش‌آموزشِ کاملاً توزیع‌شده در سطح تولید (production-level) نیز عملی است. گوگل با موفقیت یک مدل با ۱۲ میلیارد پارامتر را در چهار منطقه مجزا در ایالات متحده با استفاده از شبکه گسترده‌ای با سرعت ۲ تا ۵ گیگابیت بر ثانیه () آموزش دادیم (سطحی که با استفاده از اتصالات اینترنتی موجود بین تأسیسات مراکز داده نسبتاً قابل‌دستیابی است و نیازی به زیرساخت شبکه سفارشی جدید بین آن‌ها ندارد). نکته قابل‌توجه این است که سیستم به این نتیجه آموزشی بیش از ۲۰ برابر سریع‌تر از روش‌های همگام‌سازی متداول دست یافت. دلیل این امر آن است که سیستم جدید ارتباطاتِ موردنیاز را در دوره‌های طولانی‌ترِ محاسبات ادغام می‌کند و از تنگناهای مسدودکننده‌ای که در آن‌ها یک بخش از سیستم باید منتظر بخش دیگر بماند، جلوگیری می‌کند.

هدایت تکامل زیرساخت آموزش هوش مصنوعی

گوگل، یک رویکرد همه‌جانبه به آموزش هوش مصنوعی دارد که شامل سخت‌افزار، زیرساخت نرم‌افزاری و پژوهش می‌شود. دستاوردها نیز ناشی از بازاندیشی در نحوه اتصال و یکپارچگی این لایه‌ها به یکدیگر است.

دی‌لوکوی منفصل یکی از این نمونه‌هاست. با فراهم‌کردن امکان اجرای کارهای آموزشی با پهنای باندی در مقیاس اینترنت، این سیستم می‌تواند از هرگونه محاسباتِ استفاده‌نشده در هر کجا که قرار دارند بهره‌برداری کرده و منابع بلااستفاده را به ظرفیت‌های مفید تبدیل کند.

فراتر از کارایی و تاب‌آوری، این پارادایم آموزشی همچنین امکان ترکیب نسل‌های مختلف سخت‌افزار، مانند TPU ve و TPU vp را در یک اجرای آموزشی واحد فراهم می‌کند. این رویکرد نه‌تنها عمر مفید سخت‌افزارهای موجود را افزایش می‌دهد، بلکه مجموع محاسباتِ در دسترس برای آموزش مدل را نیز بیشتر می‌کند. در آزمایش‌های گوگل، تراشه‌هایی از نسل‌های مختلف که با سرعت‌های متفاوت کار می‌کردند، همچنان با عملکرد یادگیری ماشین در اجراهای آموزشی با یک نوع تراشه (single-chip-type) مطابقت داشتند و این اطمینان را ایجاد می‌کردند که حتی سخت‌افزارهای قدیمی‌تر نیز می‌توانند به طور معناداری به شتاب بخشیدن به آموزش هوش مصنوعی کمک کنند.

علاوه بر این، ازآنجایی‌که نسل‌های جدید سخت‌افزار به طور همزمان در همه جا مستقر نمی‌شوند، قابلیت آموزش در بین نسل‌های مختلف می‌تواند تنگناهای مکررِ لجستیکی و ظرفیتی را کاهش دهد.