عملکرد استثنایی و تطبیق‌پذیری عالی سوپرتراشه گریس هاپر انویدیا در تست‌های MLPerf

پردازنده‌های گرافیکی NVIDIA GH200، H100 و L4 همراه با ماژول‌های (اجزای سخت‌افزاری تخصصی) Jetson Orin عملکرد فوق‌العاده‌ای را در اجرای هوش مصنوعی در برنامه‌های کاربردی دنیای واقعی به نمایش می‌گذارند. آنها در اجرای فناوری هوش مصنوعی در محیط‌های مختلف، از سیستم‌های مبتنی بر ابر تا لبه‌های شبکه سرآمد هستند.

سوپرتراشه انویدیا GH200 Grace Hopper  در اولین معرفی خود در مجموعه‌ای از آزمایشات به نام معیارهای صنعت MLPerf حضور چشمگیری داشته است. این تراشه در این تست‌ها، به‌ویژه در تست‌های استنتاج مرکز داده، عملکرد خوبی داشت و بهتر از تراشه‌های کامپیوتری پیشرو قبلی به نام پردازنده‌های گرافیکی NVIDIA H100 Tensor Core عمل کرد.

نتایج کلی، عملکرد استثنایی و تطبیق‌پذیری پلتفرم هوش مصنوعی NVIDIA را در موقعیت‌های مختلف، از رایانش ابری گرفته تا لبه شبکه (محاسبه در لبه شبکه، نزدیک‌تر به جایی است که داده‌ها تولید یا استفاده می‌شوند) نشان داد.

انویدیا در اطلاعیه‌ای جداگانه از نرم‌افزار استنتاجی جدیدی رونمایی کرد که پیشرفت‎های قابل‌توجهی را در عملکرد، بهره‎وری انرژی و صرفه‌جویی در هزینه به کاربران ارائه می‌دهد.

سوپرتراشه‌های GH200 در آزمایشات MLPerf می‎درخشد

ترکیب منحصربه‌فرد GH200  از یک پردازنده گرافیکی Hopper و یک پردازنده Grace روی یک سوپرتراشه، آن را قادر می‌سازد تا با بهینه‌سازی انتقال خودکار نیرو بین CPU و GPU و افزایش پهنای باند حافظه، عملکرد عالی ارائه دهد.

به‌طور جداگانه، سیستم‌های NVIDIA HGX H100 که هشت پردازنده گرافیکی H100 را در خود جای داده‌اند، بالاترین توان عملیاتی را در هر تست MLPerf Inference در این دور ارائه کردند.

سوپرتراشه‌های گریس هاپر و پردازنده‌های گرافیکی H100 در تمام تست‌های مرکز داده MLPerf، عملکرد فوق‌العاده‌ای داشته‌اند. این تست ها شامل کارهایی مانند بینایی کامپیوتری، تشخیص گفتار و تصویربرداری پزشکی است. علاوه بر این، آنها در وظایف چالش برانگیزتر مانند سیستم‌های توصیه‌گر و مدل‌های زبان بزرگ مورد استفاده در هوش مصنوعی مولد سرآمد بوده‌اند.

به طور کلی، نتایج به رکورد NVIDIA در نشان دادن رهبری عملکرد در آموزش هوش مصنوعی و استنتاج در هر مرحله از زمان راه‌اندازی معیارهای MLPerf در سال 2018 ادامه می‌دهد.

آخرین دور MLPerf شامل دو اتفاق مهم بود؛ یک آزمایش به روز شده برای سیستم‌های توصیه‌گر و دیگری یک تست جدید برای GPT-J که یک مدل زبانی با شش میلیارد پارامتر است.

استنتاج TensorRT-LLM Supercharges

انویدیا نرم‌افزاری به نام TensorRT-LLM توسعه داده که یک برنامه هوش مصنوعی است که به ساده‌سازی و کاهش حجم کارهای پیچیده در هر اندازه‌ای کمک می‌کند. این نرم‌افزار برای ارسال در ماه آگوست MLPerf آماده نشده بود، اما به مشتریان اجازه می‌دهد تا عملکرد پردازنده‌‎های گرافیکی H100 (واحدهای پردازش گرافیکی) خود را بدون هیچ هزینه اضافی به میزان قابل‎توجهی (بیش از دو برابر) افزایش دهند.

آزمایش‌های داخلی انویدیا نشان می‌دهد که استفاده از TensorRT-LLM روی پردازنده‌های گرافیکی H100 در مقایسه با پردازنده‌های گرافیکی نسل قبلی که GPT-J 6B را بدون نرم‌افزار اجرا می‌کردند، تا 8 برابر سرعت عملکرد را افزایش می‌دهد.

این نرم‌افزار کار خود را با تسریع و بهینه‌سازی استنتاج LLM با شرکت‌های پیشرویی از جمله Meta، AnyScale، Cohere، Deci، Grammarly، Mistral AI، MosaicML (اکنون بخشی از Databricks)، OctoML، Tabnine و Together AI آغاز کرد.

به گفته ناوین رائو، معاون مهندسی در Databricks، که این فرایند را بسیار آسان و ساده توصیف می‌کند، MosaicML به‌طور یکپارچه ویژگی‌های ضروری TensorRT-LLM را در پشته خدمات فعلی خود ادغام کرده است.