NVIDIA سرعت آپاچی اسپارک مهم ترین پلتفرم تحلیل داده جهان را افزایش می دهد
تیم تحریریه- ۱ اردیبهشت ۱۴۰۰
NVIDIA به تازگی اعلام کرد که همکاری با بخش منبع باز را آغاز کرده تا نسخه سوم آپاچی اسپارک را سرعت بخشد.
لازم به ذکر است که بیش از 500.000 دانشمند داده در سرتاسر جهان از موتور تحلیل آپاچی اسپارک برای پردازش دیتاست های بزرگ استفاده میکنند. حال با انتشار نسخه سوم اسپارک، دانشمندان داده و مهندسان یادگیری ماشین برای نخستین بار قادر خواهند بود سرعت کارت گرافیکی را در فرایند پردازش داده ETL به طرز قابل ملاحظهای افزایش دهند.
همچنین زمینه برای پردازش «آموزش مدل هوش مصنوعی» در خوشه اسپارک فراهم خواهد آمد و دیگر نیازی نیست امور به عنوان فرایندهای مجزا در زیرساختهای مجزا اجرا شوند. به این ترتیب، تحلیل داده با عملکرد بسیار بهتری در کل روند کاری علم داده انجام گرفته و پردازش دهها هزار ترابایت داده به سرعت انجام خواهد شد. از مزایای دیگر این است که نیازی به استفاده از کد موجود برای اجرای اسپارک در فضای ابر نیست.
Adobe با تکیه بر همکاری راهبردی هوش مصنوعیِ خود با NVIDIA به یکی از نخستین شرکتهایی تبدیل شده که روی نسخه پیشنمایش اسپارک 3.0 در Databricks کار میکند. این شرکت توانسته با استفاده از روش تحلیل داده با کارت گرافیکی بهتر، میزان عملکرد را هفت برابر ارتقاء بخشیده و از 90 درصدِ هزینهها در آزمایش اولیه بکاهد. Adobe ویژگیهایی را ارائه کرده که تقویت کسب و کارهای دیجیتال را در پی داشته است.
بنیانگذاران Databricks در ساخت آپاچی اسپارک نقش اصلی را ایفا کردهاند. گفتنی است که پلتفرم تحلیل داده Databricks روزانه بیش از 1 میلیون ماشین مجازی را به اجرا در میآورد. NVIDIA و Databricks به همکاری با یکدیگر پرداختهاند تا اسپارک را با RAPIDS بهینهسازی کنند. در همین راستا، افزایش سرعت کارت گرافیکی در حوزههای یادگیری ماشین و علم داده در دستور کار قرار گرفته است. این اقدام میتواند به یاری حوزههای گوناگونی از قبیل بهداشت و درمان، امور مالی، خردهفروشی و بسیاری دیگر از صنایع بشتابد.
