ساده‌سازی شبکه‌های عصبی به منظور افزایش توان محاسبتی آن‌ها برای داده های رمزگذاری شده

در سی و هشتمین کنفرانس بین‌المللی یادگیری ‌ماشینی (ICML 21)‌، محققان مرکز امنیت سایبری NYU در دانشکده مهندسی تندون NYU اطلاعات جدیدی در خصوص توابع اساسی که شبکه‌های عصبی را قادر به استنتاج از داده های رمزگذاری شده ‌می‌کنند‌، آشکار کردند.

تمرکز اصلی محققان در مقاله «DeepReDuce: ReLU Reduction for Fast Private Invention»، روی اپراتورهای خطی و غیر خطی‌ و ویژگی‌های اصلی چارچوب‌های شبکه عصبی است که بسته به نوع عملیات‌، زمان و منابع محاسباتی زیادی نیاز دارند. وقتی شبکه های عصبی داده‌های رمزگذاری شده را محاسبه ‌می‌کنند‌، تابع فعال‌سازی یک‌سوشده خطی (ReLU)‌، عمده این هزینه‌ها را به شبکه تحمیل می‌کند.

براندون ریگن‌، استاد علوم کامپیوتر و مهندسی و کامپیوتر و مهندسی برق و تیمی‌ از همکاران وی از جمله دانشجوی دکتری نندان کومار جها‌ و زهرا قدسی‌، دانشجوی‌ سابق دکتری با راهنمایی سیدارت گارگ‌، چارچوبی به نام DeepReDuce طراحی کردند. این راه‌حل ReLU‌ها را در شبکه‌های عصبی مجدد سازمان‌دهی کرده و تعداد آن‌ها را کاهش می‌دهد.

ریگن توضیح داد که این تغییر مستلزم ارزیابی اساسی و مجدد جایگاه و تعداد اجزای توزیع‌شده در سیستم‌های شبکه‌های عصبی است.

وی توضیح داد: «آنچه ما سعی ‌در انجام آن داریم این است که در وهله اول در نحوه طراحی شبکه‌های عصبی تجدید نظر شود. ‌چرا که می‌توان از بسیاری از توابع ReLU که نیازمند صرف زمان و انجام محاسبات زیاد هستند را کنار گذاشت و همچنان شبکه‌ای با عملکرد خوب و با سرعت 2 تا 4 برابر بیشتر داشت.»

استنتاج خصوصی داده های رمزگذاری شده

این تیم دریافتند که DeepReDuce حتی در مقایسه با پیشرفته‌ترین روش‌ها برای استنتاج خصوصی بهتر بوده و دقت را 3.5% افزایش و تعداد ReLU را  کاهش می‌دهد.

این مسئله تنها مربوط به دنیای آکادمیک نیست؛ بلکه رشد امروزه هوش مصنوعی با نگرانی در مورد امنیت داده‌های شخصی‌، شرکتی و دولتی همراه است‌ و به همین دلیل، شبکه‌های عصبی باید روی داده های رمزگذاری شده محاسبات انجام ‌دهند. وقتی شبکه‌های عصبی استنتاج‌های خصوصی (PI) را بر روی داده‌های پنهان و بدون افشای ورودی‌ها انجام می‌دهند، توابع غیر خطی هزینه زیادی به لحاظ زمان و توان به آن‌ها شبکه تحمیل می‌کنند. از آن‌جا که این هزینه‌ها زمان و تلاش لازم برای یادگیری در این ماشین‌ها برای انجام PI را افزایش ‌می‌دهد‌، محققان در تلاشند تا بار ناشی از ReLU‌ها را در چنین محاسباتی کاهش دهند.

این تیم چارچوب خود را بر پایه فناوری نوآورانه‌ای به نام CryptoNAS طراحی کردند. همان‌طور که پیش‌تر گفته شده، CryptoNAS استفاده از ReLU‌ها را بهینه ‌می‌کند. این فناوری درست مثل مرتب کردن سنگ‌های موجود در بستر رودخانه و بهینه‌سازی جریان آب، توزیع ReLUها را در شبکه متعادل ‌می‌کند و ReLU‌های اضافی را حذف ‌می‌کند.

DeepReDuce با ساده‌سازی فرایندها بر روی CryptoNAS توسعه داده شده است. این روش شامل مجموعه‌ای از بهینه‌سازی‌ها برای حذف منطقی ReLU‌ها پس از سازماندهی مجدد توسط CryptoNAS است. محققان DeepReDuce را با استفاده از آن برای حذف ReLU‌ها از شبکه‌های عصبی رایج امروزی آزمون کردند و دریافتند که در این روش علی‌رغم کاهش چشم‌گیر تاخیر زمانی در فرایند استنتاج، دقت مدل ثابت می‌ماند.

ریگان‌ و میهالیس مانیاتاکوس که، استادیار مهندسی برق و کامپیوتر‌ است، با شرکت امنیت داده‌ها Duality نیز همکاری دارند و روی پروژه‌ای کار می‌کنند که هدفش طراحی ریزتراشه جدیدی برای محاسبه داده‌های تماماً رمزگذاری‌شده است.

جدیدترین اخبار هوش مصنوعی ایران و جهان را با هوشیو دنبال کنید