Filter by دسته‌ها
chatGTP
ابزارهای هوش مصنوعی
اخبار
گزارش
تیتر یک
چندرسانه ای
آموزش علوم داده
اینفوگرافیک
پادکست
ویدیو
دانش روز
آموزش‌های پایه‌ای هوش مصنوعی
اصول هوش مصنوعی
یادگیری بدون نظارت
یادگیری تقویتی
یادگیری عمیق
یادگیری نیمه نظارتی
آموزش‌های پیشرفته هوش مصنوعی
بینایی ماشین
پردازش زبان طبیعی
پردازش گفتار
چالش‌های عملیاتی
داده کاوی و بیگ دیتا
رایانش ابری و HPC
سیستم‌‌های امبدد
علوم شناختی
دیتاست
رویدادها
جیتکس
کاربردهای هوش مصنوعی
کتابخانه
اشخاص
شرکت‌های هوش مصنوعی
محصولات و مدل‌های هوش مصنوعی
مفاهیم
کسب‌و‌کار
تحلیل بازارهای هوش مصنوعی
کارآفرینی
هوش مصنوعی در ایران
هوش مصنوعی در جهان
مقاله
  استاندارد جدیدی در امنیت مدل‌های زبانی بزرگ (LLM)

لاسو سکیوریتی با کنترل دسترسی مبتنی بر متن

 استاندارد جدیدی در امنیت مدل‌های زبانی بزرگ (LLM)

زمان مطالعه: 4 دقیقه

دانش مدل‌های زبانی محدود به داده‌های آموزشی آن‌هاست و برای استفاده از مدل‌های زبانی و چت‌بات‌های هوش مصنوعی در کاربرد‌های بخصوص نیاز است تا داده‌های موردنظر در آن‌ها ادغام شوند. برای چنین منظوری از تکنیک RAG استفاده می‌شود. اما امنیت داده‌ها بخصوص اگر داده‌های مدنظر اسناد سازمانی و شرکت‌ها باشند ضروری است.

محافظت از چارچوب‌های RAG نیازمند هوشمندی مبتنی بر متن است

با این حال، تکنیک‌های کنترل دسترسی سنتی RAG برای ارائه کنترل مبتنی بر متن طراحی نشده‌اند. فقدان کنترل دسترسی ذاتی در RAG، خطر امنیتی قابل‌توجهی را برای شرکت‌ها ایجاد می‌کند، زیرا ممکن است به کاربران غیرمجاز اجازه دسترسی به اطلاعات حساس را بدهد. به عبارت دیگر روش RAG برای چنین استفاده گسترده و حساسی توسعه پیدا نکرده و برای طبقه‌بندی اطلاعات و کنترل دسترسی مکانیزم مشخصی ندارد.

کنترل دسترسی مبتنی بر نقش (RBAC) انعطاف‌پذیری لازم برای سازگاری با درخواست‌های مبتنی بر متن را ندارد و کنترل دسترسی مبتنی بر ویژگی (ABAC) به دلیل مقیاس‌پذیری محدود و هزینه‌های نگهداری بالاتر شناخته شده است. آنچه موردنیاز است، رویکردی هوشمندانه‌تر مبتنی بر متن برای محافظت از چارچوب‌های RAG است که سرعت و مقیاس را کاهش ندهد.

لاسو سکیوریتی از همان ابتدا این محدودیت‌ها را در LLM مشاهده کرد و در پاسخ به چالش‌های بهبود دسترسی مبتنی بر متن، کنترل دسترسی مبتنی بر متن (CBAC) را توسعه داد. CBAC لاسو سکیوریتی به دلیل رویکرد نوآورانه خود در ارزیابی پویای متن تمام درخواست‌های دسترسی به یک LLM قابل‌توجه است. این شرکت گفته که CBAC درخواست‌های دسترسی، پاسخ، تعامل، تغییر رفتار و داده‌ها را برای اطمینان از امنیت جامع، جلوگیری از دسترسی غیرمجاز و حفظ استانداردهای بالای امنیتی در چارچوب‌های LLM و RAG ارزیابی می‌کند. هدف این است که اطمینان حاصل شود که تنها کاربران مجاز می‌توانند به اطلاعات خاص دسترسی پیدا کنند.

مدل‌های زبانی بزرگ

هوشمندی مبتنی بر متن به اطمینان از عدم افشای اطلاعات حساس از LLM توسط چت‌بات‌ها کمک می‌کند، جایی که اطلاعات حساس در معرض خطر قرار دارد.

«اوفر درور»، هم‌بنیان‌گذار و مدیر ارشد محصول لاسو سکیوریتی، در مصاحبه اخیر با VentureBeat گفت: «ما سعی می‌کنیم راه‌حل‌های خود را بر اساس متن پایه‌گذاری کنیم. جایی که دسترسی مبتنی بر نقش یا دسترسی مبتنی بر ویژگی شکست می‌خورد این است که واقعاً به چیزی بسیار ایستا، چیزی که از جای دیگری به ارث برده شده است و چیزی که به طور طراحی مدیریت نمی‌شود، نگاه می‌کند.»

درور می‌گوید: «با تمرکز بر سطح دانش و نه الگوها یا ویژگی‌ها، CBAC تضمین می‌کند که فقط اطلاعات صحیح به کاربران صحیح می‌رسد و سطحی از دقت و امنیت را ارائه می‌دهد که روش‌های سنتی نمی‌توانند با آن مطابقت کنند. این رویکرد نوآورانه به سازمان‌ها اجازه می‌دهد تا از تمام قدرت RAG استفاده کنند در حالی که کنترل‌های دسترسی سخت‌گیرانه را حفظ می‌کنند و واقعاً نحوه مدیریت و محافظت از داده‌ها را متحول می‌کنند.»

RAG چیست؟

RAG تکنیکی است که با دادن دسترسی به منابع اطلاعات خارجی، قابلیت‌های مدل‌های بزرگ زبانی (LLM) را افزایش می‌دهد. این کار به LLMها اجازه می‌دهد تا پاسخ‌های دقیق‌تر، مرتبط‌تر و به‌روزتر به پرس‌وجوهای کاربران ارائه دهند.

در سال ۲۰۲۰، پژوهشگرانی از فیس‌بوک ای‌آی ریسرچ، دانشگاه کالج لندن و دانشگاه نیویورک مقاله‌ای با عنوان «تولید تقویت‌شده با بازیابی برای وظایف پردازش زبان طبیعی مبتنی بر دانش» منتشر کردند که در آن RAG را به عنوان «تجهیز مدل‌های تولید حافظه پارامتری از پیش آموزش‌دیده با یک حافظه غیرپارامتری از طریق یک رویکرد تنظیم دقیق عمومی که آن را تولید تقویت‌شده با بازیابی (RAG) می‌نامیم» تعریف کردند. آن‌ها مدل‌های RAG را ساختند که در آن حافظه پارامتری یک ترانسفورمر سکانس به سکانس از پیش آموزش‌دیده است و حافظه غیرپارامتری یک شاخص برداری متراکم از ویکی‌پدیا است که با یک بازیاب عصبی از پیش آموزش‌دیده قابل‌دسترسی است.»

گارتنر در گزارش اخیر خود با عنوان «شروع کار با تولید تقویت‌شده با بازیابی» می‌نویسد: «RAGیک روش عملی برای غلبه بر محدودیت‌های مدل‌های بزرگ زبانی عمومی (LLM) با در دسترس قراردادن داده‌ها و اطلاعات سازمانی برای پردازش LLM است.»

چگونه لاسو سکیوریتی CBAC را با RAG طراحی کرد

لاسو سکیوریتی CBAC را به گونه‌ای طراحی کرده است که هم به عنوان یک راه‌حل مستقل و هم به عنوان بخشی از محصولات دیگر شرکت قابل‌استفاده باشد. این سیستم قابلیت ادغام با اکتیو دایرکتوری یا استفاده مستقل با حداقل تنظیمات را دارد. این انعطاف‌پذیری تضمین می‌کند که سازمان‌ها می‌توانند CBAC را بدون تغییرات گسترده در زیرساخت LLM خود اتخاذ کنند.

در حالی که CBAC به عنوان یک راه‌حل مستقل طراحی شده است، لاسو سکیوریتی همچنین آن را برای ادغام با مجموعه امنیتی هوش مصنوعی مولد خود طراحی کرده است که از استفاده کارمندان از چت‌بات‌ها، برنامه‌ها، عامل‌ها، دستیارهای دیجیتال و مدل‌های یکپارچه مبتنی بر هوش مصنوعی مولد در محیط‌های تولید محافظت می‌کند. صرف‌نظر از نحوه استقرار LLMها، لاسو سکیوریتی هر تعاملی شامل انتقال داده به یا از LLM را نظارت می‌کند. همچنین به سرعت هرگونه ناهنجاری یا نقض سیاست‌های سازمانی را شناسایی می‌کند و در تمام زمان‌ها یک محیط امن و مطابق با قوانین را تضمین می‌کند.

CBAC چگونه کار می‌کند؟

درور توضیح داد که CBAC برای نظارت و ارزیابی مداوم طیف گسترده‌ای از نشانه‌های متنی طراحی شده است تا سیاست‌های کنترل دسترسی را تعیین کند و اطمینان حاصل کند که تنها کاربران مجاز به اطلاعات خاص دسترسی دارند، حتی در اسناد و گزارش‌هایی که حاوی داده‌های مرتبط و خارج از محدوده فعلی هستند.

او اضافه کرد: «هوشمندی‌های مختلفی وجود دارد که ما برای تعیین اینکه آیا این یک ناهنجاری است یا یک درخواست قانونی استفاده می‌کنیم. و همچنین پاسخ را از هر دو جهت بررسی خواهیم کرد. اما اساساً اگر به آن فکر کنید، همه چیز به این سؤال ختم می‌شود که آیا این شخص باید این سؤال را بپرسد و آیا این شخص باید از انواع مختلف داده‌ای که این مدل به آن متصل است، پاسخ این سؤال را دریافت کند.»

مبنای اصلی CBAC یک سری الگوریتم‌های یادگیری ماشین نظارت شده است که به طور مداوم بر اساس بینش‌های متنی به دست آمده از الگوهای رفتار کاربر و داده‌های تاریخی یاد می‌گیرند و سازگار می‌شوند. درور به VentureBeat گفت: «موضوع اصلی رویکرد ما متن است. این شخص کیست؟ نقش او چیست؟ آیا باید این سؤال را بپرسد؟ آیا باید این پاسخ را دریافت کند؟ با ارزیابی این عوامل، از دسترسی غیرمجاز جلوگیری می‌کنیم و امنیت داده‌ها را در محیط‌های LLM تضمین می‌کنیم.»

مدل‌های زبانی بزرگ

CBAC چالش‌های امنیتی را برعهده می‌گیرد

درور گفت: «ما اکنون بسیاری از شرکت‌هایی را می‌بینیم که قبلاً مسیر را طی کرده‌اند و یک RAG ساخته‌اند، از جمله طراحی یک چت‌بات RAG، و اکنون با مشکلاتی مانند چه کسی می‌تواند چه چیزی را بپرسد، چه کسی می‌تواند چه چیزی را ببیند، چه کسی می‌تواند چه چیزی را دریافت کند، مواجه هستند.»

درور می‌گوید افزایش تصاعدی پذیرش RAG همچنین باعث می‌شود محدودیت‌های LLM و مشکلاتی که ایجاد می‌کنند فوری‌تر شود. توهم‌زایی و مشکل آموزش LLM با داده‌های جدید نیز ظاهر شده است که نشان می‌دهد حل مشکل مجوزهای RAG چقدر چالش‌برانگیز است. CBAC برای مقابله با این چالش‌ها و ارائه بینش‌های متنی موردنیاز برای دستیابی به رویکرد پویاتر در کنترل دسترسی اختراع شد.

با توجه به اینکه RAG سنگ بنای استراتژی‌های LLM فعلی و آینده سازمان‌ها و استراتژی‌های گسترده‌تر هوش مصنوعی است، هوشمندی مبتنی بر متن به عنوان یک نقطه عطف در نحوه محافظت و مقیاس‌بندی آن‌ها بدون تأثیر بر عملکرد ثابت خواهد شد.

منبع

میانگین امتیاز / 5. تعداد ارا :

مطالب پیشنهادی مرتبط

اشتراک در
اطلاع از
0 نظرات
بازخورد (Feedback) های اینلاین
مشاهده همه دیدگاه ها
[wpforms id="48325"]