پاسخ کارشناسان MIT SMR به سؤالاتی راجع به هوش مصنوعی عاملمحور
۹ سؤال اساسی راجع به هوش مصنوعی عاملمحور
سید محمدجواد فیاض
- ۱۸ آذر ۱۴۰۴
در ماه ژانویه سال جاری میلادی، «توماس اچ. داونپورت» (Thomas H. Davenport) و «رندی بین» (Randy Bean)، ستوننویسان «نشریه مدیریت اسلون MIT» (MIT Sloan Management Review) پیشبینی کردند که هوش مصنوعی عاملمحور «قطعاً نامزد عنوان پربحثترین روند هوش مصنوعی سال ۲۰۲۵» خواهد شد و کاملاً درست هم پیشبینی کردند.
داونپورت و بین اشاره کردند: «هوش مصنوعی عاملمحور (Agentic AI) به نظر میرسد در مسیری اجتنابناپذیر قرار دارد؛ همه در دنیای ارائهدهندگان فناوری و تحلیلگران درباره اینکه برنامههای هوش مصنوعی بتوانند برای انجام کار واقعی بهجای صرفاً تولید محتوا با یکدیگر همکاری کنند، هیجانزدهاند؛ حتی اگر هیچکس کاملاً مطمئن نباشد که چگونه کار خواهد کرد.»
این موضوع حتی تقریباً یک سال بعد نیز همچنان صادق است. هوش مصنوعی عاملمحور همچنان تخیل مدیران و امیدهای ارائهدهندگان فناوری را تسخیر کرده است. بااینحال، بخش زیادی از بحثها درباره عاملهای هوش مصنوعی فرضی است و بیشتر کارهای سازمانی هنوز در مرحله آزمایشهای اولیه قرار دارند. حتی «آندره کارپاتی» (Andrej Karpathy)، یکی از بنیانگذاران OpenAI نیز اخیراً اعلام کرده که ممکن است ۱۰ سال طول بکشد تا عاملهای هوش مصنوعی بتوانند عملکرد خوب و قابلقبولی از خود نشان دهند.
درحالیکه ناظران بازار درباره ماهیت چرخشی قراردادهایی که اقتصاد هوش مصنوعی را تغذیه میکند، ابراز نگرانی کردهاند؛ بسیاری از مدیران سازمانی همچنان تحتفشار قابلتوجهی قرار دارند تا بفهمند چگونه باید با استفاده از هوش مصنوعی و بهویژه هوش مصنوعی عاملمحور، نوآوری کنند.
با وجود اینهمه هیاهو پیرامون هوش مصنوعی عاملمحور، غربال واقعیت از اغراق میتواند چالشبرانگیز باشد. آیا تصویر روشنی از کارکرد هوش مصنوعی عاملمحور دارید؟ از اینکه عاملهای نرمافزاری چگونه ارتباط برقرار میکنند و چه محدودیتهایی دارند
در ادامه و به نقل از MIT SMR تعدادی از این سؤالات اساسی پیرامون هوش مصنوعی عاملمحور را بررسی خواهیم کرد.
عامل هوش مصنوعی چیست؟
«اگرچه تعریف پذیرفتهشده واحدی وجود ندارد، هوش مصنوعی عاملمحور معمولاً به شکلی خاص از سیستمهای هوش مصنوعی اشاره دارد که قادرند با اتخاذ تصمیمات، انجام اقدامات و سازگاری با محیطهای پویا، به طور مستقل و خودمختار اهدافی را دنبال کنند؛ بدون آن که نیازمند نظارت دائمی انسانی باشند. طبق شاخص عامل هوش مصنوعی MIT(MIT’s AI Agent Index)، استفاده از این سیستمها در حوزههایی مانند مهندسی نرمافزار و خدمات مشتری در حال افزایش است؛ هرچند شفافیت محدودی درباره اجزای فنی، کاربردهای موردنظر و مسائل ایمنی آنها وجود دارد.»
«عاملهای هوش مصنوعی که مبتنی بر مدلهای زبانی بزرگ (LLMs) ساخته میشوند؛ دیگر مفاهیمی آیندهنگرانه نیستند. ابزارهای هوش مصنوعی عاملمحور در کنار انسانها کار میکنند، جریانهای کاری را خودکار میکنند، تصمیمگیری میکنند و به تیمها کمک میکنند تا در سراسر کسبوکارها به نتایج استراتژیک برسند.»
هوش مصنوعی عاملمحور چه تفاوتی با دیگر ابزارهای هوش مصنوعی دارد؟
«برخلاف برنامههای قدیمیتر و حتی سنتی هوش مصنوعی مانند چتباتها، دستیارهای جستجو یا موتورهای پیشنهاددهنده که در محدودههای محدود و مشخص فعالیت میکنند؛ عاملهای هوش مصنوعی برای خودمختاری و اقدام مستقل طراحی شدهاند.»
آیا سازمانها بازگشت سرمایه ملموس، واقعی و رضایتبخشی از سرمایهگذاری در هوش مصنوعی عاملمحور دریافت کردهاند؟
«در میان شرکتهایی که در سطح سازمانی توانستهاند با کمک هوش مصنوعی خلق ارزش کنند؛ آنهایی که عملکرد مالی و کارایی عملیاتی قدرتمند و ساختاریافته دارند، ۴.۵ برابر بیشتر احتمال دارد در معماریهای عاملمحور سرمایهگذاری کرده باشند، طبق نظرسنجیهای فصلی Pulse of Change موسسه اکسنچر که از اکتبر تا دسامبر ۲۰۲۴ انجام شد و ۳۴۵۰ مدیر C-suite و ۳۰۰۰ کارمند غیر C-suite از سازمانهایی با درآمد بیش از ۵۰۰ میلیون دلار، در ۲۲ صنعت و ۲۰ کشور را موردمطالعه و بررسی قرار داد؛ این کسبوکارها دیگر در مرحله آزمایش با عاملهای هوش مصنوعی نیستند؛ بلکه در مرحله مقیاسپذیری آن هستند.»
عاملهای هوش مصنوعی چگونه برای انجام کار ارتباط برقرار میکنند؟
«عاملهای هوش مصنوعی در محیطهای فناوری پویا و بههمپیوسته فعالیت میکنند. عاملها به واسطه رابطهای برنامهنویسی کاربری یا همان APIها با یکدیگر تعامل دارند، به سامانههای داده مرکزی سازمانی دسترسی پیدا میکنند و در زیرساخت ابری و سنتی و پلتفرمهای ثالث حرکت و خزش میکنند. توانایی عامل هوش مصنوعی برای اقدام مستقل، تنها زمانی یک دارایی است که شرکتها مطمئن باشند این اقدامات ایمن، سازگار با قوانین و همسو با اهداف کسبوکار خواهد بود.»
کدام شکافهای امنیتی ممکن است در هوش مصنوعی عاملمحور به وجود آید؟
«هوش مصنوعی عاملمحور دقیقاً به دلیل اینکه در میان سامانهها عمل میکند و نه فقط در داخل آنها، میتواند عملیات سازمانی را متحول کند. برخلاف دستیارهای هوش مصنوعی قدیمیتر که محدود به یک برنامه واحد هستند، عاملهای هوش مصنوعی در چندین سامانه و پلتفرم فعالیت میکنند و اغلب از APIها برای اجرای کل جریانهای کاری استفاده میکنند. اما همین قابلیت همکاری، دردسر بسیاری برای سازمانها ایجاد میکند؛ چرا که شبکه آسیبپذیریهای سایبری گستردهتر میشود. دو آسیبپذیری مهم ناشی از استقرار عاملهای هوش مصنوعی «مسمومیت داده» (data poisoning) و «تزریق پرامپت» (prompt injection) هستند.»
مسمومیت داده چیست؟ تزریق پرامپت چیست؟ چه ارتباطی با هوش مصنوعی عاملمحور دارند؟
«مسمومیت داده، یعنی دستکاری عمدی دادههای آموزشی با هدف تضعیف یکپارچگی، قابلیت اعتماد و عملکرد سیستم که یکی از تهدیدهای بسیار مخرب برای سیستمهای هوش مصنوعی عاملمحور به شمار میرود. اخیراً در نظرسنجی امنیت سایبری اکسنچر،. ۵۷ درصد از سازمانها نسبت به آلودگی داده در استقرارهای هوش مصنوعی مولد ابراز نگرانی کردند. چنین حملاتی باعث ایجاد نادرستی و اطلاعات غلط در دادههای آموزشی یا جاسازی «درهای پشتی» (back doors) میشود که تحت شرایط خاص فعال میشوند. بهعنوانمثال، در مارس ۲۰۲۴ یک آسیبپذیری در چارچوب Ray AI منجر به خرابکاری در عملکرد هزاران سرور شد؛ جایی که مهاجمان برای خرابکردن مدلهای هوش مصنوعی، دادههای مخرب تزریق کردند.»
«تهدید امنیتی تزریق پرامپت، سیستمهای هوش مصنوعی خاصی که برای تفسیر ورودیها از مدلهای زبانی بزرگ استفاده میکنند را مورد حمله قرار میدهد. در این سناریو، دستورالعملها یا همان پرامپتهای مخرب در قالب محتوایی ظاهراً بیضرر و سالم مانند متن یا حتی تصاویر جاسازی میشوند. هنگامیکه آن محتوا توسط هوش مصنوعی پردازش میشود، پرامپتهای پنهان میتوانند رفتار سیستم را منحرف و کنترل آن را در دست بگیرند.»
سازمانها برای بهبود امنیت هوش مصنوعی عاملمحور چه اقداماتی میتوانند انجام دهند؟
«سازمانها میبایست درک عمیقی آسیبپذیریها در سراسر اکوسیستم فناوری سازمان خود داشته باشند و بهخوبی آنها را بشناسند، حملات سایبری دنیای واقعی را شبیهسازی کنند و سازوکارهای محافظتی مخصوصی تعبیه کنند که امنیت و تمامیت دادهها را حفظ کرده و اقدامات سوءاستفادهگرانه را در زمان واقعی شناسایی کنند.»
نقشهبرداری از همه تعاملات بین LLMها، ابزارهایی مانند OCR، سامانههای داخلی و کاربران چگونه خطر را کاهش میدهد؟
نقشهبرداری از هر تعامل، میتواند سبب کاهش ریسک در چارچوب موارد زیر شود:
- آشکارکردن ارتباطات دادهای پنهان یا درهای پشتی
- برجستهکردن نقاطی که در کنترلهایی مانند رمزگذاری و محدودیتهای دسترسی حیاتی هستند.
- مسدودکردن تعاملات ناخواسته یا غیرضروری که ممکن است به مسیرهای دسترسی غیرمجاز تبدیل شوند.
- بهبود تشخیص ناهنجاری با ایجاد یک خط مبنا از رفتار موردانتظار به جهت آسانتر شدن شناسایی فعالیتهای غیرمجاز
البته نقشهبرداری بهتنهایی خطر را از بین نمیبرد، اما رفتار سیستم را آشکار و محدود میکند و تشخیص استفاده غیرمجاز از هوش مصنوعی یا نشت داده را دشوارتر خواهد کرد.
زمانی که سیستمهای هوش مصنوعی عاملمحور تصمیمات حیاتی میگیرند، سازمانها چگونه میتوانند پاسخگویی را تضمین کنند؟
نویسندگان توصیههای زیر را برای سازمانهایی ارائه میدهند که به دنبال بهبود پاسخگویی در سیستمهای هوش مصنوعی عاملمحور هستند:
- اتخاذ رویکردهای مدیریت مبتنی بر چرخه عمر. هوش مصنوعی عاملمحور سریع، پیچیده و پویا است. یک فرایند مدیریتی مستمر و تکرارشونده پیادهسازی کنید که سیستمهای عاملمحور را از طراحی اولیه تا استقرار و استفاده مداوم دنبال کند. بهجای بررسیهای یکباره؛ ارزیابیهای مکرر، حسابرسیهای فنی و پایش عملکرد را در دستور کار قرار دهید تا مسائل در زمان واقعی شناسایی و برطرف شوند. رویکردهای مدیریتی باید نظارت را به بخشی از عملیات روزمره تبدیل کنند نه یک وظیفه دورهای یا جداگانه و منحصربهفرد
- ادغام پاسخگویی انسانی در ساختارهای حکمرانی هوش مصنوعی. چارچوبهای مدیریتی خاصی طراحی کنید که نقشها و مسئولیتهای مشخصی را برای مدیران انسانی و سیستم هوش مصنوعی عاملمحور در تمام مراحل چرخه عمر خوش مصنوعی اختصاص دهد. ایجاد پروتکلهای تصمیمگیری، مسیرهای ارجاع و نقاط بازرسی باید بخشی از هر استقرار سیستم عاملمحور باشد تا تضمین کند افراد همچنان پاسخگوی نتایج باقی میمانند. این ساختارها باید اثباتی بر این باشد هوش مصنوعی عاملمحور ابزاری در یک فرایند انسانمحور است.
- فراهمسازی امکان تصمیمگیری مبتنی بر هوش مصنوعی در شرایط از پیش تعریفشده. اگرچه نظارت انسانی ضروری است، اما ویژگی خودمختار بودن هوش مصنوعی عاملمحور است مرزهای آن را گسترش میدهد. رویکردهای مدیریتی جدید باید حوزههایی را تعیین کنند که هوش مصنوعی میتواند و باید بر اساس سرعت، دقت یا ثبات بالاتر خود، تصمیمگیرنده باشد. در چنین مواردی، حاکمیت باید بر تعریف مرزها، پایش عملکرد و تضمین دخالت انسانی فقط در سناریوهای پرخطر تمرکز کند. این مسئولیتها باید توسط مدیران ارشد تأیید شده و بهوضوح به سایر مدیران منتقل شود تا نقش خود را کاملاً درک کنند.
- آمادگی برای هوش مصنوعی عاملمحوری که سیستمهای هوش مصنوعی دیگر را ایجاد میکند. عدم توجه به سیستمهایی که توسط سیستمهای هوش مصنوعی دیگر ایجاد یا اصلاح میشوند، میتواند شکاف بزرگی در دیدگاه سازمان ایجاد کند. شناسایی و ادغام این سیستمهای نوظهور برای تعریف دامنه هوش مصنوعی در سازمان حیاتی خواهد بود. ساختارهای حاکمیتی و رویکردهای مدیریتی که این «فرزندان هوش مصنوعی» (AI offspring) را در نظر نمیگیرند؛ نهتنها خطرات هوش مصنوعی را کاهش نمیدهند، بلکه تشدید میکنند.
- در مورد هوش مصنوعی عاملمحور، ضمنی را صریح کنید. ازآنجاکه سیستمهای عاملمحور به قوانین و مقادیر آستانهای صریح نیاز دارند، سازمانها باید نقش و دامنه هوش مصنوعی عاملمحور را در ساختارهای مدیریتی خود روشن کنند. همانطور که نیروی انسانی از طریق سیستمهای مدیریتی سلسلهمراتبی یا ساختاریافته برای تضمین پاسخگویی مقیاس مییابد، ادغام هوش مصنوعی عاملمحور در نیروی کار نیز نیازمند درک روشن و بیان دقیق نقش آن در این چارچوبهای سازمانی است.
