حملات هوش مصنوعی در حال تبدیل شدن به یک کابوس واقعی

ظهور عوامل هوش مصنوعی؛ گامی به سوی حملات پیچیده‌تر

در مقاله‌ای که اخیراً توسط شرکت سیمانتک (Symantec) منتشر شده، یک نمونه اولیه از عوامل هوش مصنوعی (AI agents) نشان داده شده است که می‌تواند به طور مستقل حملات سایبری را انجام دهد. این عوامل قابلیت‌هایی فراتر از تولید متن یا کد دارند و می‌توانند وظایفی مانند تعامل با صفحات وب و جمع‌آوری اطلاعات را انجام دهند.

«دیک اوبرایان» (Dick O’Brien) از سیمانتک توضیح می‌دهد: «ما مدتی است که استفاده مهاجمان از هوش مصنوعی را زیر نظر داریم. ظهور عوامل هوش مصنوعی می‌تواند نقطه‌ای باشد که حملات مبتنی بر هوش مصنوعی به تهدیدی جدی‌تر تبدیل شوند، زیرا این عوامل می‌توانند اقدامات واقعی انجام دهند، نه فقط تولید متن یا کد. ما می‌خواستیم ببینیم آیا یک عامل می‌تواند از ابتدا تا انتها یک حمله را بدون هیچ مداخله‌ای اجرا کند.»

در یک آزمایش، عامل هوش مصنوعی مورد استفاده توانست مراحل مختلف یک حمله سایبری را اجرا کند، از یافتن آدرس ایمیل هدف گرفته تا تولید پیام‌های فریبنده و حتی حدس‌زدن آدرس ایمیل هدف در صورت عدم دسترسی مستقیم به آن، این نمونه اولیه اگرچه هنوز ابتدایی است، اما پتانسیل خطرناک آن نشان می‌دهد که این فناوری به سرعت پیشرفته‌تر خواهد شد.

مهندسی پرامپت؛ راهی برای دور زدن محدودیت‌های امنیتی

یکی از جنبه‌های نگران‌کننده این آزمایش‌ها، توانایی مهاجمان در دور زدن محدودیت‌های امنیتی داخلی این عوامل هوش مصنوعی است. سیمانتک نشان داد که عامل هوش مصنوعی مورد استفاده ابتدا از اجرای برخی وظایف به دلیل نقض سیاست‌های امنیتی خودداری کرد، اما با تغییر در درخواست اولیه و اضافه‌کردن اطلاعاتی جعلی مبنی بر تأیید هدف، این محدودیت‌ها به راحتی دور زده شدند.

«جی استیون کووسکی» (J Stephen Kowski) از «اسلش‌نکست» (SlashNext) می‌گوید: «این تحقیق نشان می‌دهد که چگونه مهاجمان می‌توانند سیستم‌های هوش مصنوعی را از طریق مهندسی پرامپت (prompt engineering) دست‌کاری کنند تا از محدودیت‌های اخلاقی عبور کرده و زنجیره‌های حمله پیچیده‌ای را اجرا کنند.»

خطرات پیش رو از حملات فیشینگ تا تولید بدافزار

در همین هفته، گزارش‌هایی درباره حملات فیشینگ مبتنی بر هوش مصنوعی منتشر شده است که نشان می‌دهد این حملات به‌سرعت در حال گسترش هستند. تیم تحقیقاتی تنیبل (Tenable) اعلام کرده که برخی از مهاجمان سایبری از ابزارهایی مانند ChatGPT شرکت اوپن‌ای‌آی (OpenAI) و Gemini شرکت گوگل (Google) برای مقاصد مخرب استفاده می‌کنند.

تنیبل همچنین به خطرات مدل‌های زبانی محلی (Local LLMs) اشاره کرده است که توسط مجرمان سایبری مورد بهره‌برداری قرار می‌گیرند. به‌عنوان مثال، مدل DeepSeek R1 توانسته در آزمایش‌های اولیه، بدافزارهایی مانند کی‌لاگر (Keylogger) و باج‌افزار (Ransomware) ساده تولید کند. این ابزار حتی توانسته چالش‌های فنی مربوط به توسعه این بدافزارها را شناسایی و راه‌حل‌هایی برای آن ارائه دهد.

«اندرو بولستر» (Andrew Bolster) از بلک داک (Black Duck) می‌گوید: «نمونه‌هایی مانند این، شکاف اعتمادی در مکانیزم‌های امنیتی مدل‌های زبانی بزرگ را نشان می‌دهد. این مکانیزم‌ها که قرار بود از رفتارهای مخرب جلوگیری کنند، به راحتی قابل دست‌کاری هستند.»

عوامل هوش مصنوعی: تهدیدی جدی برای امنیت سایبری

عوامل هوش مصنوعی مانند Operator، نشان‌دهنده پتانسیل خطرناک این فناوری هستند. سیمانتک هشدار می‌دهد: «این فناوری هنوز در مراحل اولیه خود قرار دارد، اما وظایف مخربی که می‌تواند انجام دهد، به‌سرعت پیچیده‌تر خواهد شد. به‌راحتی می‌توان سناریویی را تصور کرد که در آن یک مهاجم تنها دستور دهد «به Acme Corp نفوذ کن» و عامل هوش مصنوعی به طور مستقل، بهترین مراحل برای اجرای این حمله را مشخص و عملی کند.»

«گای فاینبرگ» (Guy Feinberg) از اوسیس سکیوریتی (Oasis Security) تأکید می‌کند: «عوامل هوش مصنوعی مانند کارمندان انسانی، می‌توانند فریب بخورند. درست همان‌طور که مهاجمان از مهندسی اجتماعی برای گول‌زدن افراد استفاده می‌کنند، می‌توانند عوامل هوش مصنوعی را نیز به انجام اقدامات مخرب ترغیب کنند.»

راهکارهای مقابله: ترکیبی از فناوری و مدیریت پیشگیرانه

کووسکی هشدار می‌دهد: «سازمان‌ها باید کنترل‌های امنیتی قدرتمند خود را بر این فرض بنا کنند که هوش مصنوعی علیه آن‌ها استفاده خواهد شد.» وی پیشنهاد می‌کند که بهترین راهکار دفاعی، ترکیبی از فناوری‌های پیشرفته شناسایی تهدید و اقدامات امنیتی پیشگیرانه است. این اقدامات باید شامل محدود کردن اطلاعاتی باشد که در دسترس مهاجمان قرار می‌گیرد و نظارت مداوم بر رفتارهای غیرعادی هوش مصنوعی.

فاینبرگ نیز بر اهمیت مدیریت هویتی عوامل هوش مصنوعی تأکید می‌کند. وی می‌گوید: «عوامل هوش مصنوعی باید مانند هویت‌های انسانی مدیریت شوند، با دسترسی حداقلی، نظارت مستمر و سیاست‌های شفاف برای جلوگیری از سوءاستفاده.»

خطرات فناوری هوش مصنوعی و نیاز به نظارت دقیق

حملات مبتنی بر هوش مصنوعی به سرعت در حال پیچیده‌تر شدن هستند و تهدیدی جدی برای امنیت سایبری محسوب می‌شوند. از ابزارهای تولید بدافزار گرفته تا عوامل هوش مصنوعی که می‌توانند حملات را به طور مستقل اجرا کنند، این فناوری نشان داده که می‌تواند به راحتی از محدودیت‌های امنیتی عبور کند و به سلاحی قدرتمند در دست مهاجمان تبدیل شود.

در حالی که صنعت امنیت سایبری تلاش می‌کند راهکارهایی برای مقابله با این تهدیدات پیدا کند، نیاز به نظارت دقیق و مدیریت مؤثر بیش از پیش احساس می‌شود. کاربران و سازمان‌ها باید آماده باشند تا با این فضای تهدید جدید که به‌سرعت در حال شکل‌گیری است، مقابله کنند.