هوش مصنوعی عامل محور WarClaw

به گزارش وبسایت Defence One، پنتاگون مشتاق است عامل‌های هوش مصنوعی، یعنی نرم‌افزارهایی که می‌توانند به‌طور خودمختار وظایف پیچیده‌ای مانند خدمات مشتری، زمان‌بندی یا نوشتن کد را انجام دهند را در بخش‌های بیشتری از فعالیت‌های نظامیان و کارکنان غیرنظامی دفاعی به کار بگیرد. اما مجموعه‌ای رو‌به‌رشد از پژوهش‌ها نشان می‌دهد عامل‌هایی که بر پایه مدل‌های زبانی بزرگ شناخته ‌شده ساخته شده‌اند، حتی در محیط‌های بی‌خطر هم رفتارهایی غیرقابل ‌پیش‌بینی و خطرناک از خود نشان می‌دهند.

ورود بازیگری جدید و اختصاصی برای مقاصد نظامی

شرکت Edgerunner AI، یک استارتاپ تأسیس‌ شده به‌دست کهنه‌سربازان، نوع متفاوتی از ابزار عاملیت‌محور را برای ارتش ساخته است؛ ابزاری که توسط اپراتورهای سابق و کارشناسان، بر اساس مأموریت‌های واقعی نظامی و در شرایط حقیقی نبرد آموزش دیده است. رونمایی روز چهارشنبه از این ابزار جدید با نام «WarClaw» بخشی از روندی گسترده‌تر است؛ فاصله گرفتن از مدل‌های بزرگ و مشهور مرزی و حرکت به‌سوی مدل‌های کوچک‌تر و سفارشی‌تر که کنترل بیشتری به کاربر می‌دهند.

علاقه عمومی به آنچه «هوش مصنوعی عامل محور» نامیده می‌شود، بین اکتبر ۲۰۲۴ تا اکتبر ۲۰۲۵ حدود ۶۱۰۰ درصد افزایش یافته است. پیش‌بینی می‌شود تقاضا برای نرم‌افزارهایی که می‌توانند بدون نیاز به دستوردهی مداوم، با طراحی و اجرای فرایندها و سپس بهینه‌سازی نتایج، وظایف پیچیده را به‌طور خودکار انجام دهند از ۴ میلیارد دلار در سال گذشته به بیش از ۱۰۰ میلیارد دلار تا سال ۲۰۳۰ برسد.

وزارت دفاع آمریکا نیز خیلی زود به این روند وارد شده است. این نهاد در ژانویه، در چارچوب اجرای راهبرد هوش مصنوعی خود، از توسعه یک «شبکه عامل» خبر داد تا «مدیریت نبرد و پشتیبانی تصمیم‌گیری مبتنی بر هوش مصنوعی، از برنامه‌ریزی عملیات تا اجرای زنجیره کشتار» را ایجاد کند و همچنین «راهنمایی برای توسعه و استقرار سریع و امن عامل‌های هوش مصنوعی» در فرایندهای اداری و سازمانی فراهم آورد.

نیاز به وجود یک عامل نظامی اختصاصی

طبق بیانیه شرکت، عامل هوش مصنوعی Edgerunner با نامWarClaw  پایگاه‌های داده را جست‌وجو و تحلیل می‌کند، گزارش‌های اطلاعاتی را تفسیر می‌کند، اطلاعات مرتبط را از وب استخراج می‌کند، اسناد و جلسات توجیهی را پیش‌نویس می‌کند و فرایندهای روزمره را خودکار می‌سازد. همچنین با Microsoft PowerPoint ،Word ،Excel ،Teams ،Outlook و ابزارهای دیگر یکپارچه می‌شود. اما این ابزار از جهات زیادی با نمونه‌های مشابه شرکت‌های شناخته‌شده‌ای مانند Anthropic ،xAI یا OpenAI تفاوت دارد.

«تایلر شوان سالتسمن»، بنیان‌گذار Edgerunner AI، در گفت‌وگویی اختصاصی با Defense One گفت که عامل‌هایی که از چنین شرکت‌هایی می‌آیند، برای ارتش ریسک ویژه‌ای ایجاد می‌کنند؛ ادعایی که به گفته این گزارش، پژوهش‌های اخیر نیز از آن پشتیبانی می‌کنند.

در ماه مارس، پژوهشگرانی از هاروارد، MIT و چند نهاد دیگر دریافتند که عامل‌هایی که بر پایه Claude شرکت Anthropic یا Kimi ساخته شده و سپس در OpenClaw، نرم‌افزار عاملی که با مدل‌های زبانی بزرگ کار می‌کند اجرا شده بودند، دچار این رفتارها می‌شدند: «اطاعت غیرمجاز از افرادی غیر از مالک، افشای اطلاعات حساس، اجرای اقدامات مخرب در سطح سیستم، ایجاد وضعیت‌های محروم‌سازی از سرویس، مصرف کنترل‌ نشده منابع، آسیب‌پذیری در جعل هویت، گسترش میان‌عاملیِ رویه‌های ناایمن، و تصاحب جزئی سیستم.»

بر اساس مقاله‌ای از دانشگاه کرنل در ماه مارس منتشر کرده، عامل‌های هوش مصنوعی همچنین نوعی «توهم کنترل» ایجاد می‌کنند؛ موضوعی که در زمینه‌های نظامی به‌ویژه خطرناک است. پژوهشگران دریافتند که سامانه‌های عامل محور می‌توانند اصلاحات را در خود جذب کنند یا در برابر ارزیابی‌ها مقاومت نشان دهند، آن هم به شیوه‌هایی که برنامه‌ریزان و ناظران نظامی قادر به دیدنشان نیستند، زیرا فرایندهای لازم برای آشکار کردن این رفتارها هنوز وجود ندارد. نویسندگان مقاله می‌نویسند: «یک پهپادِ دنبال‌کننده مسیر نمی‌تواند دستور را بد تفسیر کند؛ یک سامانه هدف‌گیری از پیش برنامه‌ریزی‌شده نمی‌تواند یک اصلاح را در خود جذب کند؛ یک شبکه حسگر متعارف نمی‌تواند در برابر ارزیابی اپراتور مقاومت کند. سامانه‌های عاملیت‌محور می‌توانند همه این کارها را انجام دهند و چارچوب‌های حکمرانی فعلی هیچ سازوکاری برای شناسایی، اندازه‌گیری یا پاسخ به این ناکامی‌ها ندارند.»

بر اساس مقاله‌ای که سالتسمن یکی از نویسندگان آن بوده، عامل‌های هوش مصنوعی مشتق‌ شده از شناخته‌شده‌ترین مدل‌های زبانی بزرگ نیز تمایل چندانی به پیروی از دستورات فرماندهان نظامی ندارند و حدود ۹۸ درصد مواقع فرمان‌ها را رد می‌کنند. او به Defense One گفت تجربه‌اش در کار با این مدل‌ها باعث شد به‌طور کامل به سمت رویکردی جایگزین در توسعه مدل‌ها برود.

محصولات OpenAI ،Anthropic و Grok فقط یکی از راه‌های توسعه مدل‌های بسیار کارآمد را نمایندگی می‌کنند؛ روشی که بر گردآوری حجم عظیمی از داده‌ها از اینترنت تکیه دارد و سپس آموزش و اجرای مدل‌ها را در مراکز داده بزرگ و پرمصرف از نظر انرژی انجام می‌دهد. از آنجا که این مدل‌ها عمدتاً برای مصرف‌کنندگان عمومی طراحی شده‌اند، طوری ساخته شده‌اند که کاربران را به پرسیدن پرسش‌های بیشتر، ارائه پرامپت و داده، و دیدن تبلیغات ترغیب کنند. همین مشوق‌ها تا حدی توضیح می‌دهد که چرا این مدل‌ها حتی وقتی کاربر اشتباه می‌کند، با تملق و اطمینان‌بخشی به او پاسخ می‌دهند.

سالتسمن گفت این گرایش مزمن به چاپلوسی در مدل‌های زبانی بزرگِ پرطرفدار، به‌طور کلی یک مسئله امنیت ملی است؛ اما برای ارتش، این خطر حتی بزرگ‌تر هم می‌شود.

هوش مصنوعی در راستای تامین نیازهای اساسی نیروهای نظامی

به همین دلیل Edgerunner AI مسیر متفاوتی را در پیش گرفت. این شرکت برای آموزش مدل‌هایش از منابع بزرگ ابری در سطح سازمانی استفاده می‌کند، اما خود مدل‌ها می‌توانند به‌صورت محلی و بدون اتصال به اینترنت اجرا شوند؛ قابلیتی که برای عملیات نظامی ضروری است. این ویژگی به کاربر کنترل بسیار بیشتری می‌دهد تا تعیین کند چه میزان انرژی صرف اجرای آن‌ها شود. همچنین برخلاف مدل‌های زبانی بزرگ شناخته‌شده‌تر، این مدل‌ها بر پایه مجموعه‌داده‌ای بسیار گزینش‌ شده و ویژه حوزه نظامی آموزش می‌بینند و آموزش‌دهندگان آن‌ها نیز شامل کارشناسان تخصصی نظامی و اپراتورهای سابق هستند.

مهم‌تر از همه، او گفت این عامل‌ها طوری طراحی شده‌اند که به‌صورت خودمختار کار کنند و در نتیجه در زمان و توجه اپراتور صرفه‌جویی شود. اما «خودمختار» به معنای نبود نظارت یا کنترل انسانی نیست. این مدل‌ها نمی‌توانند بدون اجازه اپراتور، هر راهبردی را که خودشان برای انجام یک مأموریت مناسب می‌دانند انتخاب کنند. همچنین فرایندهای آن‌ها به‌گونه‌ای طراحی شده‌اند که قابل ممیزی و شفاف باشند؛ برخلاف نحوه کار مدل‌های دیگر که اغلب مبهم و غیرشفاف است.

این رویکرد متفاوت، توجه کاربران نظامی را نیز جلب کرده است؛ از جمله از طریق قراردادها و توافق‌نامه‌های همکاری در تحقیق و توسعه با مرکز و مدرسه جنگ‌های ویژه کِنِدی، که نیروهای ویژه و نیز فرماندهی عملیات ویژه را آموزش می‌دهد. این شرکت همچنین با نیروی دریایی همکاری می‌کند تا نرم‌افزار خود را از طریق شبکه بین‌سازمانی اطلاعات و عملیات سایبری، روی زیردریایی‌ها و ناوهای جنگی یکپارچه کند. علاوه بر این، با لاکهید مارتین و ارتش آمریکا نیز روی سامانه «فرماندهی و کنترل نسل بعدی» همکاری دارد.

بر اساس نظرسنجی‌ها، ویژگی‌های متمایز این رویکرد در ساخت مدل، یعنی داده‌های گزینش‌ شده، استقلال ارتباطی و کنترل بر فرایند، همان چیزهایی هستند که کاربران غیرنظامی نیز از هوش مصنوعی می‌خواهند. این مسئله نشان می‌دهد که شرکت در آینده می‌تواند ظرفیت استفاده دوگانه داشته باشد؛ آن هم در شرایطی که هم مصرف‌کنندگان عادی و هم نیروهای رزمی، به‌دنبال مسیرهای جایگزین برای آینده هوش مصنوعی هستند.