چه کسی محدودیت‌های استفاده از هوش مصنوعی در جنگ و نظارت را تعیین می‌کند؟

برای امضای این قرارداد، داریو آمودی مدیرعامل Anthropic دو استثنا مشخص را درخواست کرد: عدم نظارت گسترده بر شهروندان آمریکایی و عدم استفاده از سلاح‌های کاملاً خودکار بدون نظارت انسانی. فردای همان روز، آمریکا و اسرائیل یک حمله گسترده علیه ایران را آغاز کردند.

سؤال اصلی

به گزارش رسانه The Conversation این موضوع باعث شد بسیاری بپرسند:

• جنگی با سلاح‌های کاملاً خودکار چه تفاوتی می‌توانست داشته باشد؟
• تصمیم اخلاقی که آمودی هنگام اشاره به سلاح‌های کاملاً خودکار و نظارت انبوه به‌عنوان «خطوط قرمز» هوش مصنوعی تعیین کرد، تا چه حد اهمیت داشت؟
• این خطوط قرمز چه معنایی برای سایر کشورها دارند؟

این تصمیم هزینه زیادی برای Anthropic داشت. دونالد ترامپ، دستور داد همه نهادهای آمریکایی استفاده از خانواده مدل‌های زبانی بزرگ و چت‌بات‌های تعاملی پیشرفته Anthropic یعنی Claude را متوقف کنند. «پیتر هگست»، وزیر دفاع آمریکا نیز Anthropic  را به‌عنوان «ریسک زنجیره تأمین» طبقه‌بندی کرد که می‌تواند سایر فرصت‌های قراردادی شرکت را تحت‌تأثیر قرار دهد. OpenAI یکی از رقیب اصلی Anthropic نیز به‌سرعت قراردادی با پنتاگون امضا کرد.

خطرات سلاح‌های کاملاً خودکار

چت‌بات‌های هوش مصنوعی معمولاً خودشان سلاح نیستند، اما می‌توانند بخشی از یک سیستم‌های تسلیحاتی باشند. آن‌ها موشک شلیک نمی‌کنند و پهپادها را کنترل نمی‌کنند، اما می‌توانند به سیستم‌های نظامی بزرگ‌تر متصل یا در آن‌ها ادغام شوند. این مدل‌ها می‌توانند به‌سرعت اطلاعات جمع‌آوری‌شده را خلاصه کنند، فهرست اهداف را تولید کنند، تهدیدهای اولویت‌دار را رتبه‌بندی کنند و حملات را پیشنهاد دهند. یک از خطرات کلیدی این مدل سامانه‌ها، فرایندی است که از داده‌های حسگرها تا تفسیر هوش مصنوعی، انتخاب هدف و فعال‌سازی سلاح بدون یا با حداقل کنترل انسانی انجام می‌شود.

سلاح‌های کاملاً خودکار، پلتفرم‌های نظامی هستند که پس از فعال‌سازی، عملیات نظامی را بدون مداخله انسان انجام می‌دهند. این سیستم‌ها به حسگرهایی مانند دوربین‌ها، رادارها و الگوریتم‌های هوش مصنوعی متکی هستند تا محیط را تحلیل کرده، اهداف را جستجو، انتخاب و درگیر کنند. در سلاح‌های کاملاً خودکار، کنترل و نظارت انسانی حذف می‌شود و هوش مصنوعی تصمیمات نهایی در حمله و میدان نبرد را می‌گیرد.

این موضوع نگران‌کننده است، به‌ویژه با‌توجه‌به پژوهش‌های اخیر که در آن مدل‌های پیشرفته هوش مصنوعی در شبیه‌سازی‌های بازی‌های ویدئویی جنگی در ۹۵ درصد موارد تصمیم به استفاده از سلاح‌های هسته‌ای گرفتند.

در هوشیو بخوانید:
هوش مصنوعی در ۹۵ درصد مواقع به استفاده از سلاح‌های هسته‌ای در بازی‌های جنگی تمایل دارد.

خطرات نظارت انبوه

مدل‌های پیشرفته هوش مصنوعی می‌توانند به‌سرعت مجموعه‌های عظیم داده را خلاصه کرده و الگوهایی برای شناسایی افراد یا فعالیت‌های مشکوک حتی از طریق ارتباطات ضعیف ایجاد کنند. آمودی در بیانیه خود درباره مذاکرات Anthropic با وزارت جنگ، استدلال کرد که «نظارت انبوه مبتنی بر هوش مصنوعی، خطرات جدی و نوینی برای آزادی‌های اساسی ما ایجاد می‌کند.»

این سیستم‌ها می‌توانند سوابق، ارتباطات و فراداده‌ها را تحلیل کرده و جمعیت‌ها را اسکن کنند. می‌توانند گزارش‌ها و فهرست‌هایی از افراد تولید کنند که به طور خودکار مشخص کنند چه کسی بازجویی شود، از ورود به کشور منع شود یا شغلی به او تعلق نگیرد. چنین سیستم‌هایی تهدیداتی جدی برای حریم خصوصی ایجاد می‌کنند، زیرا می‌توانند داده‌های چندین منبع، مانند حساب‌های شبکه‌های اجتماعی را با دوربین‌ها و تشخیص چهره ترکیب کنند و افراد را در زمان واقعی ردیابی کنند.

مدل‌های هوش مصنوعی همچنین ممکن است اشتباه کنند. اگر این سیستم‌های بر روی داده‌های میلیون‌ها نفر اجرا شود حتی یک ارتباط اشتباه کوچک می‌تواند به طور خطرناکی گسترش یابد. علاوه بر این، مدل‌های هوش مصنوعی شفاف نیستند؛ نحوه تحلیل داده و رسیدن به نتیجه برای کاربران به طور کامل قابل‌درک نیست که چالش‌های موجود برای به چالش کشیدن خروجی‌های هوش مصنوعی را افزایش می‌دهد.

«تمام اهداف قانونی»

عبارت «تمام اهداف قانونی» به‌ظاهر محدودیتی ایمنی است؛ اما در واقع به این معناست که دولت می‌تواند از هوش مصنوعی برای هر هدفی که خودش آن را قانونی تلقی می‌کند، استفاده کند و محدودیت‌های کمی در قرارداد وجود دارد. این موضوع از اهمیت زیادی برخوردار است؛ زیرا قانون قابل‌تغییر است، اغلب برای مواجهه با نوآوری‌های سریع آماده نیست و تفسیرها می‌توانند تغییر کنند.

این همان چیزی بود که Anthropic، شرکتی که توسط کارکنان سابق OpenAI تأسیس شده و تمرکز صریحی بر ایمنی و اخلاق هوش مصنوعی دارد، باتکیه‌بر آن استدلال کرد که نظارت انبوه با هوش مصنوعی یک ریسک نوین است و اهداف قانونی نمی‌توانند چارچوب حفاظتی پایداری ایجاد کنند.

Anthropic خود یک آزمایشگاه داخلی برای درک نحوه عملکرد Claude، تفسیر پرسش‌ها و تصمیم‌گیری مستقل ایجاد کرده است و باتوجه‌به عدم شفافیت مدل‌های زبانی بزرگ و سرعت توسعه ظرفیت‌های آن‌ها، چنین اقداماتی اهمیت دارند.

پروژه Maven با ریسک بالاتر؟

از جهاتی، این داستان آشناست. شرکت‌های فناوری همواره در خط مقدم نوآوری بوده‌اند، با وعده‌های پیشرفت اما همچنین با خطر سوءاستفاده و پیامدهای منفی. نزدیک‌ترین مقایسه تاریخی، پروژه Maven گوگل در سال ۲۰۱۸ است.

گوگل قراردادی با پنتاگون داشت تا در تحلیل تصاویر نظارتی پهپادها کمک کند. ۴۰۰۰ کارمند گوگل علیه این پروژه اعتراض کردند و استدلال کردند که نظارت نباید بخشی از مأموریت شرکت باشد. گوگل اعلام کرد که قرارداد Maven را تمدید نخواهد کرد و بعدها اصولی برای هوش مصنوعی منتشر کرد که شامل تعهدات در زمینه سلاح‌ها و نظارت بود. این مثال به‌عنوان یک مورد شاخص در قدرت فعالیت‌های کارمندی و فشار عمومی شناخته می‌شود.

بااین‌حال، پروژه Maven همچنین به ما یادآوری می‌کند که اخلاق و ایمنی هوش مصنوعی متغیر است. اوایل ۲۰۲۵، گوگل به طور مخفیانه وعده خود برای عدم استفاده از هوش مصنوعی در سلاح‌ها و نظارت را کنار گذاشت تا قراردادهای دفاعی سودآور جدیدی امضا کند.

وضعیت فعلی Anthropic در برخی جنبه‌ها مشابه پروژه Maven گوگل است؛ نشان می‌دهد که یک شرکت و رهبران آن تلاش می‌کنند محدودیت‌هایی برای استفاده نظامی از هوش مصنوعی تعیین کنند و تنش‌هایی که در تقابل ارزش‌های اعلام‌شده شرکت‌ها با خواسته‌های دولت و امنیت ملی ایجاد می‌شود را به تصویر می‌کشد.

بااین‌حال، مورد Anthropic متمایز است؛ زیرا هوش مصنوعی مولد در سال ۲۰۲۶ بسیار قدرتمندتر از چند سال پیش است. پروژه Maven تنها تحلیل تصاویر پهپاد بود، اما مدل‌های امروزی برای وظایف متعدد قابل‌استفاده هستند و ریسک‌های بالقوه آن‌ها بزرگ‌تر است.

مدل‌های زبانی بزرگ مانند Claude می‌توانند از طریق یادگیری از اصلاحات کاربران خود را بهبود دهند و عملکردشان را از طریق حلقه‌های بازخورد تکراری تصحیح کنند؛ بنابراین، آنچه یک Claude بدون محدودیت و پنتاگون می‌توانست انجام دهد، نگران‌کننده است.

چه کسی محدودیت‌ها را تعیین می‌کند؟

این اتفاقات نه درباره اصول اخلاقی منحصربه‌فرد Anthropic و نه خواسته‌های بی‌وقفه پنتاگون است؛ بلکه مربوط به یک مسئله حیاتی است که با قدرتمندتر شدن هوش مصنوعی باز هم مطرح خواهد شد. چه کسی محدودیت‌های استفاده از هوش مصنوعی در حوزه امنیت را تعیین می‌کند؟

اگر «تمام اهداف قانونی» به پیش‌فرض تبدیل شود، چارچوب‌ها به سیاست و تفسیر قانونی وابسته خواهند بود. برای کانادا و سایر کشورها، سازوکارهای حفاظتی اهمیت دارد و اخلاق نباید تنها به مذاکرات قراردادی و کدهای اخلاقی سازمانی واگذار شود.

این اتفاقات پیچیدگی‌های به‌کارگیری اخلاق هوش مصنوعی در عمل را نشان می‌دهند. اصول و اعلامیه‌های اخلاق هوش مصنوعی مهم و فراوان هستند؛ اما در عمل، اخلاق هوش مصنوعی از طریق قراردادها، قوانین خرید و رفتار واقعی و نظارت طرف‌های مختلف تعیین می‌شود.

بخش دفاع و عمومی کانادا در حال ساخت ظرفیت‌های هوش مصنوعی است و کانادا با وزارت دفاع و اطلاعات آمریکا همکاری نزدیکی دارد. این بدان معناست که زبان و استانداردهای خرید می‌تواند منتقل شود. اگر «تمام اهداف قانونی» به زبان استاندارد بازار امنیت ملی آمریکا تبدیل شود، می‌تواند فشار بر کانادا و سایر کشورها برای اتخاذ شرایط مشابه ایجاد کند.

خبر خوش این است که کانادا ابزارهای حاکمیتی در اختیار دارد که می‌تواند آن‌ها را تقویت و گسترش دهد. دستورالعمل تصمیم‌گیری خودکار برای اطمینان از شفافیت، پاسخ‌گویی و عدالت سیستم‌ها طراحی شده و شامل ارزیابی تأثیر و گزارش‌دهی عمومی است. ارزیابی تأثیر الگوریتمی یک ابزار اجباری برای سنجش ریسک مرتبط با این دستورالعمل است.