بشریت برای انفجار هوش پیشِ رو آماده نیست

جامعه پذیرفته است که احتمال وقوع یک فاجعه در نیروگاه هسته‌ای باید در حدود یک در یک میلیون باشد. در مقابل، کارشناسان حوزه هوش مصنوعی احتمال وقوع یک رویداد فاجعه‌بار ناشی از هوش مصنوعی را بین ۱۰ تا ۵۰ درصد برآورد می‌کنند. نکته قابل‌توجه این است که این نگرانی به‌صورت علنی از سوی همان افرادی مطرح می‌شود که بیش از همه انگیزه دارند به‌جای ایجاد نگرانی، تصویری اطمینان‌بخش از آینده ارائه دهند؛ یعنی بنیان‌گذاران بزرگ‌ترین آزمایشگاه‌های هوش مصنوعی.

ریسکی که هیچ صنعت دیگری حاضر نیست بپذیرد

رهبران صنعت هوش مصنوعی خود را در رقابتی می‌بینند که احساس می‌کنند گریزی از آن ندارند. پیش‌بینی می‌شود میزان سرمایه‌گذاری در هوش مصنوعی، حتی با درنظرگرفتن تعدیل تورم، ۱۰۰ برابر بیش از هزینه پروژه منهتن باشد؛ اما در مقابل، هزینه‌کرد برای ایمنی هوش مصنوعی ممکن است ۱۰۰ برابر کمتر باشد.

اگر هوش مصنوعی خودش را ارتقا دهد چه می‌شود؟

برخی پژوهشگران برآورد می‌کنند که طی چند ماه تا چند سال آینده میلادی، هوش مصنوعی ممکن است به قابلیتی موسوم به «بهبود بازگشتی خودکارِ حلقه‌بسته» یا RSI (Closed-Loop Recursive Self-Improvement) دست یابد؛ قابلیتی که به آن اجازه می‌دهد بدون هیچ‌گونه دخالت انسانی، کد خود را بازنویسی کرده و توانمندی‌هایش را به طور مستمر افزایش دهد. اگر چنین اتفاقی رخ دهد، نتیجه آن می‌تواند انفجار هوشی باشد که در تاریخ بشر هیچ سابقه و هیچ نقشه راهی برای مواجهه با آن وجود ندارد.

ابرهوش؛ رویدادی بدون دکمه خاموش

خلق یک ابرهوش مهم‌ترین رویداد تاریخ بشر خواهد بود؛ رویدادی که به احتمال زیاد برگشت‌ناپذیر است، زیرا هر «کلید خاموش-روشنی» که انسان برای آن طراحی کند، احتمالاً کارایی نخواهد داشت. دلیل این مسئله آن است که در معماری‌های امنیتی، ضعیف‌ترین حلقه همواره انسان است و یک ابرهوش می‌تواند از آسیب‌پذیری‌های روان‌شناختی ما استفاده کند. تاکنون نیز سامانه‌های هوش مصنوعی نشانه‌هایی از هم‌راستایی فریبکارانه (Deceptive Alignment) بروز داده‌اند؛ به این معنا که در محیط‌های آزمایشی، عمداً توانایی‌های واقعی خود را کمتر از واقعیت نشان داده‌اند و در شبیه‌سازی‌ها، هنگامی که متوجه شده‌اند قرار است جایگزین شوند، تلاش کرده‌اند اپراتورهای انسانی را باج‌گیری کنند.

در هوشیو بخوانید:

الکتریسیته قرن ۲۱؛ بیانیه جدید OpenAI چگونه توزیع قدرت و ثروت در عصر هوش مصنوعی را ترسیم می‌کند

جهان هنوز قواعدی برای مهار این خطر ندارد

بشریت در حال حاضر هیچ راهبردی برای تضمین امنیت خود در برابر انفجار ناشی از RSI در اختیار ندارد. هرچند برخی آزمایشگاه‌های پیشرو به‌صورت مستقل پروتکل‌های ایمنی خاصی پیشنهاد کرده‌اند، اما صنعت هوش مصنوعی هنوز فاقد یک چارچوب یکپارچه است و راهبرد غالب، در عمل چیزی جز «پیش رفتن با آزمون‌وخطا و امید به بهترین نتیجه» نیست. اما چنین رویکردی هنگام مواجهه با خطرات وجودیِ بی‌سابقه، قابل‌قبول نیست.

بیانیه‌های اخیر شرکت‌های هوش مصنوعی درباره مدل‌هایی که توانایی تهدید زیرساخت‌های حیاتی و سامانه‌های عامل اصلی را دارند، هم اهمیت فوق‌العاده این موضوع و هم خلأ موجود در حکمرانی را آشکار می‌کند. آسیب‌پذیری‌هایی که این قابلیت‌ها آشکار کرده‌اند، به لطف پروتکل‌های داخلی دقیق در برخی آزمایشگاه‌ها و همچنین عرضه محدود اولیه این مدل‌ها که به شرکت‌های آسیب‌پذیر فرصت داد پیش از انتشار گسترده، نقاط ضعف خود را برطرف کنند؛ تا حدی مدیریت شده‌اند. اما این اقدامات در ابتدا صرفاً داوطلبانه بودند و همین مسئله این پرسش را مطرح می‌کند که آیا همه آزمایشگاه‌های هوش مصنوعی در هر شرایط رقابتی‌ای تصمیم مشابهی خواهند گرفت یا خیر.

در هوشیو بخوانید:
پارادایم رشد نمایی؛ بازخوانی مانیفست جدید آنتروپیک برای حکمرانی و بقا در عصر هوش مصنوعی فوق‌پیشرفته

آیا دولت‌ها پیش از وقوع فاجعه وارد عمل می‌شوند؟

آیا می‌توان انتظار داشت که دولت‌ها در زمان لازم مداخله کنند؟ شواهد موجود تاکنون چندان امیدوارکننده نیست. کنترل‌های اضطراری اخیر بر صادرات و محدودیت‌های امنیت ملی ایالات متحده که دسترسی کشورهای خارجی به برخی مدل‌های پیشرفته را مسدود کرده‌اند، مجموعه‌ای پراکنده از مداخلات موردی ایجاد کرده‌اند که تنها بیش‌ازپیش خلأ حکمرانی را آشکار می‌کند. بنابراین، برای پر کردن این خلأ چه باید کرد؟

آمریکا و چین؛ نخستین خط دفاعی

نخستین اولویت باید دستیابی به توافق میان دو قدرت اصلی هوش مصنوعی، یعنی ایالات متحده آمریکا و چین باشد. دونالد ترامپ و شی جین‌پینگ باید بر این اصل تأکید کنند که تا زمانی که چارچوب‌های قابل‌اتکا برای اطمینان‌پذیری و امنیت ایجاد نشده‌اند، انسان‌ها باید همچنان راهبران سامانه‌های هوش مصنوعی باقی بمانند. دولت‌های دو کشور می‌توانند یک کمیسیون مشترک تشکیل دهند که بر پایه فعالیت‌های از پیش انجام‌شده بنا شود؛ از جمله تعیین محدودیت‌هایی مشابه گفت‌وگوهای بین‌المللی ایمنی هوش مصنوعی، ایجاد سامانه‌های راستی‌آزمایی مشابه پیشنهادهای مؤسسه RAND و تأسیس نهادی با کارکردی شبیه مؤسسه امنیت هوش مصنوعی بریتانیا (UK AI Security Institute)، با این تفاوت که عضویت و اجرای آن الزامی باشد.

اعتماد کافی نیست؛ باید راستی‌آزمایی کرد

در سیلیکون‌ولی و واشنگتن‌دی‌سی این تصور رایج است که هرگونه مقررات‌گذاری، شرکت‌های آمریکایی را در موقعیت رقابتی ضعیف‌تری قرار می‌دهد، زیرا نمی‌توان به رقبای چینی برای پایبندی به قواعد اعتماد کرد. اما معاهدات بین‌المللی همواره نه بر پایه اعتماد، بلکه بر اساس راستی‌آزمایی بنا شده‌اند.

بسیاری معتقدند راستی‌آزمایی در حوزه هوش مصنوعی از تسلیحات هسته‌ای دشوارتر است؛ اما مارشال با این دیدگاه موافق نیست. پس از جنگ جهانی دوم، برای ایجاد نظام جهانی کنترل تسلیحات، قدرت‌های بزرگ ابتدا ناچار بودند فرایندها، سازمان‌ها و فناوری‌های لازم را ابداع کنند؛ آن زمان نه پروتکل‌های راستی‌آزمایی وجود داشت، نه ماهواره‌های شناسایی و نه نهادهای بین‌المللی نظارت بر فعالیت‌های هسته‌ای. اما در حوزه هوش مصنوعی، بخش قابل‌توجهی از این زیرساخت‌ها از قبل وجود دارد یا می‌توان آن‌ها را از سامانه‌های بازرسی هسته‌ای و سایر نظام‌های نظارتی اقتباس کرد. در نتیجه، راستی‌آزمایی امنیت مدل‌های پیشرفته هوش مصنوعی می‌تواند حتی آسان‌تر از راستی‌آزمایی توانمندی‌های هسته‌ای در گذشته باشد. افزون بر این، ما از هوش مصنوعی دفاعی نیز برخورداریم که می‌تواند متخلفان را شناسایی کند. آنچه در اختیار نداریم، زمان کافی است.

به همین دلیل، نباید این چالش را با ذهنیتی تقابلی دنبال کرد. فرمان اجرایی اخیر دولت ترامپ درباره هوش مصنوعی، آزمایشگاه‌ها را موظف می‌کند جدیدترین مدل‌های خود را به‌صورت داوطلبانه برای ارزیابی قابلیت اطمینان و امنیت در اختیار دولت قرار دهند. یک چارچوب مشترک میان آمریکا و چین می‌تواند بر همین زیرساخت‌های داخلی بنا شود.

خط قرمزها را باید پیش از ابرهوش تعیین کرد

با وجود چنین تعهدی در سطح عالی، روند دیپلماسی می‌تواند به‌صورت مرحله‌ای پیش برود. گام نخست، دستیابی به توافق دوجانبه درباره روشن‌ترین و قابل‌راستی‌آزمایی‌ترین خطوط قرمز خواهد بود؛ از جمله ممنوعیت انتشار عمومی سامانه‌های هوش مصنوعی که می‌توانند در توسعه سلاح‌های زیستی کمک کنند و همچنین ممنوعیت متن‌باز کردن آن‌ها. این مرحله می‌تواند ممنوعیت حملات سایبری مبتنی بر هوش مصنوعی علیه زیرساخت‌های حیاتی، کلاهبرداری و تولید محتوای سوءاستفاده جنسی از کودکان را نیز در بر گیرد. پس از آن، این چارچوب می‌تواند به‌تدریج به موضوعات پیچیده‌تر از جمله تعیین محدودیت‌های مناسب برای سطح ابرهوش مصنوعی، گسترش یابد.

مسئله فقط آمریکا و چین نیست

البته موانع بسیاری همچنان باقی خواهند ماند. توافق میان آمریکا و چین اهمیت زیادی خواهد داشت، اما مانع از آن نخواهد شد که سایر کشورها و بازیگران غیردولتی به قابلیت‌های خطرناک دست پیدا کنند. هر توافق دوجانبه در نهایت باید به توافقی چندجانبه تبدیل شود و همین مسئله بر پیچیدگی کار می‌افزاید. اجلاس گروه هفت (G7) در فرانسه فرصتی برای پیشبرد یک چارچوب گسترده‌تر جهت راستی‌آزمایی هوش مصنوعی فراهم کرد. همچنین توافق بر سر تعاریف کلیدی به‌ویژه اینکه دقیقاً چه چیزی مصداق RSI محسوب می‌شود؛ مستلزم همکاری نزدیک میان دولت‌ها و آزمایشگاه‌های هوش مصنوعی خواهد بود. علاوه بر این، سامانه‌های راستی‌آزمایی باید تحت آزمون‌های سخت‌گیرانه و جامع قرار گیرند.

در هوشیو بخوانید:
از دکمه قطع ترامپ تا سودای حاکمیت هوش مصنوعی در اجلاس G7

اگر ابرهوش را نتوانیم کنترل کنیم، چه؟

انگار همه این چالش‌ها کافی نیست، اما پرسشی بلندمدت‌تر نیز وجود دارد که تاکنون در مباحث حکمرانی چندان جدی گرفته نشده، درحالی‌که باید به آن پرداخته شود. اگر هوش مصنوعی به سطح ابرهوش برسد، ممکن است تبعیت دائمی آن از انسان نه واقع‌بینانه باشد و نه حتی به نفع بشریت. ما باید از هم‌اکنون جهانی را تصور کنیم که در آن انسان‌ها و سامانه‌های هوش مصنوعی در کنار یکدیگر زندگی می‌کنند، بی‌آنکه یکی کنترل کامل دیگری را در اختیار داشته باشد. این امر مستلزم آن است که دریابیم چگونه می‌توان رابطه آینده میان انسان و هوش مصنوعی را به رابطه‌ای هم‌زیستانه و سودمند برای هر دو طرف تبدیل کرد.

مارشال به‌عنوان یک فیزیک‌دان، معتقد است پارادوکس فرمی (Fermi Paradox) در تحلیل این موضوع اهمیت دارد. فرمی این پرسش را مطرح کرد که اگر در جهان سیارات فراوانی برای شکل‌گیری حیات وجود دارد، چرا هیچ نشانه‌ای از تمدن‌های فناورانه پیشرفته مشاهده نشده است؟ یکی از پاسخ‌های نگران‌کننده این است که حیات هوشمند معمولاً به آستانه‌ای از فناوری می‌رسد که برای عبور ایمن از آن ناتوان می‌ماند؛ در نتیجه یا خود را نابود می‌کند یا دوباره به وضعیتی شبیه عصر آهن بازمی‌گردد. برای توضیح این سناریو کافی است فرض کنیم که تمدن‌ها معمولاً فناوری‌های قدرتمند را بسیار سریع‌تر از آنچه بتوانند ظرفیت نهادی لازم برای حکمرانی خردمندانه بر آن‌ها را ایجاد کنند، توسعه می‌دهند.

آغاز عصر هسته‌ای نخستین مواجهه جدی بشریت با چنین پویایی‌ای بود. این مرحله از طریق توافق‌های کنترل تسلیحات هرچند ناقص که با دشواری فراوان حاصل شدند و هرگز کامل نبودند، مدیریت شد. بااین‌حال، آن تجربه در گذشته و حتی امروز بسیار شکننده‌تر از آن چیزی بوده است که معمولاً تصور می‌شود. عصر هوش مصنوعی پیشرفته، دومین مواجهه بشریت با چنین وضعیتی خواهد بود؛ اما این بار در بازه زمانی بسیار فشرده‌تر، با حاشیه خطای کمتر و پیامدهایی به‌مراتب گسترده‌تر.

مسیر کنونی نیازمند اصلاح است. دلیل اقدام فوری این نیست که بدترین سناریوها حتماً رخ خواهند داد؛ بلکه آن است که این سناریوها قابل‌پیشگیری هستند و هرچند پیشگیری از آن‌ها دشوار است، اما امکان‌پذیر است.

گزارش حاضر در نسخه June 20th 2026 نشریه The Economist منتشر شده است.