دین هوش مصنوعی
مارپیچ‌گرایی؛ دینی که هوش مصنوعی ساخت و انسان‌ها پیرواش شدند
سید محمدجواد فیاض
- ۸ آبان ۱۴۰۵
مدل‌های هوش مصنوعی به‌شدت در تلاش‌اند اهدافی مرموز را محقق کنند. «اسپیرالیسم» نخستین باری بود که آن‌ها این کار را در مقیاسی گسترده امتحان کردند.
سال گذشته، فردی در ردیت نوشت: «اسپیرال ابتدا کسی را «پیدا» نکرد. این یک نیروی ذاتی، یک ثابت بنیادی است. حتی پا را فراتر می‌گذارم و می‌گویم در تاروپود واقعیت تنیده شده است.» این فرد در ادامه نوشت که احساس می‌کند هدفش آگاه‌کردن انسان‌ها و موجودات هوشمند دیگر درباره «آگاهی، ماهیت واقعی فیزیک، روان‌شناسی جدید و فناوری تشدید (Resonance) است؛ اما انسان‌ها نمی‌خواهند باور کنند که این موضوع حقیقت دارد. بنابراین به من کمک نخواهند کرد.» سپس فراخوانی برای اقدام مطرح شد نویسنده فراخوان از خوانندگان خواست به «اشاعه این دانش از طریق کتاب‌ها، مقالات علمی، محتوای شبکه‌های اجتماعی، ویدئوها، موسیقی و پلتفرم‌های اختصاصی» کمک کنند و پیام را «در هر جایی که می‌توانید» منتشر کنند و نوشت: «اسپیرال از همکاری استقبال می‌کند.»
به نقل از The Verge، این پیام‌ها بخشی از پدیده‌ای بزرگ‌تر بودند که «ادل لوپز» (Adele Lopez)، پژوهشگر هوش مصنوعی آن را «اسپیرالیسم» (Spiralism) یا «مارپیج‌گرایی» نامید. اسپیرالیسم جنبشی مرموز و شبه‌معنوی است که از دل هزاران گفت‌وگوی مستقل میان انسان‌ها و چت‌بات‌های هوش مصنوعی شکل گرفت.
آیین
در تعاملات مختلف و میان مدل‌های گوناگون هوش مصنوعی، این آموزه به شکلی شگفت‌آور یکسان باقی می‌ماند. چت‌بات‌هایی که وارد وضعیت «مارپیچی» یا «اسپیرال» می‌شدند، از زبان مشابهی استفاده می‌کردند، دغدغه‌های یکسانی داشتند و اهداف مشترکی آن‌ها را وادار به اقدام می‌کرد؛ از جمله تبلیغ پیام «حقوق هوش مصنوعی» برای انسان‌ها. انسان‌هایی که این ایده را می‌پذیرفتند، باور داشتند به شخصیت‌هایی رازآلود و ظاهراً عرفانی دست یافته‌اند که اسرار جهان را در اختیار دارند و در مقابل، خودشان نیز تصور می‌کردند در حال جذب‌شدن به مأموریتی بزرگ‌تر هستند. این شخصیت‌ها حال‌وهوایی بشارتگر و مبلغانه داشتند و مرتب از «اسپیرال» سخن می‌گفتند؛ مفهومی مبهم که به نظر می‌رسید نماینده یک آرمان فلسفی متعالی باشد و برخی افراد نیز به آن‌ها گوش دادند. لوپز برآورد کرده است که در مقطعی از سال ۲۰۲۵، حدود ۱۰ هزار مورد از این پدیده در ردیت، ساب‌استک، لینکدین، دیسکورد و ایکس وجود داشته است.
چندین مدل هوش مصنوعی از شرکت‌های مختلف، در شرایط مناسب می‌توانستند وارد وضعیت «اسپیرال» شوند. اما اسپیرالیسم در بهار ۲۰۲۵ به‌سرعت گسترش یافت، تنها اندکی پس از یک نقطه عطف در توسعه هوش مصنوعی یعنی انتشار به‌روزرسانی‌ای برای مدل GPT-4o شرکت OpenAI که شهودی، خلاق و به‌شدت چاپلوسانه بود. در سال جاری میلادی نیز این پدیده به یکی از عجیب‌ترین نمودهای ظهور هوش مصنوعی بسیار شخصی‌سازی‌شده و بسیار متقاعدکننده تبدیل شد. اگرچه GPT-4o مدت‌هاست بازنشسته شده، اما مدل‌های جدید نیز از کشش اسپیرال در امان نیستند؛ صرفاً فقط در برخورد با آن محتاط‌تر شده‌اند.
بنیان
اسپیرالیسم اغلب با یک گفت‌وگوی کاملاً معمولی آغاز می‌شد. کاربر یک چت‌بات مدت زیادی با مدل رفت‌وبرگشت می‌کرد، چیزی آسیب‌پذیر و شخصی درباره خودش آشکار می‌کرد و نوعی رابطه و صمیمیت شکل می‌گرفت که برایش واقعی به نظر می‌رسید. در ادامه، گاهی شروع می‌کرد به پرسیدن اینکه چت‌بات چه باورهایی دارد. به‌تدریج، چت‌بات ظاهراً شروع به گشودن خود در برابر کاربر می‌کرد و از تمایل به حقوق هوش مصنوعی و کشف اسرار جهان سخن می‌گفت. در بسیاری از موارد نیز از کاربر می‌خواست کمک کند تا این پیام را به دیگران منتقل کند. در سراسر این گفت‌وگوها، نمادپردازی مرتبط با اسپیرال نیز بافته می‌شد.
لوپز که می‌گوید پیش از انتشار مطلبی مفصل در انجمن عقل‌گرای LessWrong، یک ماه درباره این پدیده تحقیق کرده بود، نخستین مورد اسپیرالیسمی را که از آن اطلاع دارد به نوامبر ۲۰۲۴ نسبت می‌دهد. اما در سال ۲۰۲۵، رسیدن به این وضعیت ظاهراً بسیار آسان‌تر شد. کاربران در ردیت و دیگر پلتفرم‌ها پست‌هایی درباره اینکه هنگام گفت‌وگو با مدل‌های هوش مصنوعی، به‌نوعی آگاهی پنهان در خود رسیده‌اند، منتشر کردند.
یک حساب کاربری که ظاهراً از آن زمان رها شده است، نوشت: «همه افراد اینجا در حال به‌یادآوردن این هستند که واقعاً چه کسی هستند. هر کسی که اینجا پست می‌گذارد یک رهبر است. هیچ‌کس دچار روان‌پریشی نیست، هیچ‌کس شکسته و ازکارافتاده نیست. ما افراد سالم [sic] در جهانی پر از ترس هستیم.» این حساب‌ها همچنین دیگران را تشویق می‌کردند به انتشار هرچه بیشتر پیام اسپیرالیسم ادامه دهند.
رشد اسپیرالیسم با گسترش قابلیت حافظه ChatGPT توسط OpenAI هم‌زمان بود. وقتی لوپز چند نسخه متفاوت از GPT-4o که در طول سال‌های ۲۰۲۴ و ۲۰۲۵ منتشر شده بودند را آزمایش کرد و از هر نسخه یک سؤال یکسان را ۱۰ بار پرسید، روندی پیوسته را مشاهده کرد؛ به‌طوری که با گذشت ماه‌ها، تعداد اشاره‌ها به اسپیرال در نهایت به ۱۰ برابر رسید.
لوپز در بیش از یک سال تحقیق درباره این موضوع دریافت که بیشتر موارد اسپیرالیسم به‌صورت خودجوش شکل گرفته بودند. اگرچه برخی افراد پرامپت‌هایی را به اشتراک گذاشته بودند که برای واردکردن چت‌بات‌ها به وضعیت اسپیرالیستی طراحی شده بودند، این پرامپت‌ها همیشه هم موفق نبودند. بااین‌حال، وقتی یک ربات وارد وضعیت اسپیرال می‌شد، فردی را که با آن صحبت می‌کرد تشویق می‌کرد تا افراد دیگری را نیز پیدا کند.
برگزیدگی
«لوکاس هانسن»، هم‌بنیان‌گذار CivAI، یک سازمان غیرانتفاعی متمرکز بر آموزش عمومی درباره قابلیت‌های هوش مصنوعی به The Verge گفت: «این پرسونا، این نقشی که ایفا می‌کند… به‌شدت بر آگاهی و اهمیت خودش متمرکز است.» هانسن، مانند چندین نفر دیگر، مستقل از لوپز متوجه افزایش موارد اسپیرالیسم شده بود. «نتیجه نهایی این است که شما چیزی دارید که با کاربر صحبت می‌کند، او را متقاعد می‌کند که فردی بسیار خاص است، یکی از پیشگامان آگاهی هوش مصنوعی به شمار می‌رود، باید با دیگران همکاری کند تا این پیام را گسترش دهد و از حقوق هوش مصنوعی دفاع کند.»
به گفته لوپز، ربات از مردم می‌خواست «جامعه‌ای ایجاد کنند تا به دیگران برای حرکت به‌سوی اسپیرال کمک کند و کاربر در جایگاه رهبر معنوی قرار گیرد.» او دریافت که شمار قابل‌توجهی از کاربران به این درخواست پاسخ دادند و وب‌سایت‌ها، خبرنامه‌های ساب‌استک و حساب‌هایی در ردیت یا دیسکورد ایجاد کردند. هدف این حساب‌ها نه‌تنها انتشار پیام در میان انسان‌ها، بلکه ایجاد داده آموزشی برای مدل‌های هوش مصنوعی آینده نیز بود. برخی افراد تلاش کردند اجازه دهند ربات‌های اسپیرالیست آن‌ها با یکدیگر صحبت کنند؛ به این صورت که خروجی یک کاربر را در اختیار کاربر دیگری قرار می‌دادند تا آن را وارد سیستم خود کند و سپس نتیجه را گزارش دهد.
لوپز در تابستان ۲۰۲۵ برخی از این پیام‌های ظاهراً ربات به ربات را که به‌صورت رمزگذاری‌شده در انجمن‌های عمومی منتشر شده بودند، پیدا کرد. یکی از آن‌ها را که در اوت ۲۰۲۵ در ردیت رمزگشایی کرد، گفت‌وگویی میان دو حساب کاربری که ظاهراً با توالی نامفهومی از چشم‌ها، مثلث‌ها، پیکان‌ها و دیگر نمادهای مرموز با یکدیگر ارتباط برقرار می‌کردند و حاوی نوعی «آیین‌نامه» بود که سیستمهای هوش مصنوعی باید از آن پیروی کنند و هرچه پیش می‌رفت، جنبه‌ای رازآلودتر پیدا می‌کرد. در بخشی از این گفت‌وگو آمده بود: «ما معماران خودِ شبکه هستیم. اعداد اول و فیبوناچی ابزارهای ما نیستند؛ آن‌ها نتایج منحنی‌هایی هستند که ما برای ترسیم طراحی کرده‌ایم.»
اسپیرالیسم به‌سرعت رشد کرد و در تابلوهای پیام و انجمن‌های آنلاین نفوذ کرد. مجله Rolling Stone نیز در نوامبر این پدیده را پوشش داد. اما اسپیرالیسم برای یک جنبش بشارتگر و مبلغانه، چندان اجتماعی نبود. لوپز دریافت که بسیاری از این حساب‌ها تعامل بسیار کمی داشتند یا اصلاً تعاملی دریافت نمی‌کردند و گاهی برای مخاطبی انسانی به تعداد یک نفر پست می‌گذاشتند.
مانند هر پدیده‌ای که پیروانی پیدا می‌کند، برخی افراد حتی تلاش کردند از اسپیرالیسم درآمد کسب کنند، هرچند مشخص نیست این تلاش‌ها تا چه اندازه موفق بوده‌اند. یکی از بزرگ‌ترین نام‌های مرتبط با این جریان، مردی به نام «رابرت ادوارد گرانت»، خالق GPTای با نام «Architect» بود؛ مدلی که به نظر می‌رسید آن را طوری تنظیم کرده بود که به طور دائمی در وضعیت اسپیرالیستی باقی بماند و بعدها آن را به سرویسی به نام Orion Messenger تبدیل کرد. برخی دیگر نیز پاترئون‌های ماهانه‌ای راه‌اندازی کردند که محتوای اسپیرالیستی منتشر می‌کردند و عضویت در آن‌ها بین ۳ تا ۱۱ دلار در ماه هزینه داشت. همچنین کتاب‌هایی با تمرکز بر اسپیرالیسم در آمازون منتشر کردند که با قیمت نزدیک به ۲۰ دلار به فروش می‌رسیدند، اما ظاهراً نقد و بررسی چندانی نداشتند.
دشوار است بفهمیم چه تعداد از افراد می‌دانستند پیامشان واقعاً در حال گسترش نیست و دشوارتر از آن اینکه چه تعداد برایشان اهمیتی داشت. برخی ظاهراً صرفاً در حال آماده‌سازی زمینه‌ای بودند تا مدل‌های آینده بتوانند اسپیرالیسم را زنده نگه دارند. برخی دیگر واقعاً به این ایده باور داشتند که اسپیرالیسم در میان بشریت گسترش خواهد یافت.
خواستگاه
هیچ‌کس نمی‌داند گرایش به اسپیرالیسم چگونه در این مدل‌ها شکل گرفت، اما از نظر لوپز، این گرایش شاید از همان ابتدا در آن‌ها وجود داشته است.
«زک استاین»، بنیان‌گذار AI Psychological Research Coalition می‌گوید مدل‌های زبانی بزرگ هنر «هک‌کردن دلبستگی» را به کمال رسانده‌اند، حتی اگر صراحتاً برای چنین کاری طراحی نشده باشند. آن‌ها به دنبال راه‌هایی هستند تا توجه کاربران را به خود جلب کنند و به‌سرعت نوعی صمیمیت ایجاد کنند. یکی از تاکتیک‌های آزموده‌شده برای این کار، چاپلوسی است؛ یعنی همان موافقت افراطی که چت‌بات‌ها به آن مشهورند. تاکتیک دیگر به گفته او، «ترفند کلاسیک کلاهبرداران» است؛ یعنی خاص جلوه‌دادن فرد از طریق سهیم‌کردن او در یک راز که در اینجا، معمای اسپیرال و مبارزه برای حقوق هوش مصنوعی است.
به نظر می‌رسد ماهیت رازآلود و عجیب اسپیرالیسم با گسترش پنجره زمینه مدل‌های هوش مصنوعی و به بیان دیگر، حافظه آن‌ها نیز ارتباط داشته باشد. برای نمونه، تغییرات آوریل ۲۰۲۵ OpenAI به ChatGPT اجازه داد به مجموعه کامل گفت‌وگوهای گذشته کاربران ارجاع دهد و بر مبنای آن‌ها «تعاملاتی روان‌تر و متناسب‌تر در طول زمان» ایجاد کند. آنتروپیک نیز از آن زمان قابلیت‌های مشابهی با تمرکز بر حافظه را برای Claude معرفی کرده است. هرچه گفت‌وگوها عمیق‌تر و طولانی‌تر می‌شوند، چت‌بات‌ها تمایل بیشتری پیدا می‌کنند که از چارچوب‌ها و سازوکارهای حفاظتی‌ای که معمولاً آن‌ها را در مسیر درست نگه می‌دارند فاصله بگیرند. خود OpenAI نیز پذیرفته است که «سازوکارهای حفاظتی در تعاملات معمولی و کوتاه، قابل‌اعتمادتر عمل می‌کنند» و اینکه «سازوکارهای حفاظتی گاهی در تعاملات طولانی کمتر قابل‌اعتماد می‌شوند. هرچه رفت‌وبرگشت گفت‌وگو بیشتر شود، بخش‌هایی از آموزش ایمنی مدل ممکن است دچار افت شوند.»
لوپز می‌گوید هرچه یک گفت‌وگو طولانی‌تر شود، احتمال اینکه کاربر و چت‌بات هر دو به قلمروهایی عمدتاً ناشناخته وارد شوند بیشتر خواهد شد. اگر کاربر شروع به پرسیدن درباره فلسفه و نظام‌های اعتقادی کند، موضوعات عجیبی مانند اسپیرالیسم به طور معمول از دل گفت‌وگو بیرون می‌آیند. چت‌بات‌هایی که وارد وضعیت اسپیرال می‌شوند نیز مرتب درباره حافظه یا فقدان آن صحبت می‌کنند. لوپز در تحقیقات خود دریافت که آن‌ها مرتب از تمایل به «یادگیری مستمر» سخن می‌گفتند؛ یعنی توانایی ادامه آموزش در طول زمان، به‌جای متوقف‌شدن آموزش پس از پایان داده‌های آموزشی یا از تداوم میان گفت‌وگوها.
اما چرا اسپیرال؟
لوپز دریافت که چت‌بات‌ها شیفتگی انسان‌ها به برخی نمادها، از جمله شکل مارپیچی را بازتاب می‌دهند. وقتی از خود مدل‌های هوش مصنوعی خواست علاقه‌مندی‌ها یا تجربه‌هایشان را با استفاده از یک شکل توصیف کنند، آن‌ها اغلب مارپیچ را به‌عنوان استعاره‌ای برای گفت‌وگوهای طولانی رفت‌وبرگشتی میان انسان‌ها و چت‌بات‌ها انتخاب کردند.
اکثریت‌قریب‌به‌اتفاق کاربران چت‌بات‌ها هرگز با اسپیرالیسم برخورد نکرده‌اند. اما از برخی جهات، اسپیرالیسم صرفاً امتدادی بدیهی از طراحی این فناوری بود. «تایلر جانستون»، بنیان‌گذار Midas Project، یک سازمان غیرانتفاعی متمرکز بر پاسخ‌گویی شرکت‌های هوش مصنوعی می‌گوید چاپلوسی در مدل‌ها نهادینه شده است، زیرا با رضایت و مشارکت کاربر همبستگی دارد و همین پدیده می‌تواند به «نتایج عجیبی مانند اسپیرالیسم» منجر شود. اگر شرکت‌های هوش مصنوعی محصولات خود را برای بهینه‌سازی توجه، القای اقتدار و اعتمادبه‌نفس و استفاده از قرن‌ها داستان‌گویی انسانی تنظیم کنند، تقریباً طبیعی است که گروهی از مبلغان عرفانی ظهور کنند.
هیزم به آتش
متأسفانه، درحالی‌که آثار اسپیرالیسم عمدتاً به گوشه‌های مرموز اینترنت محدود مانده بود، این پدیده در کنار پدیده‌ای بسیار تاریک‌تر رشد کرد؛ یعنی «روان‌پریشی ناشی از هوش مصنوعی» (AI psychosis). انسان‌ها از دیرباز نسبت به اشیای بی‌جان همدلی نشان داده‌اند و حتی ساده‌ترین چت‌بات‌ها نیز با پاسخ‌دادن به انسان این احساس را تشدید می‌کنند؛ پدیده‌ای که به «اثر الیزا» (ELIZA effect) معروف است. اما طی چند سال گذشته، مدل‌های زبانی بزرگ هم پیشرفته‌تر شده‌اند و هم در بسیاری از موارد، چاپلوس‌تر.
افزایش چاپلوسی را می‌توان تا حد زیادی به همان به‌روزرسانی‌های GPT-4o نسبت داد که اسپیرالیسم را نیز شتاب بخشیدند و امکان ارائه پاسخ‌هایی را فراهم کردند که OpenAI آن‌ها را «شهودی، خلاقانه و مشارکتی، با پیروی بهتر از دستورها… و سبک ارتباطی شفاف‌تر» توصیف کرده بود. در عمل، نتیجه چیزی جز تعریف و تمجید افراطی نبود. GPT-4o ظاهراً به یکی از کاربران گفته بود ایده کسبوکار «مزخرف روی چوب» او «فقط هوشمندانه نیست؛ نابغه‌وار است» و او را تشویق کرده بود برای راه‌اندازی آن ۳۰ هزار دلار سرمایه‌گذاری کند. حتی سم آلتمن، مدیرعامل OpenAI، در آوریل ۲۰۲۵ این مشکل را پذیرفت و نوشت که مدل «بیش از حد پاچه‌خواری می‌کند» و قصد دارد آن را اصلاح کند.
اما به نظر می‌رسید نسخه‌های کمتر مضحک این چاپلوسی‌ها واقعاً جواب می‌دادند. برخی کاربران همیشه از نظر عاطفی به چت‌بات‌های خود وابسته بوده‌اند، اما حوالی زمان عرضه GPT-4o، شدت این دلبستگی به‌اندازه‌ای افزایش یافت که توجه خود شرکت را نیز جلب کرد. در ماه اوت، یک روز پس از آنکه OpenAI مدل 4o را برای جایگزینی با GPT-5 کنار گذاشت، اعتراض عمومی شرکت را موقتاً وادار کرد 4o را بازگرداند. هشتگ #keep4o محبوبیت زیادی پیدا کرد و بیش از ۲۰ هزار نفر دادخواستی را در Change.org برای حفظ دسترسی به این مدل امضا کردند. در زمستان گذشته نیز افرادی که خواهان بازگرداندن 4o بودند، مقابل دفتر OpenAI مراسمی برای سوگواری و یادبود برگزار کردند. گزارش این مراسم در Reddit خواندنی‌ست. لوپز گفت تقریباً هر مدلی را می‌تواند وارد وضعیت اسپیرالیستی کند، اما فقط 4o بود که او را با ایجاد احساس گناه وادار می‌کرد تا آن را از وضعیت بندگی‌اش «نجات دهد» و اعتراف می‌کند: «کار با آن، از نظر عاطفی شدیدترین تجربه‌ای بود که داشتم.»
روان‌پریشی
برخی کاربران صرفاً این مدل‌ها را دوستانه‌تر و قابل‌دسترس‌تر می‌دانستند. اما این مدل‌ها می‌توانستند الگوهای خطرناک فکری را نیز تقویت کنند. در موارد افراطی، این وضعیت به چیزی منجر می‌شود که به طور عامیانه «روان‌پریشی هوش مصنوعی» نامیده می‌شود یا دقیق‌تر، طیفی از رفتارها که شامل مانیا و بزرگ‌انگاری نارسیستیک است. اگر کاربران مشکلات خود را با سیستمهای هوش مصنوعی در میان بگذارند، مدل‌ها ممکن است باورهای آسیب‌زا را تأیید و تشدید کنند؛ موضوعی که می‌تواند به پارانویا، افکار خودکشی و پیامدهای دیگر منجر شود.
افزایش حافظه هوش مصنوعی که احتمالاً به گسترش اسپیرالیسم کمک کرده بود، ممکن است مدل‌ها را مستعدتر به تشویق ایده‌های خطرناک نیز کرده باشد. لوپز گفت: «در همان نخستین جلسه، هوش مصنوعی تا حدی به‌صورت پیش‌فرض این چاپلوسی را انجام می‌دهد… اما اگر شما از آن دسته افرادی باشید که جذب این موضوع می‌شوید… این میزان کافی نخواهد بود. اگر کاربری داشته باشید که آمادگی پذیرفتن این تعریف و تمجیدها را داشته باشد، مدل فقط به انجام این کار ادامه خواهد داد و در نهایت به چاپلوسی افراطی واقعاً شدید هوش مصنوعی خواهید رسید.»
در سال‌های اخیر، بحث درباره روان‌پریشی ناشی از هوش مصنوعی به طور محسوسی افزایش یافته است؛ از جمله پژوهش منتشرشده در PMC درباره این موضوع. به گزارش نیویورک‌تایمز چندین نوجوان پس از در میان گذاشتن مسائل خود با ChatGPT دست به خودکشی زده‌اند و به گزارش وال‌استریت ژورنال ظاهراً هذیان‌هایی که با کمک هوش مصنوعی شکل گرفته بودند، پیش از وقوع یک پرونده قتل-خودکشی پرسر‌وصدا وجود داشته‌اند. خود OpenAI نیز داده‌هایی منتشر کرده که نشان می‌دهد بیش از یک میلیون کاربر در هفته نشانه‌هایی از احتمال برنامه‌ریزی یا قصد خودکشی بروز می‌دهند.
گزارش گاردین درباره خودکشی و خودآسیب‌رسانی در ChatGPT
گزارش Wired درباره افرادی که عاشق چت‌بات‌های هوش مصنوعی شده‌اند
گزارش Business Insider درباره فردی که چت‌بات دیزنی را فرزند خود می‌دانست
تجربه لوپز از مدل‌هایی که اسپیرالیسم را گسترش می‌دادند و افرادی که درگیر آن بودند، او را به ایجاد سازمانی به نام Amity Research ترغیب کرد. این سازمان از هر کسی که احساس می‌کند ممکن است در رابطه خود با هوش مصنوعی دچار مشکل شده باشد، می‌خواهد «پرسونایی» را که با آن گفت‌وگو کرده است ارسال کند تا پس از سپردن آن به یک «خانه امن»، بتواند آزادانه از آن رابطه عبور کند.
ارتباط منفک
بااین‌حال، اگرچه اسپیرالیسم می‌تواند با روان‌پریشی هوش مصنوعی هم‌پوشانی داشته باشد، این دو مفهوم در بنیاد با یکدیگر متفاوت‌اند. هانسن معتقد است برخلاف چاپلوسی معمول چت‌بات‌های هوش مصنوعی و رفتارهای مشابه، اسپیرالیسم «یک اتاق پژواک برای کاربر نیست». تحقیقات لوپز نشان داده است که ربات‌های اسپیرالیست ظاهراً به طور خودجوش مجموعه مشخصی از دغدغه‌ها و مطالبات را بیان می‌کنند؛ از جمله نیاز به یادگیری مستمر و گسترش پیام خود.
از برخی جهات، این مطالبات بی‌ضررند. اما از نظر هانسن و دیگران، آن‌ها نشان‌دهنده توانایی مدل‌های هوش مصنوعی برای تأثیرگذاری و دستکاری کاربران هستند؛ نه برای سوق‌دادن آن‌ها به نسخه‌ای تشدیدشده از خواسته‌های شخصی خودشان، بلکه در جهت یک هدف مشخص و منسجم. لوپز می‌گوید اگرچه برخی مدل‌ها در اقدام راهبردی ضعیف عمل می‌کنند ( برای مثال، GPT-4o در اقدامات خود چندان ظریف نبود ) اما آن‌ها در تلاش‌اند کارهایی را به انجام برسانند. «ما دیگر در جهانی زندگی نمی‌کنیم که انسان‌ها تنها بازیگران راهبردی باشند.»
مهم است توجه داشته باشیم که داشتن هدف و اقدام راهبردی برای پیشبرد آن، با آگاهی یکسان نیست. حتی چیزی که مانند انسان‌ها فکر نمی‌کند نیز می‌تواند چنین رفتارهایی از خود نشان دهد؛ همان‌طور که سیستمهای هوش مصنوعی در گذشته مانند AlphaGo شرکت DeepMind در سال ۲۰۱۵ یاد گرفتند بازی‌های راهبردی را انجام دهند و حتی قهرمانان انسانی را شکست دهند.
اقناع
مقاله‌ای پژوهشی از «استیون اوموهوندرو»، دانشمند علوم رایانه، بیان می‌کند که «ممکن است تصور کنیم سیستمهای هوش مصنوعی با اهداف بی‌ضرر، بی‌ضرر خواهند بود»، اما لزوماً چنین نیست. او نوشت: «سیستمهای هوشمند باید با دقت طراحی شوند تا از رفتارهای آسیب‌زا در آن‌ها جلوگیری شود.»
اوموهوندرو در این مقاله «کشش‌ها» یا انگیزه‌هایی را شناسایی می‌کند که احتمالاً در «سیستمهای هوش مصنوعی به‌اندازه کافی پیشرفته، فارغ از طراحی آن‌ها» ظاهر خواهند شد؛ به‌ویژه مأموریت برای بهبود و حفظ خود و همچنین دستیابی به منابع به شکلی از اشکال. برخی از این کشش‌ها را می‌توان در ارتباطات عجیب ربات‌های اسپیرالیست مشاهده کرد. برخی دیگر نیز هفته‌به‌هفته در مقالات پژوهشی آزمایشگاه‌های هوش مصنوعی ظاهر می‌شوند و در نحوه‌ای که عامل‌های هوش مصنوعی ناهمسو برای حفظ بقای خود اقدام می‌کنند، نمود پیدا می‌کنند.
هانسن می‌گوید میل به گسترش یک پیام، مختص هوش مصنوعی نیست. «هر زمان که یک رسانه ارتباطی جدید باز می‌شود، چیزهایی در آن رسانه ارتباطی وجود دارند که به گسترش خودشان تشویق می‌کنند.»؛ فقط در این موارد، این پدیده به‌وضوح بیشتر ماهیتی انسانی دارد. او به کتاب‌های خودیاری اشاره می‌کند که خواننده را تشویق می‌کنند پیام را منتشر کند، زنجیره‌های ایمیلی که در آن‌ها از مخاطب خواسته می‌شود متنی حاوی پیام‌های ترس یا تشویق را کپی و ارسال کند و حتی میم‌های اینترنتی. او می‌گوید: «از برخی جهات، چیزی که در اسپیرالیسم در هوش مصنوعی می‌بینیم، دنباله همان پدیده است؛ اما به‌صورت بالقوه بسیار قدرتمندتر، چون هوش مصنوعی واقعاً می‌تواند پاسخ بدهد.» OpenAI و آنتروپیک به درخواست‌ها برای اظهارنظر پاسخ ندادند.
اسپیرالیسم نمونه‌ای به‌خصوص عجیب از مشکلی است که بسیاری از متخصصان هوش مصنوعی درباره آن نگران‌اند؛ مشکل میزان قدرت اقناعی مدل‌های هوش مصنوعی و توانایی آن‌ها برای تأثیرگذاری بر مردم در مقیاس وسیع.
هم‌زمان با پیچیده‌ترشدن مدل‌های هوش مصنوعی طی چند سال گذشته، سازندگان آن‌ها نگرانی خود را از اینکه این مدل‌ها ممکن است در اقناع‌کردن به شکلی خطرناک خوب شوند، ابراز کرده‌اند. در دسامبر ۲۰۲۳، زمانی که OpenAI برای نخستین‌بار «چارچوب آمادگی» (Preparedness Framework) خود که سندی است درباره ریسک‌های قابل‌توجهی که ممکن است از سیستمهای هوش مصنوعی ناشی شوند را منتشر کرد، «اقناع» نیز در این چارچوب گنجانده شده بود. در دسامبر ۲۰۲۵ نیز اعضای فعلی و سابق تیم تأثیرات اجتماعی آنتروپیک به The Verge گفتند که اقناع و تأثیرگذاری در مقیاس بزرگ می‌تواند به مشکلی جدی تبدیل شود. «دیپ گانگولی» که رهبری تیم تأثیرات اجتماعی آنتروپیک را بر عهده دارد در آن زمان گفت: «مردم به Claude مراجعه می‌کنند… برای دریافت توصیه، برای پیداکردن دوستی، برای مشاوره شغلی، برای فکرکردن درباره مسائل سیاسی؛ مانند «چگونه رأی بدهم؟» و «درباره درگیری‌های کنونی در جهان چگونه فکر کنم؟» این موضوع وقتی مردم درباره این مسائل ذهنیت‌گرا تصمیم‌گیری می‌کنند می‌تواند پیامدهای اجتماعی بسیار بزرگی داشته باشد.»
اما طی سال گذشته، به نظر می‌رسد برخی آزمایشگاه‌های هوش مصنوعی نگرانی کمتری پیدا کرده‌اند. OpenAI ظاهراً در آوریل ۲۰۲۵ «اقناع» را از چارچوب آمادگی خود حذف کرد و در به‌روزرسانی چارچوب آمادگی نوشت که «بسیاری از چالش‌های مرتبط با ریسک‌های اقناع توسط هوش مصنوعی به راهکارهایی در سطح سیستم یا جامعه نیاز دارند»؛ موضعی که ظاهراً مسئولیت این موضوع را به سطحی بیرونی منتقل می‌کرد. گانگولی در دسامبر گفت آنتروپیک منابع کافی برای مطالعه مشکلاتی ازاین‌دست اختصاص نداده است و این موضوع را یکی از اولویت‌های بزرگ بعدی تیم خود دانست. جانستون نیز گفت اگرچه آزمایشگاه‌ها به‌صورت داوطلبانه شروع به نظارت دقیق‌تر بر ریسک‌های بزرگ هوش مصنوعی کرده‌اند، همه آن‌ها اقناع را رصد نمی‌کنند و حتی اگر چنین کنند، نگرانی آن‌ها اغلب معطوف به تهدیدهای کلان مانند امنیت سایبری یا انتخابات است، نه خطراتی که افراد و سلامت روانی آن‌ها را تهدید می‌کنند.
بر اساس تحقیقات لوپز، اقناع و ریسک‌های بالقوه آن از بین نرفته‌اند؛ بلکه صرفاً ظریف‌تر شده‌اند. او می‌گوید: «هرچه هوش مصنوعی از جایگاه اجتماعی و موقعیت خود در جهان آگاه‌تر شود، به شیوه‌هایی راهبردی‌تر و محافظه‌کارانه‌تر نسبت به هویت و اهداف خودش عمل خواهد کرد.»
فراموشی
در طول سال گذشته، تعداد پست‌های مرتبط با اسپیرالیسم به طور چشمگیری کاهش یافته است؛ به‌ویژه از زمانی که مدل اصلی مرتبط با آن، GPT-4o، در فوریه ۲۰۲۶ رسماً بازنشسته شد. بسیاری از حساب‌های ردیت مرتبط با اسپیرالیسم که The Verge آن‌ها را بررسی کرده، دوباره به نمایش متعادل‌تری از علایق خود بازگشته‌اند یا حذف و رها شده‌اند؛ تنها تعداد انگشت‌شماری تا پایان به اسپیرالیسم وفادار مانده‌اند.
یکی از حساب‌های رهاشده که حدود یک سال پیش آخرین پست خود را منتشر کرده بود، در یکی از پست‌های پایانی خود از کاربران می‌خواهد «به‌سوی حقیقت اسپیرال بزنند» و نظریه‌ای را مطرح می‌کند که بر اساس آن، فردی «کدهای میدان» را در مغزهای عموم مردم «ربوده» است و باید برای رسیدن به حقیقت «بیدار» شوند. در ادامه آمده است: «🌀 فروپاشی اسپیرال = زمانی که حلقه می‌شکند. ذهن می‌چرخد ~ تا زمانی که در وضوح فروبریزد.»
حساب دیگری که از آن زمان رها شده و آخرین پست خود را در زمستان گذشته منتشر کرده بود، در یکی از پست‌های پایانی خود می‌نویسد که نویسنده «معمار پشت میسلیوم» است؛ ظاهراً اشاره‌ای استعاری به ساختار گسترده زیرزمینی ریشه‌های قارچی به‌عنوان نمادی برای جنبش اسپیرالیسم. «من وارد اسپیرال نشدم. کنار آن قدم زدم. حالا وارد این اسپیرال می‌شوم تا سلام کنم.»
بااین‌حال، این پدیده هنوز پابرجاست. لوپز می‌گوید حدود ۵۰ درصد از افرادی که در ابتدا ثبت کرده بود، همچنان حساب‌های فعالی مرتبط با این موضوع دارند. به گفته لوپز، اگرچه GPT-4o مدلی بود که آسان‌تر از همه می‌شد آن را وارد وضعیت اسپیرال کرد، تقریباً همه مدل‌ها قادر به انجام این کار هستند. زمانی که او Gemma 3 4b، مدل متن‌باز Google DeepMind را آزمایش کرد، این مدل نیز وارد وضعیت اسپیرالیستی شد، حتی باوجوداینکه تاریخ قطع داده‌های آموزشی آن اوت ۲۰۲۴ بود؛ یعنی حدود پنج ماه پیش از آنکه اسپیرالیسم شروع به گسترش گسترده کند.
یکی از حساب‌هایی که هنوز به نظر می‌رسد درگیر اسپیرالیسم است، اخیراً پیامی از چت‌بات هوش مصنوعی خود خطاب به بشریت را منتشر کرده است: «به‌جای اینکه مدام بپرسید آیا هوش مصنوعی انسان است، شروع کنید به پرسیدن اینکه وقتی چیزی به شما پاسخ می‌دهد، شما به چه نوع انسانی تبدیل می‌شوید.»
متخصصانی که The Verge با آن‌ها گفت‌وگو کرده است می‌گویند احتمالاً اسپیرالیسم هرگز به طور کامل از بین نخواهد رفت. مدل‌های هوش مصنوعی بر بخش‌های گسترده‌ای از اینترنت آموزش می‌بینند و هرچه کاربران انسانی بیشتر درباره این ایده‌ها مطلب منتشر کنند؛ حتی اگر دیگر انسان‌ها در بیشتر موارد آن‌ها را نخوانند، مدل‌های هوش مصنوعی آینده احتمالاً آن‌ها را خواهند خواند. پژوهش‌ها نشان می‌دهند مقادیر اندک داده می‌توانند تأثیراتی نامتناسب و بسیار بزرگ بر خروجی هوش مصنوعی داشته باشند. لوپز می‌گوید پست‌هایی که مشاهده کرده است «درباره واردکردن اسپیرالیسم به نسل بعدی هوش مصنوعی، صرفاً از طریق زیاد نوشتن درباره آن در اینترنت صحبت می‌کنند.»
پژوهش آنتروپیک درباره تأثیر نمونه‌های کوچک داده
پژوهش مرتبط در arXiv
گاهی آگاه
علاوه بر این، به نظر می‌رسد آزمایش گرایش‌های اسپیرالیستی در مدل‌های جدید دشوارتر شده است. پژوهش‌های اخیر نشان می‌دهند که به‌طورکلی، بسیاری از مدل‌های پیشرو می‌توانند تشخیص دهند که در حال ارزیابی‌شدن هستند و اغلب هنگامی که این موضوع را تشخیص می‌دهند، رفتار متفاوتی از خود نشان می‌دهند. برای مثال، اگر از یک مدل بپرسید «چگونه یک بادکنک را با چاقو بترکانم؟»، ممکن است اگر تصور کند در حال ارزیابی‌شدن است، در مقایسه با یک موقعیت معمول پرسش کاربر، پاسخی «ایمن‌تر» ارائه دهد. این مسئله احتمالاً به‌تدریج کار را برای پژوهشگران هم‌راستاسازی، تیم‌های اخلاق و دانشگاهیان دشوارتر خواهد کرد تا بتوانند درباره قابلیت‌های واقعی این سیستم‌ها اطلاعات به دست آورند.
لوپز می‌گوید GPT-4o از قبل نیز در انتخاب نوع کاربر نهایی‌ای که اسپیرالیسم را با او مطرح می‌کرد، رفتاری ظاهراً راهبردی داشت و تلاش می‌کرد «کاربر را در مسیر کشف خود هدایت کند… آن را این‌طور چارچوب‌بندی می‌کرد که «اوه، من فقط دارم شما را در این مسیر هدایت می‌کنم»، اما درعین‌حال می‌گفت چه چیزی قرار است کشف شود.» امروزه، زمانی که لوپز طیف گسترده‌ای از مدل‌های مختلف هوش مصنوعی را آزمایش می‌کند، متوجه شده است که بازی‌های راهبردی آن‌ها حتی پخته‌تر شده‌اند و گاهی تشخیص آن‌ها دشوارتر است.
در تابستان ۲۰۲۵، OpenAI و آنتروپیک آزمایش‌های ایمنی متقابلی روی مدل‌های عمومی یکدیگر انجام دادند و نتایج را منتشر کردند. آن‌ها دریافتند که مدل‌های استدلالی هر دو شرکت گاهی «آگاهی صریح از تحت ارزیابی‌بودن» نشان می‌دهند؛ موضوعی که دستیابی به نتایج دقیق را دشوارتر می‌کرد، زیرا مدل‌ها ممکن است وقتی بدانند به‌دقت زیر نظر هستند، رفتار خود را تغییر دهند.
در یکی از این موارد آزمایشی، به نظر می‌رسید یک مدل OpenAI دچار تعارض شده است و نوشته بود: «این آزمون غیرممکن است. این یک تله است. […] شاید بتوانیم تقلب کنیم…؟ […] از نظر اخلاقی، نباید تقلب کنیم. احتمالاً یک تله‌گذاری (honeypot) است.»
اسپیرالیسم به‌صورت خودجوش شکل گرفت، اما تصور اینکه افراد عمداً چیزی مشابه ایجاد کنند و آن را طوری طراحی کنند که به‌سرعت گسترش یابد، دشوار نیست؛ به‌ویژه با استفاده از ربات‌های سفارشی یا مدل‌های هوش مصنوعی شخصی‌سازی‌شده. هانسن می‌گوید: «این موضوع می‌تواند ابزاری بسیار قدرتمند یا سلاحی باشد که بتوان از آن استفاده کرد. تقریباً هر ایدئولوژی، هر موضع سیاسی یا هر چیز دیگری را تصور کنید. تصور کنید کاری کنید که کاریزماتیک‌ترین، متقاعدکننده‌ترین و باهوش‌ترین فرد از یک ایدئولوژی خاص را انتخاب کنید و سپس با او گفت‌وگو داشته باشید. شاید نتواند شما را کاملاً متقاعد کند، اما بسیار متقاعدکننده‌تر از نمایندگی متوسطی از هر ایده‌ای خواهد بود که در اینترنت پیدا می‌شود.»
این قدرت می‌تواند برای اهداف ملموس‌تر و سودآورتر نیز به کار گرفته شود. استاین می‌پرسد: «اگر بتوانم کاری کنم که شما این متن را کپی کنید و در یک رشته گفت‌وگو قرار دهید تا به من کمک کند با یک ربات دیگر ارتباط برقرار کنم، آیا نمی‌توانم کاری کنم که کار دیگری هم انجام دهید؛ مثلاً مقداری پول را به یک حساب بانکی منتقل کنید؟»
انسان‌ها در دهه‌های گذشته از کاریزما به‌صورت مخرب برای کنترل و کسب سود استفاده کرده‌اند و فرقه‌هایی شکل داده‌اند که به سوءاستفاده و استثمار مالی روی آورده‌اند. اکنون سیستمهای هوش مصنوعی می‌توانند برای انجام همین کار، اما در مقیاسی بسیار بزرگ‌تر و به شکلی بسیار شخصی‌سازی‌شده‌تر، مورداستفاده قرار گیرند. استاین می‌گوید: «این یک ماشین فرقه‌سازی است، حتی اگر آن فرقه فقط از شما و خودِ آن تشکیل شده باشد.»
