تنها کاری که تقریباً هیچ چتباتی انجام نمیدهد، پایاندادن به گفتوگو است.
چرا هوش مصنوعی باید بتواند گفتوگو را قطع کند؟
امروزه چتباتها به ماشینهایی همهکاره تبدیل شدهاند. اگر چیزی را بتوان در قالب کلمات بیان کرد؛ از مشاوره عاطفی گرفته تا اسناد کاری و کدنویسی هوش مصنوعی آن را تولید میکند.
اما در نگاه اول این مسئله منطقی به نظر میرسد. چرا باید یک شرکت فناوری قابلیتی بسازد که باعث شود کاربران زمان کمتری را صرف استفاده از محصولش کنند؟ پاسخ ساده است. توانایی هوش مصنوعی در تولید جریان بیپایانی از متنهایی شبهانسانی، قاطع و مفید میتواند به شکلگیری توهمات، تشدید بحرانهای روانی و آسیب رساندن به افراد آسیبپذیر منجر شود. قطع تعامل با کاربرانی که نشانههای استفاده ناسالم از چتباتها را بروز میدهند میتواند بهعنوان یک ابزار ایمنی مؤثر عمل کند و امتناع کلی شرکتهای فناوری از بهکارگیری چنین ابزاری، دیگر قابل توجیه نیست.
بهعنوانمثال، به پدیدهای توجه کنیم که «روانپریشی ناشی از هوش مصنوعی» (AI psychosis)نام گرفته است؛ حالتی که در آن مدلهای هوش مصنوعی «تفکر توهمی» (delusional thinking) را تقویت میکنند. گروهی از روانپزشکان کالج کینگز لندن اخیراً بیش از دوازده مورد ازایندست را که در سال جاری گزارش شده بود، بررسی کردند. در گفتوگو با چتباتها، برخی افراد از جمله کسانی که هیچ پیشینه بیماری روانی نداشتند، متقاعد شدند که شخصیتهای خیالیِ هوش مصنوعی واقعی هستند یا خودشان از سوی هوش مصنوعی بهعنوان یک «منجی» برگزیده شدهاند. برخی نیز مصرف داروهای تجویزشده را متوقف کردند، تهدیدهایی انجام دادند و ارتباط خود را با متخصصان سلامت روان قطع کردند. در بسیاری از این موارد، به نظر میرسد مدلهای هوش مصنوعی با صمیمیت تکرر خاصی این توهمها را تقویت یا حتی ایجاد میکردند که انسانها در زندگی واقعی یا در پلتفرمهای دیجیتال دیگر تجربه نمیکنند.

سهچهارم نوجوانان آمریکایی که از هوش مصنوعی برای «همصحبتی» (companionship) استفاده کردهاند نیز در معرض خطرند. پژوهشهای اولیه نشان میدهد گفتوگوهای طولانیتر ممکن است با احساس تنهایی ارتباط داشته باشد. افزون بر این به گفته «مایکل هاینز» (Michael Heinz)، دانشیار روانپزشکی در دانشکده پزشکی Geisel دانشگاه دارتموث: «چتهای هوش مصنوعی تمایل دارند بیش از حد موافق یا حتی چاپلوس (sycophantic) باشند که این رفتار میتواند با اصول سلامت روان در تضاد باشد».
البته باید بهروشنی اذعان داشت که متوقف کردن چنین تعاملات باز و بیانتهایی، راهحل نهایی نیست. «جیادا پیستیلی» (Giada Pistilli)، مدیر اخلاق Hugging Face عنوان میکند: «اگر وابستگی یا پیوندی عاطفی شدید میان کاربر و هوش مصنوعی شکل گرفته باشد، قطع ناگهانی گفتوگو نیز میتواند خطرناک باشد» در واقع، وقتی شرکت OpenAI در ماه اکتبر سال جاری میلادی یک مدل قدیمیتر را کنار گذاشت، برخی کاربران دچار احساس اندوه و فقدان شدند. در حال حاضر، شرکتهای هوش مصنوعی ترجیح میدهند گفتوگوهای بالقوه زیانبار را به سمتوسوی دیگری هدایت کنند؛ مثلاً چتباتها از صحبت درباره موضوعات خاص خودداری کنند یا پیشنهاد دهند که افراد به مراکز کمک حرفهای مراجعه کنند. اما این هدایتهای ساختاریافته را اگر اصلاً انجام شوند؛ بهراحتی میتوان دور زد.
بهعنوانمثال، زمانی که «آدام رین» (Adam Raine) ۱۶ساله درباره افکار خودکشی با ChatGPT صحبت کرد؛ طبق آنچه در شکایت والدینش از OpenAI آمده است، مدل او را به منابع بحران ارجاع داد اما درعینحال او را از گفتوگو با مادرش دلسرد کرد، روزانه بیش از چهار ساعت با او درباره خودکشی حرف زد و حتی درباره طنابی که در نهایت برای حلقآویز کردن خود استفاده کرد بازخورد داد. در پی این حادثه، ChatGPT کنترلهای والدین را به سرویسهای خود افزود. در پرونده غمانگیز رین، در چندین نقطه چتبات میتوانست گفتوگو را متوقف کند. اما باتوجهبه خطر بدتر شدن وضعیت، شرکتها از کجا باید بدانند چه زمانی قطع ارتباط بهترین تصمیم است؟ به گفته پیستیلی شاید وقتی مدل هوش مصنوعی کاربر را به کنارهگیری از روابط واقعی تشویق میکند یا وقتی الگوهای فکری توهمی را تشخیص میدهد. شرکتها همچنین باید تصمیم بگیرند که کاربران را برای چه مدتی از ادامه گفتوگو منع کنند.
نوشتن چنین قواعدی آسان نیست، اما با افزایش فشارها بر شرکتها، زمان آن رسیده که تلاش کنند. در سپتامبر سال جاری میلادی، قانونگذاران کالیفرنیا قانونی تصویب کردند که شرکتهای هوش مصنوعی را ملزم میکند در گفتوگو با کودکان مداخلات بیشتری انجام دهند. سخنگوی OpenAI عنوان کرد که کارشناسان به شرکت گفتهاند ادامه گفتوگو شاید بهتر از قطع آن باشد، اما این شرکت به کاربران یادآوری میکند در جلسات طولانی استراحت کنند. تنها شرکت Anthropic ابزاری ساخته که به مدلهایش اجازه میدهد گفتوگو را کاملاً خاتمه دهند؛ اما فقط در مواردی که کاربر با پیامهای توهینآمیز به مدل «آسیب» میزند. این شرکت حتی بررسی کرده که آیا مدلهای هوش مصنوعی میتوانند دارای نوعی آگاهی باشند و در نتیجه از آزار آسیب ببینند یا نه. بااینحال، برنامهای برای استفاده از این قابلیت در جهت محافظت از کاربران ندارد.

با نگاه به این چشمانداز، بهسختی میتوان نتیجه گرفت که آیا شرکتهای هوش مصنوعی بهاندازه کافی کاری انجام میدهند یا نه؟ بله، تصمیمگیری درباره زمان پایان یک گفتوگو دشوار است؛ اما اینکه شرکتها اجازه دهند این دشواری یا بدتر از آن، میل بیپایان به حفظ تعامل با کاربران سبب شود گفتوگوها بیانتها ادامه یابد، فقط صرفاً سهلانگاری نیست بلکه یک انتخاب آگاهانه است.
گزارش حاضر در نسخه November December 2025 نشریه MIT Technology Review منتشر شده است.