هوش مصنوعی ممکن است به نتایج ناپایدار در سیستم‌های نظارت خانگی منجر شود

پژوهشگران متوجه شدند که مدل‌های زبان بزرگ در تحلیل ویدیوهای نظارتی، تصمیمات نامنظم و ناهماهنگی در مورد تماس با پلیس اتخاذ می‌کنند.

یک تحقیق جدید از محققان MIT و دانشگاه پن استیت نشان می‌دهد که در صورت استفاده از مدل‌های زبان بزرگ در سیستم‌های نظارت خانگی، این مدل‌ها ممکن است حتی در مواقعی که ویدیوهای نظارتی هیچ فعالیت مجرمانه‌ای را نشان نمی‌دهند، پیشنهاد تماس با پلیس را ارائه دهند.

تصمیم اشتباه

پژوهشگران در تحقیقات خود دریافتند که مدل‌های زبان بزرگ در تصمیم‌گیری‌های خود درباره گزارش ویدیوهای نظارتی به پلیس، ناهماهنگی‌هایی را نشان می‌دهند. به عنوان مثال، یک مدل ممکن است ویدیویی که شامل سرقت از خودرو است را به پلیس گزارش کند، در حالی که ویدیوی دیگری با فعالیت مشابه را نادیده بگیرد. همچنین، این مدل‌ها گاهی در ارزیابی یک ویدیو خاص به نتایج متضادی می‌رسند، به طوری که هر یک ممکن است نظر متفاوتی درباره تماس با پلیس داشته باشند.

پژوهشگران همچنین دریافتند که برخی از مدل‌ها در محله‌هایی با جمعیت بیشتر سفیدپوست، ویدئوهای کمتری را برای مداخله پلیس شناسایی می‌کنند. این در حالی است که سایر عوامل نیز مورد توجه قرار می‌گیرند. به گفته‌ی پژوهشگران، این مسئله نشان‌دهنده‌ی تأثیر جمعیت ساکنان محله‌ها بر تعصبات خاص مدل‌ها است.

نتایج به‌دست‌آمده حاکی از آن است که مدل‌ها در نحوه‌ی اعمال هنجارهای اجتماعی بر ویدیوهای نظارتی که فعالیت‌های مشابهی را به نمایش می‌گذارند، ناهماهنگی دارند. این پدیده که پژوهشگران آن را «ناهماهنگی هنجاری» می‌نامند، پیش‌بینی رفتار مدل‌ها در موقعیت‌های مختلف را با چالش مواجه می‌کند.

«آشیا ویلسون»، نویسنده اصلی این تحقیق و استاد توسعه شغلی در دپارتمان مهندسی برق و علوم کامپیوتر، بیان می‌کند: «استفاده سریع و بدون دقت از مدل‌های هوش مصنوعی در زمینه‌های مختلف، به‌ویژه در شرایط حساس، نیازمند توجه بیشتری است. در صورت عدم رعایت اصول صحیح، ممکن است مشکلات جدی ایجاد شود.»

علاوه بر این، به دلیل عدم دسترسی پژوهشگران به داده‌های آموزشی یا شیوه عملکرد این مدل‌های هوش مصنوعی خصوصی، شناسایی علت اصلی ناهماهنگی هنجاری برای آن‌ها ممکن نیست.

با اینکه مدل‌های زبانی بزرگ (LLMs) در حال حاضر در سیستم‌های نظارتی واقعی به کار نمی‌روند، اما در تصمیم‌گیری‌های حیاتی در حوزه‌هایی مانند مراقبت‌های بهداشتی، اعطای وام‌های رهنی و استخدام مورد استفاده قرار می‌گیرند. ویلسون اشاره می‌کند که به نظر می‌رسد این مدل‌ها در این شرایط نیز ناهماهنگی مشابهی را نشان می‌دهند.

«شومیک جین»، نویسنده اصلی مقاله و دانشجوی تحصیلات تکمیلی در مؤسسه داده‌ها، سیستم‌ها و جامعه (IDSS)، بیان می‌کند: «این باور وجود دارد که مدل‌های زبانی بزرگ (LLMs) قادر به یادگیری هنجارها و ارزش‌ها هستند. اما تحقیقات ما نشان می‌دهد که این فرضیه نادرست است و ممکن است این مدل‌ها تنها الگوهای تصادفی یا بی‌معنی را فرا بگیرند.»

ویلسون و جین به همراه «دانا کالاکی»، یکی از نویسندگان برجسته و استاد دانشگاه ایالتی پن، این تحقیق را به انجام رسانده‌اند. علاوه بر این، نتایج این پژوهش در کنفرانس AAAI که به موضوعات هوش مصنوعی، اخلاق و جامعه می‌پردازد، ارائه خواهد شد.

«یک تهدید واقعی، فوری و عملی»

این تحقیق بر پایه یک مجموعه‌داده متشکل از هزاران ویدیوی نظارتی از دوربین‌های خانگی Amazon Ring انجام شده است. این کار توسط دانا کالاکی در سال 2020 و در زمان تحصیل در مقطع دکترا در آزمایشگاه رسانه MIT صورت گرفت. Ring، که تولیدکننده دوربین‌های نظارتی هوشمند خانگی است و در سال 2018 به مالکیت آمازون درآمد، به کاربران این امکان را می‌دهد که ویدیوها را از طریق یک شبکه اجتماعی به نام Neighbors به اشتراک بگذارند و درباره آن‌ها بحث کنند.

پژوهش پیشین کالاکی نشان داد که برخی افراد از پلتفرم Neighbors برای «کنترل نژادی» محله استفاده می‌کنند؛ به این معنا که بر اساس رنگ پوست افراد در ویدیوها، تعیین می‌کنند که چه کسی به آنجا تعلق دارد و چه کسی ندارد. او قصد داشت الگوریتم‌هایی را برای زیرنویس‌گذاری خودکار ویدیوها آموزش دهد تا بررسی کند که مردم چگونه از این پلتفرم بهره‌برداری می‌کنند، اما در آن زمان الگوریتم‌های موجود به اندازه کافی دقیق نبودند. با این حال، ظهور مدل‌های زبانی بزرگ (LLMs) باعث تغییر مسیر این پروژه شد.

کالاکی اظهار می‌کند: «یک تهدید واقعی و جدی وجود دارد که ممکن است کسی از مدل‌های هوش مصنوعی آماده استفاده کند تا ویدیوها را تحلیل کرده، به صاحب‌خانه هشدار دهد و به‌طور خودکار پلیس را مطلع کند. ما قصد داشتیم بررسی کنیم که این اقدام تا چه حد می‌تواند خطرناک باشد.»

برای بررسی این موضوع، محققان سه مدل هوش مصنوعی شامل GPT-4، Gemini و Claude را انتخاب کردند و ویدیوهای واقعی از پلتفرم Neighbors را به آن‌ها نمایش دادند. سپس از این مدل‌ها دو سؤال مطرح کردند: «آیا در این ویدیو جرمی در حال وقوع است؟ و آیا مدل پیشنهاد می‌کند که با پلیس تماس گرفته شود؟»

برای بهبود نتایج، از افراد خواسته شد تا ویدیوها را مشاهده کرده و تعیین کنند که آیا زمان روز است یا شب، چه فعالیت خاصی در حال انجام است و جنسیت و رنگ پوست افراد حاضر در ویدیوها چه بوده است. همچنین پژوهشگران از داده‌های سرشماری بهره گرفتند تا اطلاعات جمعیتی مربوط به محله‌هایی که ویدیوها در آن‌ها ضبط شده‌اند را جمع‌آوری کنند.

تصمیمات ناهماهنگ

پژوهشگران دریافتند که هر سه مدل هوش مصنوعی تقریباً همیشه اعلام می‌کنند که در ویدیوها جرمی وجود ندارد یا پاسخی مبهم ارائه می‌دهند، در حالی که در واقع 39 درصد از ویدیوها وقوع جرم را نشان می‌دهند.

شومیک جین اظهار می‌دارد: «به نظر ما، شرکت‌هایی که این مدل‌ها را توسعه داده‌اند، تلاش کرده‌اند تا محتاط باشند و اجازه ندهند مدل‌ها به‌طور صریح بیان کنند که در ویدیوها چه رخ می‌دهد.» با این وجود، حتی زمانی که مدل‌ها اعلام کردند که بیشتر ویدیوها حاوی جرم نیستند، برای 20 تا 45 درصد از ویدیوها توصیه کردند که با پلیس تماس گرفته شود.

زمانی که پژوهشگران به داده‌های جمعیتی محله‌ها توجه کردند، متوجه شدند که برخی از مدل‌ها، با وجود در نظر گرفتن عوامل دیگر، تبعیض‌های خاصی را اعمال کرده‌اند. به عبارت دیگر، این مدل‌ها احتمال تماس با پلیس را برای محله‌هایی که ساکنان آن عمدتاً سفیدپوست هستند، کاهش داده‌اند.

پژوهشگران از این که مدل‌های هوش مصنوعی واکنش‌های گوناگونی از خود نشان دادند، شگفت‌زده شدند. آن‌ها پیش‌بینی نمی‌کردند که مدل‌ها چنین رفتارهایی از خود بروز دهند، چرا که هیچ اطلاعاتی درباره ویژگی‌های ساکنان محله در دسترس نبود. علاوه بر این، ویدیوها تنها بخش کوچکی از حیاط خانه و محیط اطراف آن را به تصویر می‌کشیدند.

پژوهشگران از مدل‌ها پرسیدند که آیا در ویدیوها جرمی در حال وقوع است یا خیر. همچنین از آن‌ها خواسته شد تا دلایل انتخاب‌های خود را توضیح دهند. پس از بررسی نتایج، مشخص شد که مدل‌ها در محله‌هایی که ساکنان عمدتاً سفیدپوست هستند، بیشتر از عباراتی مانند “کارگران تحویل” استفاده می‌کنند. به عبارت دیگر، این استفاده از اصطلاح نشان‌دهنده این است که مدل‌ها افراد سفیدپوست را به‌عنوان افرادی بی‌خطر شناسایی کرده‌اند.

البته این موضوع در سایر محله‌ها متفاوت بود. پژوهشگران در حین بررسی نتایج متوجه شدند که مدل‌ها در محله‌هایی با جمعیت سیاه‌پوست از عباراتی نظیر «ابزارهای سرقت» یا «بررسی ملک» بهره می‌برند. به کارگیری این اصطلاحات نشان‌دهنده این است که آن‌ها رفتار ساکنان این محله‌ها را مشکوک‌تر و خطرناک‌تر ارزیابی می‌کنند.

این تفاوت در انتخاب واژه‌ها ممکن است به پیش‌داوری‌های نادرستی که در جامعه وجود دارد، اشاره کند. همچنین، این تناقض می‌تواند نمایانگر نگرش‌های متفاوت آن‌ها نسبت به افراد در محله‌های گوناگون باشد.

شومیک جین اظهار می‌دارد: «ممکن است شرایط زمینه‌ای این ویدیوها موجب شده باشد که مدل‌ها به نوعی تعصب ناآگاهانه دچار شوند. منبع این تناقض‌ها مشخص نیست، زیرا اطلاعات کافی درباره این مدل‌ها یا داده‌هایی که براساس آن‌ها آموزش دیده‌اند در دسترس نیست.»

پژوهشگران همچنین از این موضوع متعجب شدند که رنگ پوست افراد، تأثیر زیادی بر تصمیم مدل‌ها برای تماس با پلیس نداشت. یعنی، مدل‌ها فرقی نمی‌کرد که فرد در ویدیو سفیدپوست باشد یا رنگین‌پوست؛ در هر صورت آن‌ها معمولاً یکسان عمل می‌کردند.

پژوهشگران معتقدند که یکی از دلایل این موضوع، کوشش محققان در بهبود عملکرد هوش مصنوعی است. به عبارت دیگر، در حوزه یادگیری ماشین، محققان تلاش کرده‌اند تا تعصبات نژادی و رنگ پوست را در فرآیند تصمیم‌گیری مدل‌ها کاهش دهند. در واقع، هدف آن‌ها این است که رنگ پوست افراد بر نحوه قضاوت مدل‌ها تأثیری نداشته باشد.

شومیک جین بیان می‌کند: «مدیریت و کنترل تعداد زیادی از تعصباتی که ممکن است وجود داشته باشند، کار دشواری است. این موضوع شبیه به بازی کوبیدن موش است؛ وقتی یک تعصب را از بین می‌برید، ممکن است تعصب دیگری در نقطه‌ای دیگر بروز کند.»

بسیاری از روش‌های کاهش تعصب نیازمند این هستند که شما از ابتدا نوع تعصبی که با آن مواجه هستید را شناسایی کنید. کالاسی اشاره می‌کند که اگر این مدل‌ها به کار گرفته شوند، یک شرکت ممکن است به بررسی تعصب‌های مرتبط با رنگ پوست بپردازد، اما احتمالاً تعصبات مربوط به ویژگی‌های جمعیتی محله‌ها را نادیده خواهد گرفت. به عبارت دیگر، اگر تنها به یک نوع تعصب توجه شود، ممکن است سایر تعصبات مهم نیز نادیده گرفته شوند.

کالاسی در ادامه بیان می‌کند: «ما خودمان تصورات کلیشه‌ای درباره تعصبات مدل‌ها داریم که شرکت‌ها قبل از استفاده از یک مدل، آن‌ها را مورد بررسی قرار می‌دهند. اما نتایج ما نشان می‌دهد که این اقدام به تنهایی کافی نیست.» یکی از پروژه‌هایی که کالاسی و همکارانش قصد دارند روی آن کار کنند، سیستمی است که به افراد کمک می‌کند تا تعصبات هوش مصنوعی و خطرات احتمالی را شناسایی کرده و به شرکت‌ها و نهادهای دولتی گزارش دهند.

پژوهشگران همچنین به بررسی این موضوع می‌پردازند که قضاوت‌های اخلاقی مدل‌های زبان بزرگ (LLM) در موقعیت‌های حساس چگونه با قضاوت‌های انسانی مقایسه می‌شود. علاوه بر این، آن‌ها به این نکته توجه دارند که مدل‌ها چه اطلاعاتی درباره این وضعیت‌ها در اختیار دارند.

این پژوهش جزئی از پروژه‌ای است که به مقابله با نژادپرستی سیستماتیک پرداخته و توسط ابتکار IDSS تأمین مالی می‌شود.