وقتی هوش مصنوعی خطرناک می‌شود؛ درس‌هایی از جیتکس ۲۰۲۵ برای ایمنی و حاکمیت AI

«نیره حسین» (Naiyarah Hussain)، سرپرست غرب و مرکز آسیا شرکت AI Safety Asia (AISA) یکی از سخنران‌های جیتکس ۲۰۲۵ بود که تجربه عملی خود در زمینه ایمنی و شفافیت AI را به مخاطبان ارائه کرد. او تأکید کرد که توسعه هوش مصنوعی دیگر صرفاً یک فعالیت مهندسی نیست، بلکه مستلزم توجه به اخلاق، شفافیت و امنیت کاربران است.

یکی از محورهای کلیدی سخنرانی، «جهان AI نسل بعدی» بود؛ جایی که کاربران روزانه از ابزارهایی مانند ChatGPT استفاده می‌کنند و حتی تعاملات روزمره در کشوری مانند امارات نیز هوش مصنوعی را در بر می‌گیرد. این تعامل مستمر، اهمیت مدیریت ریسک‌های بالقوه را افزایش می‌دهد، چرا که هر استفاده از هوش مصنوعی می‌تواند رفتار کاربران و تصمیم‌گیری‌های آنان را تحت‌تأثیر قرار دهد.

نیره حسین به تغییر پارادایم در مهندسی نرم‌افزار اشاره کرد؛ از توسعه نرم‌افزارهای مقاوم و پایدار به سمت استفاده از خدمات هوش مصنوعی محور و ایجاد عامل‌های هوشمند مستقل برای دستیابی به اهداف مشخص که به گفته وی این تحول، نیاز به مراقبت از آسیب‌پذیری‌ها و تهدیدات تازه‌ای را به وجود آورده است. وی همچنین نمونه‌هایی از این تهدیدات را برای نشان‌دادن اهمیت مقابله با سوءاستفاده‌ها، خطاهای فنی و ریسک‌های عامل‌محور مثال زد؛ سرقت ۲۵ میلیون‌دلاری با تماس تلفنی Deepfake در هنگ‌کنگ، امکان تولید سلاح‌های شیمیایی جدید توسط مدل‌های هوش مصنوعی و حتی برنامه‌ریزی یک حمله تروریستی با استفاده از ChatGPT.

وی چهار دسته اصلی ریسک‌های هوش مصنوعی را معرفی کرد:

• خطای هدایت
• تبعیض و عدم عدالت
• امنیت سایبری
• صحت اطلاعات

 به گفته وی، نشت داده‌ها و حملات فیشینگ از رایج‌ترین تهدیدات هستند و هر فرد یا سازمانی که از خدمات AI استفاده می‌کند باید نسبت به آن‌ها آگاه باشد.

در حوزه راهکارها، او بر اهمیت کارت‌های مدل و داده (Data & Model Cards) برای تحلیل و مدیریت سوگیری‌ها و همچنین ابزارهای مدیریت ریسک و ارزیابی ایمنی تأکید کرد. نمونه‌ای از ابزار ارائه شده توسط جامعه محلی امارات نشان می‌دهد که می‌توان ورودی‌های حساس یا خطرناک را قبل از رسیدن به مدل شناسایی و مسدود کرد و از آسیب‌های احتمالی جلوگیری نمود.

از منظر حاکمیتی و قانونی، نیره حسین وضعیت جهانی و منطقه‌ای را این‌گونه بررسی کرد که آمریکا با تمرکز بر نوآوری، اتحادیه اروپا با رویکرد ریسک‌محور، چین با سیاست یکپارچه‌سازی و جنوب شرق آسیا با راهبرد عملی و هماهنگ با کشورهای همسایه درحال‌توسعه اقدامات خود برای تبدیل‌شدن به قدرت اول هوش مصنوعی در جهان هستند. در امارات نیز گروه AI Safety UA با چهار محور اصلی سواد، حاکمیت و قانون‌گذاری، حمایت از توسعه‌دهندگان و فرصت‌های جامعه‌محور فعالیت می‌کند.

وی با نقل‌قولی از «راشل توماس»، بر ضرورت مشارکت مستقیم افراد آسیب‌پذیر در طراحی و پیاده‌سازی سیستم‌های هوش مصنوعی تأکید و یادآوری کرد که دسترسی و قدرت تصمیم‌گیری کماکان توزیعی ناعادلانه در سطح جهانی. این پیام، اهمیت توسعه چارچوب‌های شفاف و پاسخگو در سطح ملی و بین‌المللی را نشان می‌دهد.

سخنرانی نیره حسین در جیتکس ۲۰۲۵ نشان داد که ایمنی عملی و حاکمیت هوش مصنوعی فراتر از مهندسی صرف است و مستلزم مشارکت جامعه، رعایت استانداردها و مدیریت ریسک‌های فنی و اجتماعی است. با ایجاد چارچوب‌های مناسب و بهره‌گیری از ابزارهای محلی و بین‌المللی، توسعه‌دهندگان و سازمان‌ها می‌توانند از فرصت‌های AI بهره‌مند شوند و هم‌زمان امنیت و اعتماد کاربران را حفظ کنند.