OpenAI به دنبال پژوهشگرانی‌ که نگران هوش‌ مصنوعی هستند

چرا بزرگ‌ترین آزمایشگاه هوش مصنوعی جهان روی «ایمنی» سرمایه‌گذاری می‌کند؟ در دنیایی که مدل‌های هوش مصنوعی با سرعتی سرسام‌آور توسعه می‌یابند، یک سوال مهم اغلب در سایه می‌ماند: آیا این سیستم‌ها واقعاً امن هستند؟

OpenAI با راه‌اندازی یک بورس پژوهشی شش‌ماهه، نشان داده که این سوال را جدی می‌گیرد. این شرکت از پژوهشگران مستقل خواسته بود تا روی ایمنی هوش مصنوعی کار کنند؛ نه کسانی که هوش مصنوعی می‌سازند، بلکه کسانی که وظیفه‌شان زیر سوال بردن آن است.

ایمنی هوش مصنوعی به چه معناست؟

وقتی از «ایمنی» در هوش مصنوعی حرف می‌زنیم، منظورمان چیزی فراتر از جلوگیری از هک یا حمله سایبری است. ایمنی یعنی:

• مدل هوش مصنوعی آنچه را که نباید بگوید، نگوید
• در موقعیت‌های پیچیده رفتار قابل پیش‌بینی داشته باشد
• آسیب غیرعمدی به کاربر یا جامعه نرساند
• وقتی اشتباه می‌کند، اشتباهش قابل شناسایی و اصلاح باشد

به زبان ساده‌تر یک هوش مصنوعی «امن» (Secure) ممکن است در برابر هکرها محافظت شده باشد، اما هوش مصنوعی «ایمن» (Safe) آن است که خودش رفتار درست داشته باشد؛ حتی بدون نظارت.

بورس پژوهشی ایمنی OpenAI

این بورس پژوهشی از سپتامبر ۲۰۲۶ تا فوریه ۲۰۲۷ اجرا خواهد شد و پژوهشگران پذیرفته‌شده روی موضوعاتی کار می‌کنند که مستقیماً با آینده هوش مصنوعی گره خورده است:

ارزیابی ایمنی (Safety Evaluation): یکی از چالش‌های اصلی هوش مصنوعی این است که ابزارهای دقیقی برای سنجش ایمنی آن نداریم. آیا می‌توان معیارهایی طراحی کرد که به‌درستی نشان دهد یک مدل تا چه اندازه قابل اعتماد است؟

اخلاق و مسئولیت‌پذیری (Ethics): وقتی هوش مصنوعی تصمیم می‌گیرد، بر اساس چه ارزش‌هایی عمل می‌کند؟ چه کسی پاسخگوی پیامدهای این تصمیم‌هاست؟

پایداری و مقاومت مدل‌ها (Robustness): آیا می‌توان با دستکاری‌های ظریف یا ورودی‌های غیرمنتظره، مدل را از مسیر درست خارج کرد؟ چقدر می‌توان به رفتار مدل در شرایط غیرعادی اطمینان داشت؟

راهکارهای مقیاس‌پذیر کاهش ریسک (Scalable Mitigations): با بزرگ‌تر و پیچیده‌تر شدن مدل‌ها، روش‌های کنونی کاهش خطر کافی نیستند. چطور می‌توان راهکارهایی طراحی کرد که با رشد مدل‌ها همگام باشند؟

حفاظت از حریم خصوصی (Privacy-Preserving Safety): چطور می‌توان سیستم‌های هوش مصنوعی را ایمن نگه داشت بدون اینکه داده‌های شخصی کاربران در معرض خطر قرار گیرد؟

نظارت بر عامل‌های خودمختار (Agentic Oversight): نسل جدید هوش مصنوعی دیگر فقط به سوال‌ها پاسخ نمی‌دهد، بلکه مستقلاً تصمیم می‌گیرد، برنامه‌ریزی می‌کند و عمل می‌کند. نظارت بر این سیستم‌ها یکی از پیچیده‌ترین چالش‌های پیش روست.

جلوگیری از سوءاستفاده‌های پرخطر (High-Severity Misuse): هوش مصنوعی می‌تواند برای اهداف بسیار خطرناک مورد سوءاستفاده قرار گیرد. شناسایی این حوزه‌ها و طراحی سازوکارهای پیشگیرانه از اولویت‌های این برنامه است.

چه کسانی مخاطب این برنامه هستند؟

نکته جالب این برنامه آن است که OpenAI صراحتاً اعلام کرده مدرک تحصیلی معیار اصلی نیست. افراد با پیشینه‌های متنوع از جمله علوم کامپیوتر، علوم اجتماعی، امنیت سایبری، حریم خصوصی و حتی تعامل انسان_رایانه می‌توانستند درخواست دهند. آنچه اهمیت داشت توانایی پژوهشی، قدرت تحلیل و توان اجرا بود.

پژوهشگران پذیرفته‌شده علاوه بر حقوق ماهانه و دسترسی به منابع محاسباتی، از راهنمایی مستقیم متخصصان OpenAI بهره‌مند می‌شوند. در پایان دوره نیز هر نفر باید یک خروجی ملموس ارائه دهد؛ این خروجی می‌تواند در قالب یک مقاله علمی، ابزار ارزیابی (Benchmark) یا مجموعه داده (Dataset) باشد؛ چیزی که نه فقط برای OpenAI، بلکه برای کل جامعه پژوهشی هوش مصنوعی ارزشمند است.

بهترین ایده‌ها از بیرون دیوارهای شرکت‌های بزرگ می‌آیند

بورس‌های پژوهشی در حوزه هوش مصنوعی، فارغ از موضوع آن‌ها، یکی از مؤثرترین روش‌ها برای پیشبرد دانش این حوزه هستند. وقتی یک پژوهشگر مستقل بدون فشار تجاری و بدون محدودیت‌های یک شرکت خاص روی یک مسأله تمرکز می‌کند، نتایجی تولید می‌شود که اغلب در محیط‌های داخلی شرکت‌ها امکان‌پذیر نیست.

این مدل در دنیا سابقه‌ای موفق دارد. Google از طریق برنامه Google PhD Fellowship سالانه ده‌ها پژوهشگر دکترا را در حوزه‌های مختلف هوش مصنوعی از جمله یادگیری ماشین، پردازش زبان طبیعی و بینایی ماشین حمایت مالی می‌کند. Microsoft نیز با برنامه Microsoft Research PhD Fellowship همین مسیر را دنبال می‌کند. در سطح غیرانتفاعی، بنیاد Open Philanthropy میلیون‌ها دلار به پژوهشگران مستقل هوش مصنوعی اختصاص داده و AI2 وابسته به آلن تورینگ نیز برنامه‌های مشابهی برای جذب استعدادهای مستقل اجرا می‌کند.

آنچه همه این برنامه‌ها مشترکاً نشان می‌دهند این است که پیشرفت واقعی هوش مصنوعی تنها در اتاق‌های بسته شرکت‌های بزرگ اتفاق نمی‌افتد. ایده‌های تازه، زوایای دید متفاوت و نقدهای سازنده اغلب از بیرون می‌آیند. هر چه شرکت‌های بزرگ بیشتر به این سمت حرکت کنند که دانش را از انحصار خارج کنند و به پژوهشگران مستقل فرصت بدهند، کل اکوسیستم هوش مصنوعی از آن سود خواهد برد.