استفاده از حملات تخاصمی برای افزایش دقت پیش‌بینی انرژی مولکولی

یک تیم تحقیقاتی راهی برای تشخیص و نشانه‌گذاری «منطقه‌ی ایمن» شبکه‌های عصبی با استفاده از حملات تخاصمی معرفی کرده‌اند.

شبکه های عصبی به صورت فزاینده برای پیش‌بینی رفتار مواد، جریان و نتیجه‌ واکنش‌های شیمایی، تأثیرات دارو و موارد دیگری از این دست به کار می‌روند. سرعت این شبکه‌ها در این مسائل چندین برابر بیشتر از روش‌های سنتی مثل شبیه‌سازی‌های مکانیکی کوآنتومی است.

با این حال، این افزایش سرعت بدون بها به دست نمی‌آید. بهای این سرعت و کارآیی، اعتبار نتایج است. مدل‌های یادگیری ماشین درون‌یابی می‌کنند، به همین دلیل، در صورت رویارویی با داده‌هایی متفاوت از آن‌چه آموخته‌اند، با مشکل روبرو می‌شوند.

مشکل دیگری که رافائل گومز-بامبارلی، استاد دانشکده‌ی مهندسی و علوم مواد MIT، و دانشجویانش، دنیل شوالب-کودا و ایک روی تان را نگران می‌کند، محدودیت‌های این مدل‌های یادگیری ماشین است که می‌توانند فرسوده‌کننده و دردسرزا باشند.

این مشکلات به ویژه زمانی اهمیت می‌یابند که قصد داریم سطوح انرژی بالقوه (PES) را پیش‌بینی کرده یا نگاشتی از انرژی نهفته در ساختار مولکول تهیه کنیم. این سطوح، پیچیدگی‌های مولکول را در قالب نقاط زینی، قله‌ها و … نشان می‌دهند. باثبات‌ترین قسمت‌های یک ساختار معمولاً در دره‌ها و مناطق عمیق آن قرار دارند، یعنی شکاف‌های مکانیکی کوآنتومی که به اتم‌ها و مولکول‌ها اجازه‌ی فرار نمی‌دهند.

نتیجه در ژورنال ارتباط با طبیعت

این تیم تحقیقاتی که نتایج کار خود در ارتباط با حملات تخاصمی را در ژورنال «ارتباط با طبیعت» منتشر کرده‌اند، راهی برای تشخیص و نشانه‌گذاری «منطقه‌ی ایمن» شبکه‌های عصبی با استفاده از حملات تخاصمی معرفی کرده‌اند. تا کنون، کاربرد حملات تخاصمی در حوزه‌هایی همچون طبقه‌بندی تصویر مورد مطالعه قرار گرفته است. اما این اولین باری است که برای نمونه‌برداری از PES از آن‌ها استفاده می‌شود.

گومز-بامبارلی توضیح می‌دهد: «سال‌هاست که متخصصان حوزه‌های یادگیری ماشین از سطح عدم اطمینان برای یادگیری فعال استفاده می‌کنند. در روش‌های قدیمی، متخصصان باید شبیه‌سازی را به صورت کامل اجرا و از اعتبار شبکه‌ی عصبی اطمینان حاصل می‌کردند تا در صورت وجود اشتباه، داده‌های بیشتری جمع‌آوری کرده، آموزش را از سر گرفته یا شبیه‌سازی را تکرار کنند. به همین دلیل، دستیابی به مدل مناسب زمان زیادی برده و مستلزم اجرای چندباره‌ی شبیه‌سازی بود.»

محققان آزمایشگاه MIT در تلاش‌اند با ادغام اصول اولیه‌ی شبیه‌سازی و یادگیری ماشین، سرعت این فرآیند را افزایش دهند. در این روش، شبیه‌سازی تنها روی تعدادی از مولکول‌ها اجرا می‌شود. سپس، داده‌های به دست آمده به یک شبکه‌ی عصبی تغذیه می‌شوند تا خواص مشابه بقیه‌ی مولکول‌ها نیز پیش‌بینی شود. محققان این روش را روی گروهی از مواد جدید نیز اجرا کرده‌اند. از جمله‌ی این مواد می‌توان به کاتالیست‌های به کارررفته در تولید هیدروژن از آب، الکترولیت‌های پلیمری ارزان‌قیمت به کاررفته در خودروهای برقی، زئولیت‌های به کاررفته در غربال مولکولی، مواد مغناطیسی و غیره اشاره کرد.

عواقب خطرناک

با این وجود، این فرآیند نیز با یک چالش روبروست: عملکرد این شبکه‌های عصبی محدود و وابسته به داده‌های آموزشی‌شان است. در نتیجه، در نگاشت PES، حدود ۹۹ درصد از داده‌ها داخل نقطه‌ی زینی می‌افتند و نواحی‌ای که از اهمیت بالایی برخوردارند کاملاً نادیده گرفته می‌شوند.

این نوع پیش‌بینی‌های اشتباه می‌توانند عواقب خطرناکی داشته باشند. به عنوان مثال، می‌توانند باعث شوند خودروهای خودران عابر پیاده در حال عبور از خیابان را تشخیص ندهند.

یک راه برای تشخیص عدم اطمینان مدل، پیاده‌سازی یک مجموعه داده‌ی یکسان در چندین نسخه از مدل است.

در این پروژه، چند شبکه‌ی عصبی که روی داده‌هایی مشابه آموزش دیده بودند، PES را پیش‌بینی کردند. اگر شبکه‌ها از پیش‌بینی خود اطمینان تقریباً کامل داشته باشند، پراکندگی بین خروجی‌ها در کمترین حالت ممکن است و سطوح پیش‌بینی شده همگرایی دارند. اما زمانی که شبکه‌ها از پیش‌بینی خود مطمئن نیستند، پیش‌بینی‌‌هایشان تفاوت زیادی با هم دارند. در نتیجه، طیفی از خروجی‌های گوناگون تولید می‌شود که معلوم نیست کدامشان سطح درست را پیش‌بینی کرده‌اند.

گوناگونی و واریانس موجود در پیش‌بینی‌های این «کمیته از شبکه‌های عصبی» همان عدم اطمینان را نشان می‌دهد. مدل خوب مدلی نیست که صرفاً بهترین پیش‌بینی را تولید کند باید بتواند میزان عدم اطمینان هر یک از این پیش‌بینی‌ها را نشان دهد. شبکه عصبی باید بتواند بگوید: «این خاصیت از ماده‌ی A مقدار X را دارد و من در مورد این برآورد، تا حد زیادی مطمئن هستم.»

یک راهکار ایده‌آل

این رویکرد را به طور بالقوه می‌توان راهکار ایده‌آلی دانست، اما مقیاس وسیع فضای ترکیبی این اجازه را نمی‌دهد. به گفته‌ی شوالب-کودا، هر شبیه‌سازی می‌تواند ده‌ها تا صدها ساعت CPU را اشغال کند. برای به دست آوردن نتایجی معنادار، باید چندین مدل را روی تعداد کافی از نقاط موجود در PES اجرا کرد. این فرآیند بسیار زمان‌بر است.

رویکرد جدید صرفاً از نقطه‌داده‌های موجود در نواحی‌ای نمونه‌گیری می‌کند که با سطح اطمینان پایینی پیش‌بینی شده‌اند، این نواحی با شکل هندسی مولکول ارتباط دارند. سپس مولکول‌ها کشیده شده یا به صورت جزئی تغییر شکل می‌یابند تا عدم اطمینان شبکه‌های عصبی به حداکثر ممکن برسد. از طریق شبیه‌سازی، داده‌های اضافی برای این مولکول‌ها محاسبه شده و به مجموعه‌ داده‌های آموزشی اولیه اضافه می‌شوند.

شبکه‌های عصبی دوباره آموزش می‌بینند و عدم اطمینان مجدداً محاسبه می‌شود. این فرآیند آنقدر تکرار می‌شود تا عدم اطمینان مربوط به نقاط مختلف روی سطح به خوبی تعریف شده و دیگر امکان کاهش بیشتر از آن نداشته باشد.

گومز-بامبارلی توضیح می‌دهد: «امیدواریم به مدلی دست یابیم که در نواحی مهم، یعنی آن‌هایی که شبیه‌سازی می‌شوند، عملکردی عالی داشته باشد. در این صورت نیازی به اجرای مجدد کل شبیه‌سازی نخواهد بود.»

محققان به عنوان نمونه‌ای از کاربردهای این رویکرد، به پیش‌بینی تعاملات پیچیده‌ی چندمولکولی در زئولیت‌ها اشاره کرده‌اند. این مواد بلوری پرحفره به عنوان یک اَلَک مولکولی بسیار گزینشی عمل کرده و مولکول‌ها را بر اساس شکل هندسی‌شان غربال می‌کنند. این مواد در کاتالیست‌ها، جداسازی گازها و همچنین تبادل یونی اهمیت ویژه‌ای دارند.

به دنیال روشی کم‌هزینه

شبیه‌سازی ساختارهای بزرگ زئولیت فرآیندی پرهزینه است و روش جدید می‌تواند از نظر محاسبات، بسیار به صرفه‌تر باشد. محققان شبکه عصبی خود را روی ۱۵,۰۰۰ نمونه آموزش دادند تا سطوح انرژی بالقوه را پیش‌بینی کند. با وجود هزینه‌های فراوانی که صرف تولید این دیتاست آموزشی بزرگ شد، نتایج نهایی در حد متوسط بودند. محققان با تکیه بر روش‌های قدیمی یادگیری فعال، به منظور ارتقای عملکرد مدل ۵,۰۰۰ نمونه‌ی دیگر هم وارد محاسبات کردند که عملکرد شبکه‌ی عصبی را به ۹۲ درصد رساند.

با این حال، با استفاده از رویکرد تخاصمی در آموزش مجدد، عملکرد شبکه با آموزش روی تنها ۵۰۰ نمونه، به ۹۷ درصد رسید. این نتیجه خارق‌العاده دانست. به خصوص با توجه به این نکته که هر یک نمونه می‌تواند صدها ساعت CPU را مشغول کند.

این روش را می‌توان راهکاری واقع‌گرایانه دانست که به پژوهشگران کمک می‌کند بر محدودیت‌هایی که در پیش‌بینی رفتار مواد و پیشروی واکنش‌های شیمیایی پیش روی خود می‌بینند فارغ آیند.