ربات دو پا که با استفاده از یادگیری تقویتی راه رفتن را به خود آموزش می‌دهد
تیم تحریریه- ۱۲ اردیبهشت ۱۴۰۰
گروهی از پژوهشگران دانشگاه کالیفرنیا، برکلی، موفق به ساخت یک ربات دو پا شده‌اند که می‌تواند به کمک یادگیری تقویتی راه رفتن را به خود آموزش دهد. این پژوهشگران در مقاله‌ای فرایند کاری‌شان را توضیح داده و آن را در سرور پیش انتشار arXiv بارگذاری کردند.
طی این فرایند یک ربات دو پا ساخته شد؛ پاهای این روبات به هم متصل هستند و به یک پایه نگهدارنده وصل شده‌اند. در حال حاضر این ربات می‌تواند با اتکا به این پایه، که توسط یکی از پژوهشگران کنترل و هدایت می‌شود، کارهایی انجام دهد. این ربات در مقایسه با ربات‌های دیگر، برای مثال روبات‌هایِ ساخت Boston Dynamics، ابتدایی و ساده به نظر می‌رسد. با این حال، این روبات که نام کَسی (Cassie) را بر آن نهاده‌اند، نمایانگر نوع جدید و پیشرفته‌ای از فناوری است؛ به زبان ساده این ربات به جای اینکه راه رفتن را از طریق برنامه‌نویسی یا تقلید کردن بیاموزد، آن را به خود آموزش می‌دهد.
یادگیری تقویتی در رفتار و حرکات انسان‌ها نیز مشهود است – کودکان با امتحان کردن حرکات جدید راه رفتن را می‌آموزند. این کودکان راه رفتن را به یک باره یاد نمی‌گیرند بلکه حرکاتی که جزئی از فرایند راه رفتن هستند را به خاطر می‌سپارند. سپس با اتکا بر چیزهایی که آموخته‌اند و افزودن اطلاعات بیشتر به آموخته‌های قبلی‌شان، صحیح راه رفتن را می‌آموزند. اما تلاش آن‌ها همین‌جا متوقف نمی‌شود؛ کودکان به یادگیری ادامه می‌دهند و بدین ترتیب عملکردشان بهتر و بهتر می‌شود. آن‌ها به مرور زمان حرکات جدیدی مثل دویدن، جست و خیز کردن یا حتی پریدن از پیاده‌رو را می‌آموزند.
پژوهشگران برای اینکه ربات هم به همین طریق راه رفتن را بیاموزد، آن را در دنیای مجازی شبیه‌سازی کردند. طی فرایند شبیه‌سازی، اطلاعاتی که ُمعَرِف هدف، برای مثال درست راه رفتن بودند، به ربات آموزش داده شد؛ موتور AI می‌تواند اطلاعاتی که یاد گرفته را به خاطر بسپارد و به کار ببندد. طی فرایند شبیه‌سازی ربات بدون اینکه آسیبی به سخت‌افزار وارد کند، شیوه صحیح راه رفتن را یاد گرفت.
پژوهشگران به محض اینکه ربات در شبیه‌سازی راه رفتن را آموخت، دانش و اطلاعاتش را به کَسی (Cassie) منتقل کردند.کَسی با استفاده از این اطلاعات یاد گرفت همانند یک کودک نوپا راه برود. کَسی درست شبیه یک کودک نوپا به یادگیری ادامه داد. طی این فرایند کَسی یاد گرفت مانع از زمین خوردن خود شود و زمانی که به گوشه‌ای هّل داده می‌شود، تعادل خود را حفظ کند. علاوه بر این طی این آزمایشات مشخص شد حتی اگر به دو عدد از موتورهای کَسی آسیب وارد شود، باز هم می‌تواند خود را کنترل کند. این گروه از پژوهشگران قصد دارند به استفاده از یادگیری عمیق در ربات‌ها ادامه دهند و میزان تأثیرگذاری را بررسی کنند.
