آموزش پردازش زبان طبیعی با اکوسیستم هاگینگ فیس ؛ مدل های توالی به توالی (قسمت هشتم)

این قسمت از دوره آموزش پردازش زبان طبیعی مربوط به مدل های توالی به توالی است. از جذاب‌ترین شاخه‌های فناوری هوش مصنوعی و البته مهم‌ترین آن‌ها می‌توان به پردازش زبان طبیعی اشاره کرد.

افرادی که به حوزه هوش مصنوعی علاقه‌مند باشند، مطمئنا دوست دارند بیشتر درباره این بخش از آن بدانند. البته برای کسب اطلاعات درباره این بخش از هوش مصنوعی مشکلات بسیاری وجود دارد. برای مثال می‌توان به کمبود منابع ترجمه شده مناسب و آموزشگاه‌های معتبر برای آموزش آن اشاره کرد.

هرچند یکی از مناسب‌ترین و ساده‌ترین راه‌ها برای آشنایی با حوزه‌های هوش مصنوعی تماشای ویدئوهای آموزشی و دوره‌های رایگان اینترنتی در کنار مطالعه متون ترجمه شده هستند.

هوشیو که پیش‌تر هم دوره آموزش علوم داده را منتشر کرده بود، این‌بار دوره آموزشی پردازش زبان طبیعی که مجموعه‌ای متشکل از محتواهای متنی و ویدئویی هستند را ارائه کرده است.

در قسمت‌های گذشته این دوره که از طریق لینک انتهای مطلب به آن دسترسی خواهید داشت، به موضوعاتی از قبیل تنظیم محیط کار، مفهوم پردازش زبان طبیعی، آشنایی با ترنسفورمرها، روش کار آن‌ها و این‌که چه می‌کنند، مدل های رمزنگار و مدل های رمزگشا پرداخته شده و این قسمت مربوط به مدل های توالی به توالی است.

مدل های توالی به توالی

مدل‌های رمزنگار-رمزگشا که با نام مدل‌های توالی‌به‌توالی نیز شناخته می‌شوند، از هر دو بخش معماری ترنسفومر استفاده می‌کنند. لایه‌‌های توجه بخش رمزنگار در هر مرحله به تمامی کلمات توالی اولیه دسترسی دارند، اما لایه‌های توجه بخش رمزگشا تنها به کلماتی که در توالی اولیه قبل از کلمه موردنظر قرار گرفته باشند، دسترسی دارند.

پیش‌آموزش این قبیل مدل‌ها را می‌توان براساس اهداف رمزنگار یا رمزگشا انجام داد، اما در عمل کار کمی پیچیده‌تر از این است. برای مثال، مدل T5 با جایگذاری تکه‌های متنی (که می‌توانند متشکل از چندین کلمه باشند) دارای یک کلمه پوشانده‌شده آموزش دیده است که هدف آن نیز پیش‌بینی متنی است که باید جایگزین کلمات پوشانده‌شده شود.

مدل‌های توالی‌به‌توالی عمدتاً برای حل مسائل تولید جملات جدید براساس ورودی داده‌شده طراحی شده‌اند و در مسائلی از قبیل خلاصه‌سازی، ترجمه یا استخراج پاسخ یک سوال از متن عملکرد خوبی دارند. برخی از مدل‌های توالی‌به‌توالی عبارتند از BART، mBart، Marian و T5.

برای مشاهده دیگر قسمت‌های دوره آموزش پردازش زبان طبیعی وارد لینک زیر شوید:

[button href=”https://hooshio.com/%D8%B1%D8%B3%D8%A7%D9%86%D9%87-%D9%87%D8%A7/%D8%A2%D9%85%D9%88%D8%B2%D8%B4-%D9%BE%D8%B1%D8%AF%D8%A7%D8%B2%D8%B4-%D8%B2%D8%A8%D8%A7%D9%86-%D8%B7%D8%A8%DB%8C%D8%B9%DB%8C/” type=”btn-default” size=”btn-lg”]آموزش پردازش زبان طبیعی[/button]