آموزش پردازش زبان طبیعی با اکوسیستم هاگینگ فیس ؛ مدل های رمزنگار (قسمت ششم)
تیم تحریریه- ۲۸ شهریور ۱۴۰۰
در این قسمت از دوره آموزش پردازش زبان طبیعی به مدل های رمزنگار خواهیم پرداخت. پردازش زبان طبیعی یکی از شاخه‌های مهم و جذاب فناوری هوش مصنوعی است و علاقه‌مندان به هوش مصنوعی مطمئنا با آشنایی بیشتر با این حوزه، جذب آن خواهند شد. اما برای آشنایی با این فناوری مشکلات بسیاری پیش رو است. ازجمله این مشکلات می‌توان به کمبود منابع ترجمه شده مناسب و آموزشگاه‌های معتبر برای آموزش آن اشاره کرد.
همواره یکی از بهترین و ساده‌ترین راه‌ها برای آشنایی با حوزه‌های هوش مصنوعی اما تماشای ویدئوهای آموزشی و دوره‌های رایگان اینترنتی هستند.
وبسایت هوشیو که پیش از این دوره آموزش علوم داده را منتشر کرده بود، این‌بار دوره آموزشی پردازش زبان طبیعی که مجموعه‌ای از محتواهای متنی و ویدئویی بوده را ارائه کرده است.
در قسمت‌های قبل این دوره که از طریق لینک انتهای مطلب به آن دسترسی خواهید داشت، به موضوعاتی از قبیل تنظیم محیط کار، مفهوم پردازش زبان طبیعی، آشنایی با ترنسفورمرها، روش کار آن‌ها و این‌که چه می‌کنند، پرداخته شده و این قسمت مربوط به مدل های رمزنگار است.
مدل های رمزنگار
مدل‌های رمزنگار تنها از بخش رمزنگاری مدل ترنسفورمر استفاده می‌کنند. لایه‌های توجه در هر مرحله می‌توانند به تمامی کلمات جمله اولیه دسترسی داشته باشند. از این مدل‌ها اغلب با عنوان «توجه دو طرفهbi-directional » تعریف شده و مدل‌های خودرمزنگارauto-encoding models نامیده می‌‌شوند.
نسخه ازپیش‌آموزش‌دیده این مدل عمدتاً بر تغییر جمله داده‌شده (برای مثال، پوشاندن یکی از کلمات آن) و موظف کردن مدل به پیدا کردن یا بازسازی جمله اولیه متمرکز است.
مدل‌های رمزنگار برای حل مسائلی که در آن‌ها مدل باید یک جمله کامل را درک کند، مانند دسته‌بندی جملات، تشخیص نام موجودیت‌ها (یا در کل تشخیص کلمات) و پاسخ به سوالات به روش استخراجی، کاملاً مناسبند.
از نمایندگان این قبیل مدل‌ها می‌توان به مدل‌های زیر اشاره کرد:
- ALBERT
- BERT
- DistilBERT
- ELECTRA
- RoBERT
از طریق لینک زیر می‌توانید به قسمت‌های دیگر دوره آموزشی پردازش زبان طبیعی دسترسی داشته باشید:
[button href=”https://hooshio.com/%D8%B1%D8%B3%D8%A7%D9%86%D9%87-%D9%87%D8%A7/%D8%A2%D9%85%D9%88%D8%B2%D8%B4-%D9%BE%D8%B1%D8%AF%D8%A7%D8%B2%D8%B4-%D8%B2%D8%A8%D8%A7%D9%86-%D8%B7%D8%A8%DB%8C%D8%B9%DB%8C/” type=”btn-default” size=”btn-lg”]آموزش پردازش زبان طبیعی[/button]
