یکی از «رموز» موفقیت مدل‌های ترانسفورماتورها رویکرد انتقال یادگیری Transfer Learning است. در رویکرد انتقال یادگیری، از پیش یک دیتاست با حجم بالا به یک مدل (در این مورد یک مدل ترانسفورماتور) آموزش داده می‌شود؛ در این رویکرد برای آموزش مدل از تکنیک پیش‌آموزش بدون نظارت Unsupervised Learning استفاده می‌شود.

در این مقاله روش فشرده سازی شبکه عصبی را توضیح می‌د هیم. معماری‌های مدرن و نوآورانه‌ی شبکه‌های عصبی از اهمیت بسیار زیادی برخوردار هستند. برای مثال شاید با GPT-3، جدیدترین مدل تحولی فناوری پردازش زبان طبیعی (NLP) که OpenAI ارائه داده، آشنایی داشته باشید. این مدل قادر به نوشتن شعر و