توکن کننده ها یکی از اجزای اصلی پایپ‌لاین «پردازش زبان طبیعی» هستند. هدف آنها تبدیل متن به داده‌های قابل پردازش است. مدل‌ها فقط قادر به پردازش اعداد می‌باشند؛ اما توکن کننده ها ورودی‌های متنی را به داده‌های عددی تبدیل می‌کنند. جزئیات پایپ‌لاین توکن‌سازی در این بخش بیان می‌شود. داده‌هایی که

جمع‌آوری داده از سی‌تی‌اسکن‌ها می‌تواند برای کادر درمان، کاری دشوار و خسته‌کننده باشد. پژوهشگران دانشگاه کوئین، امبر سیمپسون و فرهانا زولکرنین به همراه رادیولوژیست، ریچارد دو (مرکز سرطان Memorial Sloan Kettering ، نیویورک) در حال توسعه فناوری‌ای هستند که این مسئله را راحت‌تر می‌کند و همچنین با استفاده از پردازش

اگر برایتان جالب است که بدانید یک سیستم ترجمه و تشخیص زبان چگونه کار می‌کنند، بهتر است از کتابخانه‌های متن باز پایتون استفاده کنید و خودتان با اجرای چند خط کد چنین سیستمی را توسعه دهید.

فلش زیرِ لوگوی شرکت آمازون، معنای ساده‌ای دارد؛ به‌طوری که شما می‌توانید به راحتی محصولاتتان، از A تا Z را از یک سامانه واحد، تهیه کنید. قبول دارید این‌گونه کار شما ساده می‌شود؟ همین امر درباره سیستم ترجمه هم صدق می‌کند (تولید متن از یک زبان به زبانی دیگر). برای

ساخت و استفاده از مدل در این بخش به طور جامع توضیح داده خواهد شد. در این راستا، از کلاس TFAutoModel استفاده خواهیم کرد. هر گاه تصمیم به نمایش یک مدل از چک‌پوینت موجود داشته باشید، کلاس فوق می‌تواند مفید واقع شود. اگر با نوع مدلی که قصد استفاده از

در این قسمت قرار است بررسی جامعی از پایپ لاین داشته باشیم؛ اما محتوای این بخش قدری با سایر بخش‌ها فرق دارد. بیایید در ابتدای کار این مثال را بررسی کنیم. در زیر خواهید دید که با اجرای کد زیر چه اتفاقی رخ می‌دهد: from transformers import pipeline classifier =

شبکه های حافظه طولانی کوتاه مدت Long Short-Term Memory (LSTM) به ابزار مهمی در یادگیری عمیق تبدیل شده‌اند. بسیاری آنها را جایگزین مناسبی برای شبکه‌های عصبی بازگشتی Recurrent neural networks می‌دانند. رشد سریع تحقیقات یادگیری ماشین باعث شده تا روش‌های جدید به سرعت عرضه شوند، اما ظاهراً شبکه های حافظه طولانی

امروزه، نرم‌افزارهای بازشناسی گفتار در مقیاس گسترده‌ای به کار برده می‌شوند. از جمله آنها می‌توان به الکسا و کورتانا اشاره کرد. گزارش شده است که در سال 2020‌، تقریباً دو سوم مردم آمریکا از نوعی دستیار صوتی خودکار استفاده کرده‌اند. این دستیارهای مجازی دیگر به هوش مصنوعی وابسته نیستند؛ آن‌ها

متخصصان رایانه به بررسی جامع این احتمال پرداخته‌اند که متون حاوی کاراکترهای یونیکد ممکن است سیستم‌های زبان هوش مصنوعی را به اتخاذ تصمیم‌های اشتباه وادار کند. احتمال تغییر شماره حساب، دستکاری تراکنش‌ها و بسیاری دیگر از کارها وجود دارد. بسیاری مدعی شده‌اند که نرم‌افزارهای ساخته‌ی مایکروسافت، گوگل، آی‌بی‌ام و فیس‌بوک

به بخش مقدمه فصل دوم از دوره آموزشی پردازش زبان طبیعی خوش آمدید. در فصل اول از مدل‌های ترنسفورمر برای انجام کارهای مختلفی استفاده شد و از API در pipeline کمک گرفته شد. این API از سادگی و توان بالایی برخوردار است، اما باید از کارکرد دقیق آن آگاهی پیدا

فصل اول از دوره آموزش پردازش زبان طبیعی با اکوسیستم هاگینگ فیس به اتمام رسید و نوبت به آزمون پایان فصل رسیده است. در این بخش آزمونی تستی ارائه شده که در پایان مطلب جواب‌های درست مشخص شده‌اند. اما سعی کنید پیش از ابتدا به جواب‌های درست، آموخته‌های خودتان را

در این بخش از آموزش پردازش زبان طبیعی به جمع‌بندی فصل اول خواهیم پرداخت. پیش‌تر در این آموزش که هر هفته در سایت هوشیو منتشر می‌شود، به موضوعاتی از قبیل تنظیم محیط کار، مفهوم پردازش زبان طبیعی، آشنایی با ترنسفورمرها، روش کار آن‌ها و این‌که چه می‌کنند، مدل های رمزنگار،

مقاله حاضر دومین بخش از سری مقالات یادگیری انتقالی در پردازش زبان طبیعی است. چنان‌چه به تازگی به حوزه پردازش زبان طبیعی ورود پیدا کرده‌اید، به شما توصیه می‌کنم اولین بخش از این سری مقالات که لینک آن در انتهای مطلب قرار دارد را هم مطالعه کنید.

همه روزه، طوفانی از محتوا در فضای اینترنت منتشر می‌شود. آیا امکان دارد در عین حال که حجم تولید محتوای خود را 10 برابر افزایش می‌دهید، 10 برابر نیز در هزینه‌ها صرفه‌جویی کنید؟ آیا حتی در صورتی که محتوا عادی باشد، کماکان مایل هستید آن را منتشر کنید تا ببینید

در این بخش از آموزش پردازش زبان طبیعی قصد داریم درباره بایاس و محدودیت ها توضیح دهیم. در قسمت‌های قبل این آموزش که هر هفته در سایت هوشیو منتشر می‌شود، به موضوعاتی از قبیل تنظیم محیط کار، مفهوم پردازش زبان طبیعی، آشنایی با ترنسفورمرها، روش کار آن‌ها و این‌که چه

این قسمت از دوره آموزش پردازش زبان طبیعی مربوط به مدل های توالی به توالی است. از جذاب‌ترین شاخه‌های فناوری هوش مصنوعی و البته مهم‌ترین آن‌ها می‌توان به پردازش زبان طبیعی اشاره کرد.

شرکت‌ها می‌توانند با استفاده از هوش مصنوعی به محیط زیست کمک کنند‌. از جمله کاربردهای این فناوری می‌توان به جلوگیری از آتش‌سوزی جنگل‌ها و کاهش ضایعات کارخانه‌ها اشاره کرد. با این حال، عبارتی تحت عنوان ردپای کربنی هوش مصنوعی وجود دارد.

دانشگاه امارات متحده عربی موفق به ساخت رباتی شده است که قادر به پیش بینی اختلالات روانی است. تشخیص زودهنگام علائم اختلال به متخصصین کمک می‌کند تشخیص‌گذاری‌ بهتری داشته باشند.

پردازش زبان طبیعی در بازاریابی کاربردهای زیادی دارد و  بازاریاب‌های سنتی و مخصوصاً دیجیتالی می‌توانند از خدمات آن بهره زیادی ببرند. اما پیش از آشنا شدن با این خدمات باید بدانید که فناوری پردازش زبان طبیعی اصلاً چیست.

فناوری جدید دانشگاه واترلو می‌تواند برای ترانه سازی و ایجاد مسیرهای خلاقانه در آهنگسازی، الهام‌بخش هنرمندان موسیقی باشد.

در این مقاله سعی داریم به قابلیتی خلاقانه از مدل GPT-3 بپردازیم. OpenAI در ماه فوریه‌ سال گذشته یافته‌های خود را در مورد آموزش مدل بی‌­نظارت پردازش زبان به نام GPT-2 منتشر کرد. این مدل روی 40 گیگابایت متن (گرفته‌شده از 8 وبسایت Mio) آموزش دیده و قادر بود کلمات

به تازگی شرکت OpenAI  با استفاده از مدل GPT-3  نشان داد که یک مدل یادگیری عمیق را می‌­توان به سادگی و با دادن مقادیر زیادی نوشته برای تبدیل متن به تصویر آموزش داد. همچنین آن‌ها نشان دادند که با جایگزین‌کردن متن با پیکسل، می‌توان از همین روش برای آموزش هوش

شرکت‌های فناوری Saab و Varjo در تلاش‌اند فناوری واقعیت ترکیبی Mixed-reality (XR) جدید و به صرفه‌ با وضوح بالا تولید کنند تا به منظور آموزش خلبان‌های هواپیماهای جنگنده‌ Gripen E/F در شبیه‌سازها به کار رود. در ساخت این فناوری که صفحه نمایش بیونیک Bionic Display نام دارد، از قوه‌ی بینایی

در این قسمت، معماری مدل‌های ترنسفورمر Transformer models را بررسی خواهیم کرد و با روش کار ترنسفورمرها آشنا خواهیم شد. همچنین در انتهای مطلب می‌توانید به دیگر بخش‌های این دوره آموزشی دسترسی داشته باشید. تاریخچه ترنسفورمرها در تصویر زیر برخی از نقاط مهم در تاریخچه مدل‌های ترانسفورمر را مشاهده می‌کنید:

گوگل توانسته با داخلی‌سازی Internalizing میلیاردها مثال از صفحات عمومی وب، نوشتن به سبک انسان را به مدل زبانی GPT-3 آموزش دهد؛ کاری که قبلا با مدل GShared  کرده بود. نوشته‌ها در منابعی مانند کتاب‌های الکترونیکی، ویکی‌‍پدیا و پلتفرم‌های شبکه‌ اجتماعی است و اولین بار این مدل‌ها با کامل کردن

در این قسمت از دوره نگاهی خواهیم داشت به مدل‌های ترنسفورمرها و کاربردهای آن‌ها و همچنین از یکی از ابزارهای کتابخانه Transformers هاگینگ فیس به نام pipeline استفاده خواهیم کرد.

اگر علاقه‌مند به شعر و شاعری هستید، اما مهارت‌های محتوایی و موزون کردن محتوا که لازمه آن است را ندارید، نگران نباشید، می‎توانید به شاعری با هوش مصنوعی فکر کنید. ابزار Google به نام Verse by Verse می‎تواند به شما کمک می‌کند تا مهارت لازم برای نوشتن بیت‌های زیبای شعری

پیش از ورود به بحث مدل‌های ترنسفورمر، مروری خواهیم داشت بر مفهوم NLP (پردازش زبان طبیعی) و اهمیت آن. این بخش قسمت سوم از دوره آموزش پردازش زبان طبیعی است که هر یکشنبه در سایت هوشیو منتشر می‌شود. در انتهای مطلب می‌توانید به صفحه مربوط به دوره و قسمت‌های دیگر

BERT معادل واژه «نمایش رمزگذاری دوطرفه از ترانسفورمرها Bidirectional Encoder Representations from Transformers» است. زمانی‌که برای اولین‌بار این تعریف را خواندم، مفهوم آن را درک نکردم. بنابراین اگر شما هم معنای آن را درک نکرده‌اید جای نگرانی نیست. زمانی که راجع به BERT مطالعه می‌کردم، متوجه شدم که بیشتر مقالات

دانشمندان ابزاری به نام StoryWrangler ساخته‌اند که می‌تواند میلیارد پیامی را که کاربران در شبکه‌های اجتماعی به اشتراک می‌گذارند را بررسی  و آشفتگی‌های احتمالی را پیش‌بینی کند.

به جرئت می‌‌‌توان گفت فینتک‌‌‌‌ها و شرکت‌‌‌های پردازش مالی هر ویژگی را که می‌‌‌توان برای جلب و نگهداری مشتری به کار بست، به بهترین نحو به عنوان مزیت کسب‌‌‌‌وکار خود به کار گرفته‌‌‌اند و در بهره‌‌‌گیری از آن مزیت‌‌‌‌ها مهارت کافی پیدا کرده‌‌‌اند. اکنون شرکت‌‌‌های مالی در تلاش‌اند محصولات و

در این مقاله می‌خواهیم به مواردی درباره مدل BERT و معماری Transformer که احتمالا نمی‌دانید اشاره کنیم. در حال حاضر، پردازش زبان طبیعی از محبوبیت زیادی برخوردار است و فقط تعداد کمی از زیرشاخه‌های هوش مصنوعی یارای برابری با آن را دارند. طی سال‌های اخیر، مدل‌های زبانی تکامل یافتند و

ترنسفرمرها بر دنیای پردازش زبان طبیعی غلبه کرده‌اند. این مدل‌های خارق‌العاده رکورد حل جدیدترین و بیشترین مسائل حوزه‌ی NLP را در دست دارند. علاوه بر این در موارد گوناگون دیگری، همچون ترجمه‌ی زبان ماشینی ، ربات‌های سخنگوی مکالمه‌ای ، و حتی موتورهای جستجو ی قوی‌تر نیز کاربرد دارند. ترنسفرمرها در