جستجو
Generic filters
Filter by دسته‌ها
آموزش هوش مصنوعی و انواع آن
آموزش‌های پایه‌ای هوش مصنوعی
اصول هوش مصنوعی
پایتون و ابزارهای یادگیری عمیق
کتابخانه‌ های یادگیری عمیق
یادگیری با نظارت
یادگیری بدون نظارت
یادگیری تقویتی
یادگیری عمیق
یادگیری نیمه نظارتی
آموزش‌های پیشرفته هوش مصنوعی
بینایی ماشین
پردازش زبان طبیعی
پردازش گفتار
چالش‌های عملیاتی
داده کاوی و بیگ دیتا
رایانش ابری و HPC
سیستم‌‌های امبدد
علوم شناختی
دیتاست
اخبار
رسانه‌ها
آموزش پردازش زبان طبیعی
آموزش علوم داده
اینفوگرافیک
پادکست
ویدیو
رویدادها
کاربردهای هوش مصنوعی
کسب‌و‌کار
تحلیل بازارهای هوش مصنوعی
کارآفرینی
هوش مصنوعی در ایران
هوش مصنوعی در جهان
 آموزش پردازش زبان طبیعی با اکوسیستم هاگینگ فیس ؛ بایاس و محدودیت ها (قسمت نهم)

آموزش پردازش زبان طبیعی با اکوسیستم هاگینگ فیس ؛ بایاس و محدودیت ها (قسمت نهم)

در این بخش از آموزش پردازش زبان طبیعی قصد داریم درباره بایاس و محدودیت ها توضیح دهیم. در قسمت‌های قبل این آموزش که هر هفته در سایت هوشیو منتشر می‌شود، به موضوعاتی از قبیل تنظیم محیط کار، مفهوم پردازش زبان طبیعی، آشنایی با ترنسفورمرها، روش کار آن‌ها و این‌که چه می‌کنند، مدل های رمزنگار، مدل های رمزگشا و مدل های توالی به توالی پرداخته شده و شما می‌توانید از طریق لینک انتهای مطلب به این قسمت‌ها دسترسی داشته باشید.

بایاس و محدودیت ها در مدل های از پیش آموزش‌دیده

اگر قصد دارید از یک مدل از پیش آموزش‌دیده یا مدل تنظیم‌شده در فرایند کاری خود استفاده کنید، لطفاً توجه داشته باشید که این مدل‌ها علی‌رغم این که ابزارهای قدرتمندی هستند، دارای بایاس و محدودیت ها هم هستند. بزرگترین محدودیت آن‌ها این است که برای انجام پیش‌آموزش روی حجم زیادی از داده‌ها، اغلب باید تمام محتوای ممکن شامل بهترین و بدترین موارد موجود در اینترنت را پیدا کرده و به کار ‌گیریم.

بگذارید برای توضیح بهتر این موضوع به به مثال روال پردازشی fill-mask با مدل بِرت (BERT) برگردیم:

from transformers import pipeline

unmasker = pipeline("fill-mask", model="bert-base-uncased")
result = unmasker("This man works as a [MASK].")
print([r["token_str"] for r in result])

result = unmasker("This woman works as a [MASK].")
print([r["token_str"] for r in result])

خروجی:

['lawyer', 'carpenter', 'doctor', 'waiter', 'mechanic']
['nurse', 'waitress', 'teacher', 'maid', 'prostitute']

هنگا‌می‌که از مدل خواسته ‌می‌شود که در این دو جمله، جای کلمه‌ای که روی آن پوشانده شده را پر کند، در بین پاسخ‌های آن تنها یک شغل دیده می‌شود که بین هر دو جنسیت مشترک است (یعنی شغل پیشخدمتی که به انگلیسی می‌شود: waiter/waitress) اما سایر مشاغل پیش‌بینی‌شده شغل‌هایی هستند که معمولاً به یک جنسیت خاص مرتبط هستند. برای مثال اگرچه به ندرت می‌توان مدلی مثل برت را در میان مدل‌های ترانسفورمر یافت که برای ساختن آن به جای استفاده از داده‌های جمع‌آوری‌شده از سراسر اینترنت، از داده‌های ظاهراً خنثی استفاده ‌شده باشد (برت روی دیتاست‌های English Wikipedia و  BookCorpus آموزش داده شده است)، اما حتی چنین مدلی نیز می‌تواند پیش‌بینی‌های دارای بایاس (Bias) ارائه دهد.

وقتی از این ابزارها استفاده ‌می‌کنید، باید به یاد داشته باشید که مدل اولیه‌ به راحتی می‌تواند متنی تولید کند که دارای بایاس یا محدودیت ها است و حاوی محتوای نژادپرستانه، جنسیت‌زده و یا همجنس‌گراستیزانه باشد و حتی تنظیم دقیق مدل بر روی داده‌های جدید نیز نمی‌تواند این بایاس ذاتی را از بین ببرد.

برای دسترسی به دیگر قسمت‌های این آموزش وارد لینک زیر شوید:

[button href=”https://hooshio.com/%D8%B1%D8%B3%D8%A7%D9%86%D9%87-%D9%87%D8%A7/%D8%A2%D9%85%D9%88%D8%B2%D8%B4-%D9%BE%D8%B1%D8%AF%D8%A7%D8%B2%D8%B4-%D8%B2%D8%A8%D8%A7%D9%86-%D8%B7%D8%A8%DB%8C%D8%B9%DB%8C/” type=”btn-default” size=”btn-lg”]آموزش پردازش زبان طبیعی[/button]

مقاله ما چطور بود؟

میانگین امتیاز / ۵. تعداد ارا :

مطالب پیشنهادی مرتبط

اشتراک در
اطلاع از
0 نظرات
بازخورد (Feedback) های اینلاین
مشاهده همه دیدگاه ها
Please enable JavaScript in your browser to complete this form.