شما به‌عنوان یک انسان، می‌توانید به انگلیسی، اسپانیایی یا چینی صحبت کنید و بنویسید. اما زبان مادری کامپیوتر، که به‌عنوان کد ماشین یا زبان ماشین شناخته می‌شود، برای اکثر مردم تا حد زیادی نامفهوم است. در پایین‌ترین سطوح دستگاه شما، ارتباط نه با کلمات، بلکه از طریق میلیون‌ها صفر و یک انجام می‌شود که اقدامات منطقی ایجاد می‌کنند. درواقع، برنامه نویسان 70 سال پیش از کارت‌های پانچ برای برقراری ارتباط با اولین رایانه‌ها استفاده کردند. این فرآیند دستی و سخت توسط تعداد نسبتاً کمی از مردم قابل‌درک بود. اما امروزه شما می‌توانید بگویید “الکسا، من این آهنگ را دوست دارم” و دستگاهی که در خانه شما موسیقی پخش می‌کند. این امر به لطف پردازش زبان طبیعی ممکن است.
پردازش زبان طبیعی زیرشاخه‌ای از هوش مصنوعی است که به تعامل بین رایانه و زبان انسان می‌پردازد. درحالی‌که پردازش زبان طبیعی علم جدیدی نیست، این فناوری به لطف افزایش علاقه به ارتباطات انسان با ماشین، به‌علاوه در دسترس بودن داده‌های بزرگ، محاسبات قدرتمند و الگوریتم‌های پیشرفته، به‌سرعت در حال پیشرفت است. حال بیایید نگاهی دقیق‌تر به این فناوری بیندازیم … درباره پردازش زبان طبیعی بیشتر بخوانید
یکی از ویژگی‌های بارز مشاغل موفق در قرن بیست و یکم، تعامل مشتری است. طبق توضیح هاب اسپات Hubspot تعامل مشتری ایجاد تعامل با مصرف کنندگان در چندین کانال برای تقویت ارتباط شرکت با آنها است و امروزه به لطف پیشرفت در شبکه های اجتماعی، تعامل مشتری در بالاترین حد
مدل‌های پیچیده جدید هوش مصنوعی مانند GPT-3، شرکت OpenAI به دلیل توانایی در تقلید از زبان انسانی این روزها سر و صدای زیادی به پا کرده‌اند. اما آیا این بدان معناست که قرار است کامپیوتر جای انسان را بگیرد؟ حداقل نه به این زودی. به این دلیل که هوش مصنوعی
گام بعدی هوش مصنوعی برای همه به موضوعی چالش برانگیز تبدیل شده است. هوش مصنوعی در انجام بسیاری از کارها بهتر از انسان عمل می‌کند. پیش‌بینی وضع هوا، تشخیص بیماری و بازی شطرنج از جمله کارهایی است که هوش مصنوعی در انجام آنها عملکردی بهتر از انسان دارد. بی‌تردید هوش
فناوری تشخیص گفتار گوگل به عنوان گامی به سمت هوشمند شدن ابزارها به شمار می‌رود. یکی از قابلیت‌های گوگل، قابلیت تشخیص گفتار از طریق هوش مصنوعی است. هوش مصنوعی با قابلیت پردازش زبان طبیعی در مرحله اول قادر به فهم زبان انسانی شد و توانایی برقراری ارتباط با انسان را
پردازش زبان طبیعی (NLP) یکی از زیرشاخه‌های حوزه هوش مصنوعی است؛ در این روش به منظور برقراری ارتباط با سیستم از زبان طبیعی استفاده می‌شود. پایتون یکی از زبان‌های پرکاربرد NLP است و تقریباً در تمامی رشته‌ها و حوزه‌ها مورد استفاده قرار می‌گیرد. در مقاله پیش‌رو به معرفی 10 کتابخانه
محققان موسسه Skoltech و همکاران آنها از Mobile TeleSystems مفهوم «پیام‌های متنی نامناسب» را معرفی کرده و یک مدل عصبی با قابلیت تشخیص عبارات نامناسب را آموزش داده‌اند و به همراه مجموعه بزرگی از پیام‌های این چنینی منتشر کرده‌اند تا بتوان از آن در مطالعات آتی نیز استفاده کرد. از
به اولین بخش از پردازش زبان طبیعی مدرن خوش آمدید. پردازش زبان طبیعی پیشرفت سریع خود را مرهون انتقال یادگیری است و به همین دلیل پیش از هر چیز به معرفی یادگیری انتقالی می‌پردازیم.
سازندگان Eleuther ابراز امیدواری کرده‌اند که این محصول می‌تواند یک جایگزین متن باز برای GPT-3 باشد. لازم به ذکر است که GPT-3 یکی از نرم‌افزارهای مشهور زبانِ OpenAI می‌باشد.
اگر دیتاست‌تان در Hub نباشد، چه رویکردی در پیش می‌گیرید؟ می‌دانید که برای دانلود دیتاست‌ها چگونه از Hugging Face Hub استفاده کنید. اما اغلب با داده‌هایی سر و کار دارید که یا در لپ‌تاپ‌تان یا در سرور از راه دوری ذخیره شده‌اند. در بخش حاضر، نحوه‌ی استفاده از ? Datasets
فصل چهارم از دوره آموزشی پردازش زبان طبیعی با اکوسیستم هاگینگ فیس به پایان رسید و نوبت به آزمون پایانی رسید که در ادامه با سوالات آن مواجه خواهد شد. به زودی با فصل آینده این دوره آموزشی در خدمت شما خواهیم بود. اما ابتدا اندوخته‌های خود از این فصل
به جرات می‌توان گفت که کارت مدل Model Card به لحاظ اهمیت با فایل‌های مدل و توکن‌کننده یکسان است. کارت مدل می‌تواند قابلیت استفاده‌ی مجدد اعضاء و تکرار نتایج را تضمین کند. افزون بر این، پلتفرم مفیدی به واسطه‌ی آن ایجاد می‌شود که سایر اعضا می‌توانند آرتیفکت خودشان را در آن
آسان‌ترین روش برای اشتراک‌گذاری مدل از پیش آموزش داده شده این است که از Hugging Face Hub استفاده کنید. ابزارها و امکانات موجود می‌تواند بستر مناسبی برای اشتراک‌گذاری و به‌روزرسانیِ مستقیم مدل‌ها در Hub فراهم کند. جزئیات آن در بخش‌های بعدی مقاله توضیح داده خواهد شد. مشوق‌های لازم در اختیار
انتخاب مدل مناسب با Model Hub به مراتب آسان‌تر می‌شود. بنابراین، با چند خط کد می‌توان از آن در کتابخانه استفاده کرد. حال، باید دید این مدل‌ها چگونه به کار برده می‌شوند. فرض کنید به دنبال مدل زبان فرانسوی هستیم که عمل mask filling را انجام می‌دهد. انجام این کار،
چهارمین فصل از دوره آموزش پردازش زبان طبیعی با اکوسیستم هاگینگ فیس به موضوع هاگینگ فیس هاب می‌پردازد. همچنین می‌توانید از لینک انتهای مطلب به دیگر فصول و قسمت‌های این دوره آموزشی دسترسی داشته باشید. هاگینگ فیس هاب Hugging Face Hub به یک پلتفرم مرکزی اطلاق می‌شود که فرصتِ کشف،
فصل سوم از دوره رایگان آموزش پردازش زبان طبیعی با اکوسیستم هاگینگ فیس هم به پایان رسید و طبق روال گذشته، در پایان هر فصل یک «آزمون پایان فصل» ترتیب داده شده تا بتوانید اطلاعات و آموخته‌های خود را محک بزنید. سوالات آزمون در ادامه آورده شده و بعد از
پیوتر زلاسکو، مهندس مرکز پردازش زبان و گفتار جانز هاپکینز، مدل یادگیری ماشینی را تولید کرده است که می‌تواند نقش‌های گفتاری را در متن گفت‌وگوهایی که سیستمهای درک زبان (LU) پیاده کرده‌اند، تشخیص دهد. کامپیوترها با استفاده از این روش در نهایت می‌توانند متن گفتاری یا نوشتاری را همانند انسان‌ها
این قسمت از دوره آموزش پردازش زبان طبیعی با اکوسیستم هاگینگ فیس به تنظیم دقیق مدل با Keras خواهد پرداخت. همچنین شما می‌توانید در انتهای مطلب به لینک سایر قسمتها دسترسی داشته باشید. به محض اِتمام کلیه‌ی کارهای پیش‌پردازش در بخش پیشین، فقط چند مرحله دیگر برای آموزش مدل در
یکی از برجسته‌ترین پیشرفت‌های دنیای یادگیری ماشین، آموزش قابلیت درک ارتباطات انسانی به ماشین‌هاست. این بُعد از یادگیری ماشین را پردازش زبان طبیعی (NLP) می‌خوانند. در این نوشتار با مقدمات پردازش زبان طبیعی (NLP) آشنا شده و در مورد نقش پیشرفت‌های یادگیری عمیق و شبکه‌های عصبی روی این حوزه توضیح
به باور کارشناسان، چت بات ها باید تا حدی به قابلیت پردازش زبان طبیعی مجهز شوند تا بتوانند به خوبی با کاربران وارد مکالمه شوند. اگر ربات‌ها فاقد توانش زبانی باشند، صرفاً نقش فرمان‌پذیر را ایفا می‌کنند. پیشرفت‌های حاصل آمده در پردازش زبان طبیعی منجر به ارتقای قابلیت‌های چت بات
در فصل دوم دوره آموزش پردازش زبان طبیعی، نحوه‌ی استفاده از توکن‌کننده‌ها و مدل‌هایِ از پیش آموزش یافته برای انجام پیش‌بینی بررسی شد. اما اگر بخواهید مدلِ از پیش آموزش دیده‌ای را برای دیتاست خودتان تنظیم کنید، چه رویکردی باید در پیش بگیرید؟ فصل جاری به طور مفصل به این
در حال حاضر PyTorch بیشترین نرخ رشد را در میان چارچوب‌های کاری یادگیری عمیق دارد و در دوره‌های آموزشی Fast.ai، با عنوان «یادگیری عمیق برای برنامه‌نویس‌ها»، و کتابخانه آن مورد استفاده قرار می‌گیرد. PyTorch به شدت پایتونی است، به عبارت دیگر برای برنامه نویسان Python، کار کردن با PyTorch بسیار
یکی از بزرگ‌ترین وعده‌های دانشمندان نوعی فناوری است که بتواند مسئولیت انجام کارهای خسته‌کننده و طاقت‌فرسا را بر عهده گیرد. اما نقد کتاب هم کاری خسته‌کننده به حساب می‌آید؟ در قرن‌های 19 و 20، تجهیزات و ماشین‌آلات صنعتی، انسان را از انجام کارهای یدی مکرر و کمرشکن در مزارع نجات
فصل دوم دوره آموزش پردازش زبان طبیعی هم به پایان رسید و به آزمون پایان فصل رسیدیم. در زیر 10 سوال وجود دارد که برای محک زدن خودتان می‌توانید به آنها پاسخ دهید. توجه داشته باشید که بعضی از سوالات ممکن است بیش از یک گزینه درست داشته باشند. در
این سؤال‌ها برایمان پیش می‌آید که چگونه قواعد ساده زبانی به گونه‌ای پیش رفته‌اند که حجم عظیمی از اطلاعات را در کسری از ثانیه به سیستمهای پیشرفته ترجمه ماشینی تبدیل کنند؟ و تولید این سیستم‌ها از چند دهه گذشته کلید خورده است؟ امکان ترجمه ماشینی خودکار که مدت‌ها برای انسان
در این قسمت از آموزش پردازش زبان طبیعی با اکوسیستم هاگینگ فیس به جمع‌بندی فصل دوم خواهیم پرداخت. در چند بخش گذشته، بخش اعظم کارها به صورت دستی انجام شد. نحوه کارکرد توکن‌کننده‌ها، فرایند توکن‌سازی Tokenization، تبدیل به شناسه‌های ورودی input IDs، پَدینگ، کوتاه‌سازی Truncation و ماسک‌های توجه Attention masks نیز
کاربرد هوش مصنوعی در نوشتن مقاله به مرحله قابل قبولی رسیده است. از زمانی که مدل هوش مصنوعی GPT-3 توسعه داده شده، توجه افراد بسیاری را به خود جلب کرده و این قابلیت آن که می‌توانند شبیه به یک انسان مقاله و کد بنویسد، افراد را شوکه کرده است.
محققان، سیستمی جدید ساخته‌اند که برای حل مسائل ریاضی دبستان آموزش دیده است. دقت این سیستم، نزدیک به دوبرابر مدل GPT-3 است که به دقت تنظیم شده باشد. این مدل می‌تواند 90 درصد مسائلی را که دانش‌آموزان حل کرده‌اند، پاسخ دهد. در این پروژه، نمونه کوچکی از کودکان 9 تا
پژوهشگران علوم کامپیوتر به تازگی عملکرد سیستمهای مکالمه از قبیل ربات‌های سخنگو را که به منظور تعامل با انسان طراحی شده‌اند، بررسی کرده‌اند. این گروه دریافتند که وقتی این سیستم‌ها با مکالمه‌های حاوی اصطلاحات یا تشبیهات مواجه می‌شوند، عملکردشان بین 10 تا 20 درصد کاهش می‌یابد. همچنین این گروه پژوهشی
هوش مصنوعی جنبه‌هایی جدید از پردازش زبان در مغز را روشن می‌سازد. پژوهشگران اعلام کردند که احتمالاً مغز انسان، کلمه بعدی را پیش‌بینی می‌کند، تا پردازش زبان را پیش ببرد. در چند سال گذشته، مدل‌های هوش مصنوعیِ زبان در انجام برخی تکالیف بسیار پیشرفت کرده‌اند. نکتۀ قابل‌توجه این است که
در این قسمت از دوره رایگان آموزش پردازش زبان طبیعی به مدیریت چندین توالی ورودی خواهیم پرداخت. ساده‌ترین موارد کاربرد (یعنی استنباط گیری از یک توالی با طول اندک) در بخش پیشین بررسی شد. با این حال، باید پاسخ مناسبی به پرسش‌های زیر داده شود: در بخش زیر خواهید دید
گزارش‌های تقلب در دانشگاه‌ها از زمان آغاز همه‌گیری کرونا، به سرعت افزایش یافته‌اند. در واقع، رشد چشمگیر آموزش مجازی در دوران همه‌گیری کرونا، نگرانی‌هایی در خصوص نقش فناوری در نظارت بر امتحانات و همچنین در تقلب دانش‌آموزان، ایجاد کرده است. برخی از دانشگاه‌ها در دوران همه‌گیری، تقلب بیشتری را گزارش
توکن کننده ها یکی از اجزای اصلی پایپ‌لاین «پردازش زبان طبیعی» هستند. هدف آنها تبدیل متن به داده‌های قابل پردازش است. مدل‌ها فقط قادر به پردازش اعداد می‌باشند؛ اما توکن کننده ها ورودی‌های متنی را به داده‌های عددی تبدیل می‌کنند. جزئیات پایپ‌لاین توکن‌سازی در این بخش بیان می‌شود. داده‌هایی که
جمع‌آوری داده از سی‌تی‌اسکن‌ها می‌تواند برای کادر درمان، کاری دشوار و خسته‌کننده باشد. پژوهشگران دانشگاه کوئین، امبر سیمپسون و فرهانا زولکرنین به همراه رادیولوژیست، ریچارد دو (مرکز سرطان Memorial Sloan Kettering ، نیویورک) در حال توسعه فناوری‌ای هستند که این مسئله را راحت‌تر می‌کند و همچنین با استفاده از پردازش
اگر برایتان جالب است که بدانید یک سیستم ترجمه و تشخیص زبان چگونه کار می‌کنند، بهتر است از کتابخانه‌های متن باز پایتون استفاده کنید و خودتان با اجرای چند خط کد چنین سیستمی را توسعه دهید.
فلش زیرِ لوگوی شرکت آمازون، معنای ساده‌ای دارد؛ به‌طوری که شما می‌توانید به راحتی محصولاتتان، از A تا Z را از یک سامانه واحد، تهیه کنید. قبول دارید این‌گونه کار شما ساده می‌شود؟ همین امر درباره سیستم ترجمه هم صدق می‌کند (تولید متن از یک زبان به زبانی دیگر). برای
ساخت و استفاده از مدل در این بخش به طور جامع توضیح داده خواهد شد. در این راستا، از کلاس TFAutoModel استفاده خواهیم کرد. هر گاه تصمیم به نمایش یک مدل از چک‌پوینت موجود داشته باشید، کلاس فوق می‌تواند مفید واقع شود. اگر با نوع مدلی که قصد استفاده از
حال هنرمندان حوزه موسیقی می‌توانند با کمک گرفتن از فناوری تولید همزمان متن آهنگ که توسط پژوهشگران دانشگاه واترلو بلژیک توسعه داده شده، برای نوشتن متن آهنگشان ایده‌ها و راهنمایی‌های خلاقانه دریافت کنند.
در این قسمت قرار است بررسی جامعی از پایپ لاین داشته باشیم؛ اما محتوای این بخش قدری با سایر بخش‌ها فرق دارد. بیایید در ابتدای کار این مثال را بررسی کنیم. در زیر خواهید دید که با اجرای کد زیر چه اتفاقی رخ می‌دهد: from transformers import pipeline classifier =
شبکه های حافظه طولانی کوتاه مدت Long Short-Term Memory (LSTM) به ابزار مهمی در یادگیری عمیق تبدیل شده‌اند. بسیاری آنها را جایگزین مناسبی برای شبکه‌های عصبی بازگشتی Recurrent neural networks می‌دانند. رشد سریع تحقیقات یادگیری ماشین باعث شده تا روش‌های جدید به سرعت عرضه شوند، اما ظاهراً شبکه های حافظه طولانی
در سال‌های اخیر، پردازش زبان طبیعی Natural language processing(NLP) (NLP) به مشهورترین اصل در فضای یادگیری عمیق تبدیل شده است.بخشی از محبوبیت آن، باعث پیدایش حجم عظیمی از ابزارها و چارچوب‌هایی از قبیل «Google Cloud»، «Azure LUIS» یا دستیار واتسون Watson Assistant شده است که اجرای نرم‌افزارهای سادۀ NLP را
هوشیو رسانه‌ای تخصصی در حوزه هوش مصنوعی است که با هدف ایجاد محیطی فراگیر و پویا به ترویج و ارتقای این دانش می‌پردازد. ما تلاش می‌کنیم تا علاقه‌مندان به این حوزه درک عمیق‌تری از هوش مصنوعی پیدا کنند، از جدیدترین تحولات آن در ایران و جهان مطلع شوند و فعالان و پیشروان این صنعت را بشناسند. هوشیو با تمرکز بر تولید محتوای چندرسانه‌ای شامل ویدئوکست، پادکست، موشن‌گرافیک و … تجربه‌ای جذاب و آموزنده برای مخاطبان فراهم می‌کند. همچنین، هوشیو با پوشش رسانه‌ای گسترده رویدادهای هوش مصنوعی در ایران و جهان، بستری را برای اطلاع‌رسانی و تعامل میان فعالان و علاقه‌مندان این حوزه ایجاد کرده است.
تمام حقوق این وبسایت متعلق به هوشیو است. کپی‌برداری از محتوای هوشیو با ذکر منبع بلامانع است.
