هوش مصنوعی فیس‎بوک
اخبارکاربردهای هوش مصنوعیهوش مصنوعی در جهان

دستاورد جدید بخش هوش مصنوعی فیس‎بوک: حذف زبان واسط در فرایند ترجمه

0
زمان مطالعه: ۴ دقیقه

چه از آمریکا به حساب کاربری فیس‌بوک متصل شده باشید و چه از برزیل یا فرانسه، این پلتفرم توانایی ترجمه محتوای تولیدشده به زبان شما را دارد و این کار را با استفاده از ترجمه ماشینی انجام می‌دهد. درواقع، فیس‎بوک روزانه حدود ۲۰ میلیارد ترجمه برای بخش خبری خود انجام می‌دهد. روش کار ترجمه این پلتفرم به این شکل است که زبان انگلیسی را به‌عنوان زبان اصلی می‎شناسد و برای مثال اگر قرار باشد محتوایی را از زبان چینی به فرانسوی ترجمه کند، ابتدا آن را به انگلیسی ترجمه کرده و نسخه انگلیسی را فرانسوی می‌کند. تابه‌حال این روش به این دلیل استفاده می‎شده که دیتاست‌های زبان انگلیسی بسیار گسترده بوده‌اند، اما در این پروسه ترجمه دقت آن به دلیل واسطه بودن زبان انگلیسی به‌شدت کاهش پیدا می‌کند و این همان بخشی است که هوش مصنوعی فیس‌بوک روی آن تمرکز کرده است.

در مدل جدید توسعه داده‌شده توسط هوش مصنوعی فیس‎بوک دو زبان به‌طور مستقیم به یکدیگر ترجمه می‎شوند و دیگر زبان انگلیسی واسطه نیست. با استفاده از این مدل دقت در ترجمه‌ها به‌مراتب افزایش داشته است.

آنجلا فان، یکی از محققان بخش هوش مصنوعی فیس‎بوک، دراین‌باره می‌گوید:«چالش واقعی ما این است که چه سیستم ترجمه‌ای انتخاب کنیم که بتوانیم از طریق آن نیازهای مردم سراسر جهان را برآورده کنیم. پس بهترین راه این است که بتوانیم تمام زبان‌ها را به یکدیگر ترجمه کنیم. برای مثال، در مناطق مختلف دنیا مردم با زبان‌های مختلف صحبت می‌کنند، بسیاری از آن‌ها انگلیسی نیستند و این در حالی است که سیستم ترجمه ما بیش‌ازحد به انگلیسی متکی است و داده‌های انگلیسی دارد». طبق آمار از بین میلیاردها پستی که روزانه با ۱۶۰ زبان متفاوت در فیس‌بوک بارگذاری می‎شوند،  بیش از دوسوم آن‌ها به زبانی غیر از انگلیسی هستند.

طبق ادعای بخش هوش مصنوعی فیس‎بوک، مدل ترجمه جدید اولین مدل ترجمه ماشینی است که می‌تواند بیش از ۱۰۰ زبان دنیا را به‌طور مستقیم و بدون وجود واسطه به یکدیگر ترجمه کند. برای این منظور حدود ۷.۵ میلیارد جمله به ۱۰۰ زبان مختلف دنیا به داده‌ها آموزش داده شدند. با استفاده از این داده‌ها مدل ترجمه جهانی جدیدی با بیش از ۱۵ میلیارد پارامتر ایجادشده است که می‌تواند اطلاعات را به زبانی دریافت کند و با زبانی دیگر تحویل دهد.

ربات شطرنج باز انگشت دست حریفش را شکست!

نوآوری این داده‌های مختلف از سراسر دنیا برای فیس‌بوک امری سخت بوده که البته این شرکت آن را با روشی نوین و خاص انجام داده است. فان می‌گوید:«بسیاری از این داده‌ها حاصل سال‌ها تلاش ما در مرکز تحقیقات هوش مصنوعی فیس‌بوک بوده است. انجام آن هم مانند سرهم کردن تکه‌های مختلفی از یک لِگو بوده است».

برای شروع تیم هوش مصنوعی فیس‎بوک CommonCrawl را به خدمت گرفت و از مخزن داده‌های آن‌که از طریق خزیدن در وب‌سایت‌ها به‌دست‌آمده بود، استفاده کرد. در این مخزن نمونه‌های بسیاری از نمونه‌های متنی وجود داشته است. بعدازآن از FastText برای شناسایی زبان هر نوشته استفاده کرد تا بتواند زبان‌ها را در سیستمی کلاسه‌بندی کند. فان می‌گوید:«این بخش مربوط به شناسایی زبان نوشته است. برای این کار متون زیادی را جمع‌آوری کردیم که به زبان‌های مختلف هم بودند. هدف بعدی این بود که متنی را شناسایی کنیم که باید ترجمه شود. عموماً مردم از نیروی انسانی برای ترجمه زبان‌ها استفاده می‌کنند و داده‌های مربوط به ترجمه را می‎سازند. اما در مقیاس وسیع انجام این کار بسیار سخت است، برای مثال این‌که کسی را پیدا کنیم که هم به زبان انگلیسی مسلط باشد و هم زبان تامیلی (زبان مردمی خاص در هندوستان و سری‌لانکا) سخت، اما شدنی است. اما این‌که کسی را پیدا کنیم که فرانسوی و تامیلی صحبت کند کار آسانی نیست. در زبان‌های غیر انگلیسی، ترجمه هنوز نیاز به پیشرفت زیادی دارد».

برای تأمین این داده‌های موردنیاز آن‌هم به مقیاس وسیع، تیم فان بهره زیادی از سیستم «لیزر» برده است:«این سیستم جملات را می‌خواند، متن را تشخیص می‌دهد و آن را تبدیل به یک ارائه به زبان ریاضی می‌کند و آن را با متنی که ساختار ریاضی مشابه دارد تطبیق می‌دهد. پس اگر یک جمله به چینی و فرانسوی داشته باشیم و معنی آن‌ها یکی باشد، نمونه ریاضی آن‌ها مطابق هم خواهد بود. وقتی نمونه‌های ریاضی تطبیق داده می‎شوند، بخش‌هایی که همخوانی دارند، همان بخش‌هایی هستند که به جمله ما مربوط بوده و ترجمه می‎شوند».

البته محتوای تولیدشده به بسیاری از زبان‌ها در اینترنت کمیاب هستند. در این شرایط تیم فان با تکیه بر داده‌هایی که با استفاده از نیروی انسانی تهیه‌شده، کارشان را پیش بردند. فان این‎طور توضیح می‌دهد:«اگر هدف من ترجمه از زبان چینی به فرانسوی باشد، اما به هر دلیلی ترجمه کیفیت مطلوب را نداشته باشد، سیستم به داده‌های تک‌زبانه رجوع می‌کند. کاری که می‌کنم این است که یک سیستم معکوس را آموزش می‌دهم، یعنی از فرانسوی به چینی. در این شرایط داده‌های فرانسوی‌ام را به‌طور کامل  از وب‎سایت‌ها جمع‌آوری می‌کنم و آن را به زبان چینی ترجمه می‌کنم».

کاهش هزینه‌های اکتشاف معدن در کشور با هوش مصنوعی

داده‌های مصنوعی زیادی هم با این روش آموزش داده‌شده‌اند. فان در ادامه می‌گوید:«درنتیجه در من متونی که به فرانسوی ترجمه شدند، کلمات چینی که با متن اولیه مطابقت دارند را پیداکرده و از این طریق ترجمه را انجام می‌دهم. به این دلیل که این کار باعث می‎شود داده‌های بسیار زیاد دیگری به دست آید، درنتیجه سیستم قوی‎تر هم می‎شود».

طبق ادعای فان، موفقیت کل این پروژه بستگی به این موضوع دارد که هوش مصنوعی چه میزان منابع مفید در اختیار خواهد داشت. برای زبان‌هایی مانند فرانسوی، چینی، آلمانی، اسپانیایی و هندی، طبیعتاً منابع بسیار وسیع هستند و درواقع مردم متون زیادی به این زبان‌ها در اینترنت منتشر کرده‌اند. این متون می‌توانند تبدیل به داده‌های مدل فیس‎بوک شوند و آن را قوی‌تر کنند.

فان می‌گوید:«من به‌شخصه بخش‌های زیادی را یافتم که در آن نیاز به پیشرفت شدیداً محسوس است. دلیلش هم این بوده که منابع زبانی آن بسیار محدود بوده است. برای زبان‌های آفریقایی ما در آفریقایی و سواحلی بسیار خوب کار کردیم، اما در زبانی مانند زولو جای پیشرفت زیادی داریم. درواقع زبان‌هایی از این قبیل برای ما چالشی جدید هستند که باید با آن مواجه شویم».

جالب اینجاست که فیس‎بوک تحقیقاتش درزمینهٔ دیتاست، مدل، آموزش داده و ارزیابی تنظیمات را به‌عنوان منبعی آزاد در دسترس جامعه محققین قرار داده تا زمینه‌ای برای پیشرفت‌های بیشتر آینده هم باشد. این شرکت همچنین تصمیم دارد سیستم جدیدش را توسعه دهد و درنهایت از آن برای استفاده در پلتفرم خودش استفاده کند.

جدیدترین اخبار هوش مصنوعی ایران و جهان را با هوشیو دنبال کنید.

این مطلب چه میزان برای شما مفید بوده است؟
[کل: ۰ میانگین: ۰]

راه‌های مختلف برای ایجاد انگیزه استفاده از هوش مصنوعی در سازمان‌ها

مقاله قبلی

تحول هوش مصنوعی در پردازش تصویر: نگران کیفیت ویدئو‌ها نباشید

مقاله بعدی

شما همچنین ممکن است دوست داشته باشید

بیشتر در اخبار

نظرات

پاسخ دهید

نشانی ایمیل شما منتشر نخواهد شد.