آموزش پردازش زبان طبیعی با اکوسیستم هاگینگ فیس؛ تنظیم محیط کار (قسمت دوم)

به دوره آموزش پردازش زبان طبیعی با اکوسیستم هاگینگ فیس خوش آمدید! در این پیش‌گفتار نحوه تنظیم محیط کار برای کار کردن روی پروژه‌ها را به شما توضیح می‌دهیم. اگر تازه دوره را آغاز کرده‌اید، توصیه می‌کنیم ابتدا نگاهی به بخش اول بیندازید، سپس برگردید و تنظیم محیط کار را انجام دهید تا بتوانید کدهای خود را اجرا کنید. در انتهای مطلب می‌توانید به بخش‌های دیگر دوره آموزشی پردازش زبان طبیعی دسترسی داشته باشید.

تمامی کتابخانه‌هایی که در این دوره استفاده خواهیم کرد در پایتون به عنوان پکیج در دسترس هستند. در این قسمت نحوه تنظیم محیط پایتون و نصب کتابخانه‌های موردنیاز را به شما نشان خواهیم داد.

در این قسمت دو روش مختلف برای تنظیم محیط کار را شرح خواهیم داد: 1. ایجاد یک نوت‌بوک در Colab و 2. ایجاد یک محیط مجازی در پایتون Python virtual environment. برای تنظیم محیط کار خود می‌توانید از روشی که با آن راحت‌تر هستید استفاده کنید. اما پیشنهاد ما برای مبتدیان این است که کار خود را با نوت‌بوک Colab آغاز کنند.

توجه داشته باشید که ما با سیستم ویندوز کار نمی‌کنیم. بنابراین، اگر روی ویندوز کار می‌کنید، توصیه می‌کنیم از نوت‌بوک Colab استفاده کنید. اما اگر با سیستم‌عامل‌های توزیع لینوکس Linux distribution و macOS کار می‌کنید، می توانید از هر دو روش زیر استفاده کنید.

استفاده از Google Colab

استفاده از نوت‌بوک‌های Colab ساده‌ترین روش ممکن برای تنظیم محیط کار است. تنها کافی است یک نوت‌بوک را در مرورگر خود راه‌اندازی کنید و سپس به راحتی برنامه‌نویسی را شروع کنید!

اگر با Colab آشنایی ندارید، توصیه می‌کنیم ابتدا به قسمت «مقدمه » این دوره بروید. Colab به شما امکان می دهد از برخی سخت‌افزارهای شتاب‌دهنده مانند GPU یا TPU استفاده کنید و برای پروژه‌هایی که پردازش کمتری نیاز داشته باشند رایگان است.

هنگامی که وارد Colab شدید، یک نوت‌بوک جدید ایجاد کنید تا تنظیم محیط کار آغاز شود:

مرحله بعدی نصب کتابخانه‌هایی است که در این دوره استفاده خواهیم کرد. ما برای نصب از دستور pip استفاده خواهیم کرد. در نوت‌بو‌ک‌ها می‌توانید دستوراتی باید در سیستم اجرا شوند را با قرار دادن کارکتر «!» در ابتدای آن‌ها به راحتی اجرا کنید. بنابراین می توانید کتابخانه ترنسفورمر Transformers را به صورت زیر نصب کنید:

!pip install transformers

با import کردن پکیج در پایتون، می توانید از نصب صحیح وکامل آن مطمئن شوید:

import transformers

گیف زیر نتیجه دو دستور بالا را نشان می دهد:

این کد یک نسخه بسیار سبک از ترنسفورمر را برای شما نصب می کند. یعنی هیچ یک از چهارچوب‌های کاری یادگیری ماشینی (مانند پایتورچ یا تنسورفلو) همراه با آن برای شما نصب نخواهد شد. از آن‌جا که از بسیاری از ویژگی‌های این کتابخانه استفاده خواهیم کرد، توصیه می کنیم نسخه development که حاوی تمام اجزای مورد نیازتان است را نصب کنید:

!pip install transformers[sentencepiece]

نصب این کتابخانه کمی طول می کشد، اما با نصب آن برای ادامه این دوره کاملاً آماده خواهید بود.

استفاده از محیط مجازی پایتون

اگر کار با محیط مجازی پایتون را ترجیح می‌دهید، اولین قدم نصب پایتون بر روی سیستم‌ است. توصیه می‌کنیم برای نصب پایتون این راهنما را دنبال کنید.

پس از نصب پایتون، باید بتوانید دستورات پایتون را در ترمینال خود اجرا کنید. قبل از رفتن به مراحل بعدی برای اطمینان از نصب صحیح آن می توانید دستور python –version که نسخه پایتونی که هم‌اکنون در سیستم شما موجود است را چاپ کند، اجرا کنید.

هنگام اجرای یک دستور پایتون مانند python –version در ترمینال،  باید درنظر بگیرید که برنامه دستور شما را به عنوان «main» روی سیستم اجرا می کند. ما توصیه می کنیم که هیچ پکیجی روی main نصب نکنید و از آن تنها برای ایجاد محیط‌های جداگانه برای هر پروژه استفاده کنید تا هر پروژه بتواند اجزا و پکیج‌های مخصوص به خود را داشته باشد. به این ترتیب، دیگر نیاز نیست نگران مشکلات احتمالی ناشی از عدم سازگاری پروژه‌ها با هم باشید.

در پایتون این کار با محیط‌های مجازی انجام می‌شود. یک محیط مجازی در واقع یک درخت است که ذاتاً حاوی دایرکتوری‌ است که نسخه خاصی از پایتون به علاوه تمامی پکیج‌های موردنیاز برای پروژه مدنظر در آن نصب شده است. ابزارها و روش‌های مختلفی برای ایجاد چنین محیط مجازی وجود دارد، اما ما برای این منظور از پکیج رسمی پایتون به نام venv استفاده خواهیم کرد.

ابتدا باید دایرکتوری که می‌خواهید پروژه شما در آن ذخیره شود را انتخاب کنید. برای مثال، ممکن است بخواهید یک دایرکتوری جدید به نام transformers-course در مسیر صفحه اصلی خود ایجاد کنید:

mkdir ~/transformers-course
cd ~/transformers-course

در درون این دایرکتوری به کمک ماژول venv یک محیط مجازی ایجاد کنید:

python -m venv .env

در پوشه ایجاد شده باید دایرکتوری با پسوند .env داشته باشید:

ls -a

.      ..    .env

با استفاده از دو کلید واژه activate و deactivate به صورت زیر می‌توانید وارد محیط مجازی شده یا از آن خارج شوید:

# Activate the virtual environment
source .env/bin/activate

# Deactivate the virtual environment
source .env/bin/deactivate

با اجرای دستور which python می‌‌توانید مشاهده کنید که کدام محیط در حال‌حاضر برایتان فعال است. اگر در خروجی این دستور نام محیط مجازی خود را مشاهده کردید به این معناست که محیط مدنظر شما به درستی فعال شده است:

which python

/home/<user>/transformers-course/.env/bin/python

نصب سایر اجزا و وابستگی‌ها

همانطور که پیش‌تر در مثال Google Colab نیز دیدید، نصب شدن پکیج‌های ضروری نیازمند نصب نسخه development  کتابخانه ترنسفورمر است که به این منظور از دستور pip  استفاده می کنیم:

pip install "transformers[sentencepiece]"

حال همه چیز آماده است و می‌توانید به ادامه دوره بازگردید.

برای دسترسی به بخش‌های دیگر دوره آموزش پردازش زبان طبیعی از طریق لینک زیر اقدام کنید:

[button href=”https://hooshio.com/%D8%B1%D8%B3%D8%A7%D9%86%D9%87-%D9%87%D8%A7/%D8%A2%D9%85%D9%88%D8%B2%D8%B4-%D9%BE%D8%B1%D8%AF%D8%A7%D8%B2%D8%B4-%D8%B2%D8%A8%D8%A7%D9%86-%D8%B7%D8%A8%DB%8C%D8%B9%DB%8C/” type=”btn-default” size=”btn-lg”]آموزش پردازش زبان طبیعی[/button]