تنسورفلو یا پای تورچ؟

یکی از دانشجویان دانشکدۀ «UPC Barcelona Tech» از من پرسید که بهترین چهارچوب برای برنامه‌نویسی شبکه‌های عصبی کدام است؟ تنسورفلو TensorFlow یا پای‌تورچ؟ PyTorch این پاسخِ من بود: «نگران این مسئله نباش! با هر کدام که راحت‌تر هستی کار را شروع کن. مهم نیست کدام یک رو انتخاب می‌کنی. مهم‌ترین کار این است که اقدام به شروع کنی.»مراحل برنامه‌نویسی شبکه‌های عصبی در هر دو محیط در یادگیری ماشین مشترک است:

• وارد کردن کتابخانه‌های مورد نیاز
• بارگذاری و پردازش داده‌ها
• تعریف کردن مدل
• تعریف کردن بهینه‌کننده و تابع زیان
• آموزش دادن مدل
•  ارزیابی مدل

این مراحل به شکل مشابهی در هر یک از چارچوب‌ها قابل اجرا هستند. به همین منظور، ما به دنبال ساخت مدل شبکه عصبی هستیم که ارقام دست‌نوشت را در API PyTorch و API Keras of TensorFlow طبقه‌بندی کند. امکان آزمایشِ کد در GitHub وجود دارد.

مراحل برنامه‌نویسی شبکه‌های عصبی

1. وارد کردن کتابخانه‌های مورد نیاز

در هر دو چارچوب باید در ابتدا چند کتابخانه پایتون وارد و چند پارامتر برای پیشبرد اهداف آموزش تعریف کنیم:

import numpy as np
import matplotlib.pyplot as plt epochs = 10
batch_size=64

در چارچوب تنسورفلو فقط این کتابخانه مورد نیاز است:

import tensorflow as tf

اما در پای ‌تورچ باید از دو کتابخانه زیر استفاده کرد:

import torch
import torchvision

2. بارگذاری و پیش پردازش داده‌ها Preprocessing data

بارگذاری و آماده‌سازیِ داده‌ها با تنسورفلو با کدهای زیر انجام‌پذیر است:

(x_trainTF_, y_trainTF_), _ = tf.keras.datasets.mnist.load_data() x_trainTF =
x_trainTF_.reshape(60000, 784).astype('float32')/255 y_trainTF =
tf.keras.utils.to_categorical(y_trainTF_,
            num_classes=10)

اما در پای‌تورچ به کدهای زیر نیاز است:

xy_trainPT = torchvision.datasets.MNIST(root='./data', train=True,

download=True,transform=torchvision.transforms.Compose([torchvision.transforms.ToTensor()]))

xy_trainPT_loader = torch.utils.data.DataLoader(xy_trainPT, batch_size=batch_size)

می‌توان این نکته را تأیید کرد که هر دو کد، داده‌های یکسانی را با کتابخانه matplotlib.pyplot بارگذاری می‌کنند:

print("TensorFlow:")
fig = plt.figure(figsize=(25, 4))
for idx in np.arange(20):
ax = fig.add_subplot(2, 20/2, idx+1, xticks=[], yticks=[])
ax.imshow(x_trainTF_[idx], cmap=plt.cm.binary)
ax.set_title(str(y_trainTF_[idx]))

print("PyTorch:")
fig = plt.figure(figsize=(25, 4))
for idx in np.arange(20):
ax = fig.add_subplot(2, 20/2, idx+1, xticks=[], yticks=[])
ax.imshow(torch.squeeze(image, dim = 0).numpy(),
cmap=plt.cm.binary)
image, label = xy_trainPT [idx]
ax.set_title(str(label))

3. تعریف کردن مدل

تعریف مدل در هر دو مورد با ساختار نسبتاً مشابهی انجام می‌گیرد. این مرحله در تنسورفلو با کد زیر انجام می‌شود:

modelTF = tf.keras.Sequential([ tf.keras.layers.Dense(10,activation='sigmoid',input_shape=(784,)), tf.keras.layers.Dense(10,activation='softmax') ])

این مرحله در پای‌ تورچ با کد زیر انجام‌پذیر است:

modelPT= torch.nn.Sequential( torch.nn.Linear(784,10),torch.nn.Sigmoid(), torch.nn.Linear(10,10), torch.nn.LogSoftmax(dim=1) )

4. تعریف کردن تابع بهینه‌کننده Optimizer function و تابع زیان

مجدداً، روش تصریح بهینه‌کننده و تابع زیان کاملاً یکسان است. این کار در تنسورفلو به صورت زیر انجام می‌شود:

modelTF.compile(
loss="categorical_crossentropy",
optimizer=tf.optimizers.SGD(lr=0.01),
metrics = ['accuracy']
)

این کار در پای‌تورچ به صورت زیر انجام می‌شود:

criterion = torch.nn.NLLLoss()
optimizer = torch.optim.SGD(modelPT.parameters(), lr=0.01)

وقتی نوبت به آموزش می‌رسد، تفاوت‌ها خود را نمایان می‌کنند. آموزش در تنسورفلو فقط با این کد انجام می‌پذیرد:

_ = modelTF.fit(x_trainTF, y_trainTF, epochs=epochs,
batch_size=batch_size, verbose = 0)

این مرحله در پای ‌تورچ کمی طولانی است:

for e in range(epochs):
for images, labels in xy_trainPT_loader:
images = images.view(images.shape[0], -1)
loss = criterion(modelPT(images), labels)
loss.backward()
optimizer.step()
optimizer.zero_grad()

پای‌تورج فاقد تابع تنظیم مدل‌های داده است. بنابراین، برنامه‌نویس باید حلقه آموزش را تصریح کند.

6. ارزیابیِ مدل

شرایط مشابه زمانی پیش می‌آید که بخواهیم به ارزیابی مدل اقدام کنیم. در تنسورفلو فقط کافی است مدل را به کمک داده‌های آزمایشی evaluate() نامگذاری کنید:

_, (x_testTF, y_testTF)= tf.keras.datasets.mnist.load_data()
x_testTF = x_testTF.reshape(10000, 784).astype('float32')/255
y_testTF = tf.keras.utils.to_categorical(y_testTF, num_classes=10)

_ , test_accTF = modelTF.evaluate(x_testTF, y_testTF)
print('\nAccuracy del model amb TensorFlow =', test_accTF)TensorFlow model Accuracy = 0.8658999800682068

فرد برنامه‌نویس در پای‌تورچ ملزم به تصریح حلقه ارزیابی است:

xy_testPT = torchvision.datasets.MNIST(root='./data', train=False, download=True,
transform=torchvision.transforms.Compose([torchvision.transforms.ToTensor()]))

xy_test_loaderPT = torch.utils.data.DataLoader(xy_testPT)

correct_count, all_count = 0, 0
for images,labels in xy_test_loaderPT:
for i in range(len(labels)):
img = images[i].view(1, 784)

logps = modelPT(img)
ps = torch.exp(logps)
probab = list(ps.detach().numpy()[0])
pred_label = probab.index(max(probab))
true_label = labels.numpy()[i]
if(true_label == pred_label):
correct_count += 1
all_count += 1

print("\nAccuracy del model amb PyTorch =", (correct_count/all_count))TensorFlow model Accuracy = 0.8657

همان طور که در این مثال ساده ملاحظه کردید، شیوه ساخت شبکه عصبی در تنسورفلو یا پای ‌تورچ تفاوت چندانی با یکدیگر ندارند؛ به جز چند مورد استثنا که برنامه‌نویس باید آنها را در هنگام اجرای حلقه ارزیابی و آموزش مد نظر قرار دهد. برخی از پارامترها از قبیل دوره یا اندازۀ دسته در مراحل مختلف مشخص می‌شوند. در واقع، این دو چارچوب در طول دو سال گذشته به طور پیوسته در حال همگرایی بوده‌اند؛ از همدیگر یاد گرفته‌اند و از بهترین ویژگی‌ها و قابلیت‌های خود برای مواجهه با مسائل استفاده می‌کنند.