کتابخانه Pandas در پایتون: چگونه دیتاست‌های بزرگ را بارگذاری کنیم

کتابخانه Pandas در پایتون یکی از ارکان حیاتی علوم داده به شمار می‌آید. یکی از انتقاداتی که به این کتابخانه وارد می‌شود این است که نمی‌تواند دیتاست‌های بزرگ‌تر از حافظه را تحلیل کند و به همین دلیل در هنگام تحلیل و کار کردن با کلان‌ داد‌ه به مشکل می‌خورد.  تصور کنید می‌خواهیم یک دیتاست بزرگ را تنها با استفاده از کتابخانه Pandas در پایتون تحلیل کنیم. در این حالت ممکن است با چه چالش‌هایی مواجه شویم؟ برای مثال، فرض کنید فایلی شامل ۳ گیگابایت داده‌ در اختیار داریم؛ این داده‌ها چکیده‌ای از اطلاعات مربوط به سفرهایی است که در ماه مارس سال ۲۰۱۶ با تاکسی‌های شهری (زرد) انجام شده است. برای این‌که بتوانیم این دیتاست را تحلیل کنیم، باید ابتدا آن را در حافظه بارگذاری کنیم.  برای خواندن این دیتاست، از تابع ()read_csv  متعلق به کتابخانه Pandas در پایتون استفاده می‌کنیم:

import کتابخانه Pandas در پایتون as pd
df = pd.read_csv('yellow_tripdata_2016-03.csv')

زمانی که سلول/ فایل را اجرا می‌کنم، سیستم Memory Error (خطای حافظه) را نشان می‌دهد ( خطای حافظه بستگی به ظرفیت سیستمی دارد که از آن استفاده می‌کنید).

آیا می‌توان از کتابخانه‌های دیگر استفاده کرد؟

نکته‌ای که باید به آن توجه داشته باشید این است که کتابخانه Pandas در پایتون ابزار مناسبی برای انجام و اجرای تمامی مسائل نیست. کتابخانه Pandas در پایتون از پردازش چندگانه Multiprocessing پشتیبانی نمی‌کند و کتابخانه‌های دیگر در هنگام کار با کلان‌داده‌ها عملکرد بهتری دارند. یکی از این کتابخانه‌ها Dask نام دارد؛ این کتابخانه  API مشابه کتابخانه Pandas در پایتون دارد که می‌تواند با دیتاست‌هایی بزرگ‌تر از حافظه کار کند. حتی در سند کتابخانه Pandas در پایتون نیز صریحاً به عدم توانایی این کتابخانه در تحلیل کلان‌داده‌ها اشاره شده است:

بهتر است در ‌چنین مواقعی از کتابخانه Pandas استفاده نشود. Pandas ابزار مناسبی برای انجام و اجرای تمامی مسائل نیست.

[irp posts=”۳۴۷۰″]

در این نوشتار به معرفی روش تقسیم‌بندی Chunking خواهیم پرداخت؛ با استفاده از این روش می‌توانید دیتاست‌های موجود در حافظه را در کتابخانه Pandas در پایتون بارگذاری کنید. برخی اوقات این روش در کتابخانه Pandas در پایتون می‌تواند راهکاری مناسب برای مدیریت و حل مشکلات خارج از حیطه حافظه پیش روی ما بگذارد، اما همیشه هم کارایی لازم را ندارد و در ادامه این نوشتار به آن خواهیم پرداخت.  در این نوشتار به بررسی دو روش بارگذاری دیتا‌ست‌های بزرگ در پایتون خواهیم پرداخت:

• استفاده از ()read_csv به همراه پارامتر اندازه بخش Chunksize
  
• استفاده از SQL و کتابخانه Pandas در پایتون

تقسیم‌بندی: تقسیم‌ کردن دیتاست‌ها به بخش‌های کوچک‌تر

پیش از ذکر هرگونه مثالی در این زمینه، مفهوم تقسیم‌بندی را توضیح خواهیم داد.

تقسیم‌بندی به استراتراتژی‌هایی گفته می‌شود که با استفاده از دانش و تخصص موقعیتی خاص درخواست‌های مرتبط با تخصصی حافظه را جمع‌آوری می‌کنند و  بدین وسیله با ارتقای عملکرد کمک می‌کنند.

به بیانی دیگر، به جای این‌که تمامی داده‌ها را به صورت همزمان در حافظه بخوانیم، می‌توانیم آن‌ها را به قسمت‌ها و بخش‌های کوچک‌تر تقسیم کنیم. در مواردی هم که داده‌ها در فایل‌های CSV قرار دارند، در زمانی مشخص چندین خط از داده‌ها را در حافظه بارگذاری می‌کنیم.

تابع  ()read_csv  متعلق به کتابخانه Pandas در پایتون یک پارامتر اندازه بخش دارد که اندازه‌ قسمت‌ها/بخش‌ها را کنترل می‌کند. برای این‌که نحوه عملکرد این تابع را با یکدیگر بررسی کنیم، از دیتاستی که در ابتدای این نوشتار به آن اشاره شد، استفاده می‌کنیم، اما به جای این‌که این دیتاست را به طور کامل بارگذاری کنیم، آن را به بخش‌های کوچک‌تر تقسیم‌بندی می‌کنیم و سپس آن را بارگذاری می‌کنیم.

استفاده از تابع ()read_csv  به همراه اندازه بخش

برای آن‌که بتوانیم دیتاست را تقسیم بندی کنیم، ابتدا باید اندازه بخش‌ها/ قسمت‌ها را مشخص کنیم. استفاده از تایع به همراه پارمتر اندازه بخش، یک شیء به عنوان خروجی به ما می‌دهد که می‌توانیم چندین بار آن را تکرار کنیم.

[irp posts=”۱۹۷۱۳″]

سپس عدد ۵۰.۰۰۰۰ را به عنوان سایز بخش انتخاب می‌کنیم، به این معنا که هر بار، فقط ۵۰.۰۰۰ ردیف از داده‌ها بارگذاری خواهد شد.

بارگذاری فایل تک بخشی به عنوان دیتافریم کتابخانه Pandas در پایتون

حالا چندین بخش داریم و می‌توانیم هر بخش را به عنوان یک دیتافریم کتابخانه Pandas در پایتون بارگذاری کنیم.

df1 = pd.read_csv('chunk1.csv')
df1.head()

df1 = pd.read_csv('chunk1.csv')
df1.head()

VendorID	tpep_pickup_datetime	tpep_dropoff_datetime	passenger_count	trip_distance	pickup_longitude	
pickup_latitude	RatecodeID	store_and_fwd_flag	dropoff_longitude	dropoff_latitude	payment_type	
fare_amount	extra	mta_tax	tip_amount	tolls_amount	improvement_surcharge	total_amount
۰	۲	۲۰۱۶-۰۲-۲۵ ۱۷:۲۴:۲۰	۲۰۱۶-۰۲-۲۵ ۱۷:۲۷:۲۰	۲	۰.۷۰	-۷۳.۹۴۷۲۵۰	۴۰.۷۶۳۷۷۱	۱	N	-۷۳.۹۹۲۰۱۲	۴۰.۷۳۵۳۹۰	۲	۵.۰	۰.۰	۰.۵	۰.۰	۰.۰	۰.۳	۵.۸
۱	۲	۲۰۱۶-۰۲-۲۵ ۲۳:۱۰:۵۰	۲۰۱۶-۰۲-۲۵ ۲۳:۳۱:۵۰	۲	۵.۵۲	-۷۳.۹۸۳۰۱۷	۴۰.۷۵۰۹۹۲	۱	N	-۷۳.۹۸۸۵۸۶	۴۰.۷۵۸۸۳۹	۲	۲۰.۰	۰.۵	۰.۵	۰.۰	۰.۰	۰.۳	۲۱.۳
۲	۲	۲۰۱۶-۰۲-۰۱ ۰۰:۰۰:۰۱	۲۰۱۶-۰۲-۰۱ ۰۰:۱۰:۵۲	۶	۱.۹۹	-۷۳.۹۹۲۳۴۰	۴۰.۷۵۸۲۰۲	۱	N	-۷۳.۹۶۴۳۵۵	۴۰.۷۵۷۹۷۷	۱	۹.۵	۰.۵	۰.۵	۰.۷	۰.۰	۰.۳	۱۱.۵
۳	۱	۲۰۱۶-۰۲-۰۱ ۰۰:۰۰:۰۴	۲۰۱۶-۰۲-۰۱ ۰۰:۰۵:۱۶	۱	۱.۵۰	-۷۳.۹۸۱۴۵۳	۴۰.۷۴۹۷۲۲	۱	N	-۷۳.۹۸۲۳۲۳	۴۰.۷۶۳۹۸۵	۲	۶.۵	۰.۵	۰.۵	۰.۰	۰.۰	۰.۳	۷.۸
۴	۲	۲۰۱۶-۰۲-۰۱ ۰۰:۰۰:۰۵	۲۰۱۶-۰۲-۰۱ ۰۰:۲۰:۵۹	۱	۵.۶۰	-۷۴.۰۰۰۶۰۳	۴۰.۷۲۹۷۵۵	۱	N	-۷۳.۹۵۱۳۲۴	۴۰.۶۶۹۸۳۴	۱	۲۰.۰	۰.۵	۰.۵	۴.۰	۰.۰	۰.۳	۲۵.۳

نتیجه عالی است! سیستم خطای حافظه را نشان نمی‌دهد. حالا می‌خواهیم ببینیم این بخش چه مقدار از حافظه را اشغال کرده است:

()df1.info

• هشدار

تقسیم‌بندی دیتاست منجر به شکل‌گیری چندین بخش کوچک‌تر از داده‌ها می‌شود. به همین دلیل، در عملیات‌هایی که هماهنگی میان بخش‌ها اهمیت چندانی ندارد، این روش می‌تواند عملکرد فوق‌العاده‌ای داشته باشد. توجه به این نکته ضروری و لازم است. یکی دیگر از نقاط ضعف استفاده از روش تقسیم‌بندی این است که برای برخی عملیات‌ها همچون groupby استفاده از بخش‌ها دشوارتر است. در چنین مواقعی بهتر است از کتابخانه‌های دیگر استفاده کنید.

استفاده از SQL و Pandas برای خواندن فایل‌های داده‌ بزرگ

یکی دیگر از روش‌هایی که می‌توانیم به کار ببندیم این است که با استفاده از بخش‌ها یک دیتابیس SQLite بسازیم و سپس داده‌های مورد نیاز را با استفاده از پرسمان‌های SQL استخراج کنیم. SQLite سیستم مدیریت دیتابیس مبتنی بر زبان SQL است که برای محیط‌های کوچک‌تر طراحی و بهینه‌سازی شده است. این سیستم را می‌توان با استفاده از یکی از ماژول‌های پایتون به نام sqlite3 در پایتون وارد کرد.

[irp posts=”۳۱۴۴″]
SQLAlchemy جعبه‌ابزار SQL پایتون است و توسعه‌دهندگان نرم‌افزارهای کاربردی می‌توانند با استفاده از تکنیک Object Relational Mapper از تمامی توان و انعطاف‌پذیری SQL استفاده کنند. از این جعبه‌ابزار برای ساخت موتوری استفاده می‌شود که با استفاده از داده‌های اصلی یک دیتابیس ایجاد می‌کند. در پروژه‌‌ پیش‌رو، این دیتابیس، یک فایل CSV بزرگ است.

برای انجام پروژه حاضر، باید مراحل زیر را دنبال کنیم:

بارگذاری کتابخانه‌های مورد نیاز

import sqlite3
from sqlalchemy import create_engine

ایجاد رابطی به دیتابیس

دیتابس را نام‌گذاری می‌کنیم:

csv_database = create_engine('sqlite:///csv_database.db')

در اینجا، دیتابیس  را با هدف ایجاد csv_database  نام‌گذاری می‌کنیم.

ایجاد یک دیتابیس از فایل CSV با استفاده از روش تقسیم‌بندی  

مشابه این فرایند را در ابتدای این نوشتار نیز انجام دادیم. حلقه دیتاست‌ها را که به بخش‌های کوچک‌تر تقسیم شده‌اند و به وسیله پارامتر اندازه بخش مشخص‌شده‌اند را می‌خواند.

chunk_size=50000
batch_no=1

for chunk in pd.read_csv('yellow_tripdata_2016-02.csv',chunksize=chunk_size,iterator=True):
    chunk.to_sql('chunk_sql',csv_database, if_exists='append')
    batch_no+=1
    print('index: {}'.format(batch_no))

به دلیل این‌که داده‌ها را در دیتابیس csv_database  می‌نویسیم، از تابع chunk.to_sql instead of chunk.to_csv   استفاده می‌کنیم. علاوه بر این، chunk_sql  نامی است که به دلخواه برای بخش انتخاب شده است.

ساخت دیتافریم کتابخانه Pandas در پایتون با query ارسال شده به دیتابیس SQL

دیتابیس ایجاد شده است. اکنون می‌توانیم دیتابیس را پرس‌‌و‌جو کنیم و ستون‌های مورد نیاز را استخراج کنیم؛ برای مثال، می‌توانیم ردیف‌هایی که تعداد مسافران (passenger count) آن‌ها کمتر از ۵ و مسافت سفر آن‌ها بیشتر از ۱۰ است را استخراج کنیم. Pandas .read_sql_query ، query  ارسال شده به SQL را در قالب یک دیتافریم می‌خواند.

df_new = pd.read_sql_query('SELECT * FROM chunk_sql WHERE passenger_count <5 AND trip_distance > 10',csv_database)
df_new.head()

	index	VendorID	tpep_pickup_datetime	tpep_dropoff_datetime	passenger_count	trip_distance	pickup_longitude	pickup_latitude	RatecodeID	store_and_fwd_flag	dropoff_longitude	dropoff_latitude	payment_type	fare_amount	extra	mta_tax	tip_amount	tolls_amount	improvement_surcharge	total_amount
۰	۱۸	۲	۲۰۱۶-۰۲-۰۱ ۰۰:۰۰:۳۸	۲۰۱۶-۰۲-۰۱ ۰۰:۱۸:۲۷	۱	۱۰.۶۷	-۷۳.۸۷۵۰۰۸	۴۰.۷۷۳۹۷۲	۱	N	-۷۳.۹۷۵۱۱۳	۴۰.۷۵۸۷۵۱	۲	۲۹.۵	۰.۵	۰.۵	۰.۰۰	۵.۵۴	۰.۳	۳۶.۳۴
۱	۴۰	۲	۲۰۱۶-۰۲-۰۱ ۰۰:۰۲:۰۸	۲۰۱۶-۰۲-۰۱ ۰۰:۲۱:۳۹	۲	۱۰.۷۰	-۷۳.۷۸۸۹۰۲	۴۰.۶۴۶۳۸۹	۱	N	-۷۳.۷۰۹۳۲۰	۴۰.۷۲۵۷۱۲	۱	۳۰.۰	۰.۵	۰.۵	۹.۳۹	۰.۰۰	۰.۳	۴۰.۶۹
۲	۵۰	۲	۲۰۱۶-۰۲-۰۱ ۰۰:۰۳:۴۰	۲۰۱۶-۰۲-۰۱ ۰۰:۳۳:۱۱	۱	۱۸.۸۱	-۷۳.۷۷۷۰۲۳	۴۰.۶۴۵۰۰۰	۲	N	-۷۳.۹۸۸۵۷۹	۴۰.۷۲۵۷۸۰	۱	۵۲.۰	۰.۰	۰.۵	۱۱.۶۷	۵.۵۴	۰.۳	۷۰.۰۱
۳	۵۶	۲	۲۰۱۶-۰۲-۰۱ ۰۰:۲۱:۰۱	۲۰۱۶-۰۲-۰۱ ۰۰:۲۱:۰۱	۱	۱۶.۴۰	-۷۳.۷۹۱۵۲۷	۴۰.۶۴۵۳۴۰	۲	N	-۷۳.۹۶۹۶۲۷	۴۰.۷۵۳۶۸۹	۲	۵۲.۰	۰.۰	۰.۵	۰.۰۰	۵.۵۴	۰.۳	۵۸.۳۴
۴	۷۱	۱	۲۰۱۶-۰۲-۰۱ ۰۰:۰۰:۱۱	۲۰۱۶-۰۲-۰۱ ۰۰:۳۵:۱۰	۱	۱۰.۴۰	-۷۴.۰۰۰۵۴۹	۴۰.۷۲۹۸۰۹	۱	N	-۷۳.۹۳۹۴۰۷	۴۰.۸۲۶۸۱۳	۱	۳۳.۵	۰.۵	۰.۵	۵.۰۰	۰.۰۰	۰.۳	۳۹.۸۰

حالا دیتافریمی داریم که به خوبی در حافظه جای می‌‎گیرد و برای تحلیل‌های آتی می‌توان از آن استفاده کرد.

نتیجه‌گیری

کتابخانه Pandas در پایتون کتابخانه‌ای سریع و سودمند برای تحلیل داده‌ها است. با این وجود ابزار مناسبی برای کار کردن و تحلیل کلان‌داده‌ها نیست. در این نوشتار نشان دادیم تقسیم‌بندی و SQL چگونه می‌توانند در تحلیل دیتاست‌های بزرگ‌تر از حافظه سیستم به کمک ما بیایند. اما باید توجه داشته باشید که این روش‌های همیشه مؤثر و کارآمد نیستند و بهتر است از کتابخانه‌هایی استفاده کنید که با هدف کار کردن و تحلیل کلان‌داده‌ها ایجاد شده‌اند.