آشنایی مقدماتی با انواع دیتاست بینایی کامپیوتری در ۵ گام

درست همان‌طور که انسان‌ها برای یادگیری مهارت­‌های جدید و آزمون دانش خود به چیزهایی هم­چون کتاب­‌های منبع، بلاگ‌­ها، ویدئوها و غیره نیاز دارند، الگوریتم­‌های یادگیری ماشین هم برای یادگیری نیازمند دیتاست هستند.

انتخاب دیتاست از اهمیت بالایی برخوردار است و می‌تواند بین یک مدل برجسته­ یادگیری ماشینی با طرح‌های آزمایشی ابتدایی تمایز ایجاد کند.

مقالات خوب متعددی در مورد دیتاست­‌های متنی Text-based datasets وجود دارد. طی چند سال گذشته که در حوزه­ بینایی کامپیوتری سخنرانی‌های علمی برگزار کرده‌­ام، متوجه شدم دانشجویان در مورد چرا/ چه­ زمان/چه چیزی/ کجا/ کدام دیتاست­‌های بینایی کامپیوتری به مشکل برمی­‌خورند.

به همین دلیل در این مقاله به سؤالات زیر خواهیم پرداخت:

1. چرا به یک دیتاست نیاز داریم؟
2. چه زمانی به یک دیتاست نیاز داریم؟
3. چه چیزی را اندازه‌گیری می‌کنیم؟
4. چه دیتاست‌هایی موجود هستند؟
5. دیتاست‌ها را کجا می‌توان یافت؟

۱- چرا به یک دیتاست نیاز داریم؟

دیتاست مجموع‌ه­ای از نمونه‌­های مرتبط است که برای آموزش و آزمایش یک مدل استفاده می­‌شوند. هدف دیتاست این است که این نمونه‌­ها را که مربوط به یک موضوع یا حوزه­ خاص هستند، وارد یک یا چند برنامه­ کاربردی کند. می­‌توان به دیتاست­‌ها برچسب زد و برای آموزش و آزمایش مدل‌­های نظارت­‌شده Supervise models از آن‌ها استفاده کرد. دیتاست­‌های بدون برچسب نیز در آموزش مدل­‌های نظارت نشده استفاده می‌­گردند.

آموزش و آزمایش

در حوزه‌ یادگیری ماشینی از دیتاست‌ها برای آموزش مدل­‌ها و متعاقباً آزمایش ­آن­ها استفاده می‌کنیم. این فرآیند مستلزم این است که قسمتی (مثلاً ۷۰%) از دیتاست را انتخاب کرده و آن را به قصد یادگیری به الگوریتم یادگیری ماشینی “نشان دهیم”. سپس باید نمونه­‌های باقی­مانده و مشاهده نشده‌ دیتاست (۳۰% باقیمانده) را انتخاب کرده و برای آزمایش کیفیت یادگیری مدل به کار ببریم. نکته­ مهم این است که از نمونه­‌هایی که برای آموزش به کار رفته‌­اند برای آزمایش استفاده نکنیم، زیرا در این صورت مدل باید چیزی را پیش­بینی کند که از قبل می­‌داند (این مسئله به‌عنوان “بیش­برازش overfitting” شناخته می­‌شود). این اشتباه باعث می‌شود وقتی مدل را روی دیتاستی متفاوت اجرا می‌کنیم، با شکست روبرو شویم. روش‌­های متفاوتی برای سازماندهی مجموعه­ آموزش-آزمایش Organizing the train/test set وجود دارد که برخی از آن­‌ها را در این قسمت توضیح می­‌دهیم:

روش محک­زنی

دیتاست­‌ها را می‌­توان به‌عنوان ابزار ارزیابی عملکرد تکنیک‌های یادگیری ماشینی نیز استفاده کرد. زمانی که می‌خواهیم چندین مدل را که برای یک مسئله­ یکسان کاربرد دارند مقایسه کنیم، این مدل‌ها را روی دیتاست­‌های گوناگون اجرا می‌کنیم. بدین ترتیب می‌توان عملکرد این مدل‌ها و روش‌ها را به دقت با یکدیگر مقایسه کرد.

علی برجی پژوهشگری است که مجموعه‌ای خارق‌العاده از تمارین محک­زنی benchmarking را برای تکنیک­‌های برجستگی Saliency techniques منتشر کرده است. برخی از مقالات او عبارت‌اند از:

1. Salient object detection: a survey (2019)
2. Revisiting video saliency: a large-scale benchmark and a new model (2018)
3. Salient object detection: a benchmark (2015)

نکته: سوگیری را درک کنید.

سوگیری bias حوزه­ وسیعی است ولی در این قسمت چندین نکته­ کلیدی و ضروری را بیان می‌­کنم که باید به خاطر داشته باشیم.

دیتاست­‌ها نیز مثل هر منبع اطلاعاتی دیگری مقداری سوگیری دارند.

این نکته لزوماً تأثیر منفی بر کار نخواهد داشت، مخصوصاً اگر قصد دارید مدل خود را در یک محیط سوگیرانه آزمایش کنید. با این‌حال ضروری است که از هرگونه سوگیری آگاه بوده و مشکلات احتمالی آن­ را در نظر داشته باشیم.

۲- چه زمانی به دیتاست نیاز داریم؟

در این نوشتار نمی‌خواهیم بر تکنیک‌­های خاص بینایی ماشین تمرکز کنیم. با این­‌حال یک بررسی اجمالی از برخی موضوعات مربوطه ارائه می‌­دهیم تا نیاز به دیتاست را بهتر درک کنید.

تشخیص و شناسایی اشیاء

تشخیص اشیاء با شناسایی و تعیین موقعیت اشیاء موجود (از طبقات متفاوت) در یک تصویر سروکار دارد. تعیین محل قرارگیری شیء به چندین طریق ممکن است. یک رویکرد متداول در حاشیه­‌نویسی دیتاست Dataset annotation شامل رسم کادر محصورکننده Bounding box یا چندضلعی polygon اطراف شیء می‌­شود. این روش حاشیه­‌نویسی ما را قادر می‌سازد از دیتاست برای تشخیص استفاده کنیم. درصورتی‌که هر حاشیه‌­نویسی با یک برچسب همراه شود، می‌­توان دیتاست را برای شناسایی نیز به کار برد؛ زمانی­‌که اشیاء انتخاب (شناسایی) شدند می‌­توان از آن‌ها علامت زدن mark پیکسل‌های تصویر         (قطعه بندی segmentation) نیز استفاده کرد.

قطعه‌بندی تصاویر

قطعه­‌بندی فرآیندی است که طی آن تصویر را به چندین قطعه (مجموعه­‌هایی از پیکسل‌­ها) تقسیم می­‌کنیم، به صورتی که هر قطعه مربوط به یک ناحیه یا شیء خاص است. قطعه‌­بندی را می‌­توان با استفاده از تکنیک­‌های آستان‌ه­ای Thresholding techniques همچون روش Otsu روی اشیاء اجرا کرد.

ویژگی‌ها در فرآیند قطعه‌­بندی کاربرد دارند. رویکردهای نوین از یادگیری عمیق استفاده می‌­کنند؛ در یادگیری عمیق مدل‌ها با استفاده از دیتاست‌­هایی آموزش می‌بینند که هزاران برچسب­ حاشیه­‌نویسی­‌شده در سطح پیکسل Pixel-level annotated labels را در برمی‌گیرند. این رویکرد­ها عبارت­اند از: قطعه­‌بندی معنایی Semantic segmentation (انتخاب ناحیه به همراه برچسب) و قطعه­‌بندی نمون‌ه­ا Instance segmentation (یک رویکرد قطعه­‌بندی معنایی که اشیاء متفاوت در هر طبقه را شناسایی می­‌کند).

تشخیص برجستگی در تصاویر

تشخیص برجستگی در تصاویر حوزه‌ای از بینایی کامپیوتری است که کمتر مورد توجه قرار گرفته است. پرسش اساسی این است که کدام قسمت از تصویر توجه بیشتری جلب می­‌کند؟ تکنیک­‌های تشخیص برجستگی یک تصویر رنگی را به‌عنوان ورودی دریافت کرده و یک نقشه­ برجستگی ۸ بیتی ارائه می­‌دهند که در آن هرچه مقدار پیکسل Pixel value روشن‌­تر باشد (حداکثر ۲۵۵) نشان­‌دهنده­ برجستگی بیشتر است. برجستگی دیداری کاربردهای متنوعی دارد که از افشرده­‌سازی داده‌­ها Data compression شروع شده و تا دست‌کاری تصویر Image manipulation و جای­دهی محصول Product placement گسترده هستند. دیتاست­‌هایی همچون MSRA10K که در بخش‌­های بعدی معرفی خواهیم کرد، یک تصویر دودویی را به‌عنوان مقدار اصلی برچسب‌ها  ارائه می‌­دهند که نشان می‌­دهد کدام پیکسل‌­ها برجسته‌اند.

۳- چه چیزی را اندازه می‌گیریم؟

نوع و کیفیت حاشیه­‌نویسی­‌های موجود در یک دیتاست بر میزان کاربرد آن تأثیر مهمی دارند. در این قسمت مختصری از شناخته­‌شده­‌ترین و پرکاربردترین حاشیه­‌نویسی‌­ها و ارتباط آن­‌ها با موضوع اصلی مقاله را مورد بررسی قرار می‌دهیم. (اعتبار این قسمت متعلق به @jiayin_Supahands است که در مقاله‌ آنلاین خود به‌خوبی این حوزه را پوشش داده است؛ به شما هم پیشنهاد می­‌کنم این مقاله را بخوانید.)

کادرهای محصورکننده

رویکرد کادر محصور­کننده ساده­‌ترین نوع حاشیه‌­نویسی است و شامل رسم یک کادر محصورکننده اطراف یک شیء می­‌شود. این کادر به وسیله­ یک جفت مختصات و عرض و ارتفاع مربوط به آن تعریف می­‌گردد. درصورتی‌که مسئله‌ موجود طبقه‌بندی یا شناسایی (شیء) باشد، مفهوم کادر محصورکننده اغلب با یک برچسب همراه خواهد شد. بزرگ­‌ترین نقطه­‌ضعف استفاده از کادر محصورکننده این است که پیکسل­‌های پیش­‌زمینه Background pixels که داخل کادر قرار گرفته‌‎­اند، همان برچسب پیکسل­‌های مربوط به شیء هدف را دریافت می‌کنند. این مسئله از منظر اندازه­‌گیری خطا Error metric، به نرخ پیش‌بینی‌های صحیح Tracking recall کمک خواهد کرد اما دقت را پایین می‌آورد؛ در نتیجه لازم خواهد بود یک رویکرد دقیق‌­تر به کار برده شود.

چندضلعی

همان‌طور که گفتیم محدودیت کادرهای محصورکننده، نیاز به یک رویکرد دقیق­تر را ایجاد می‌­کند: حاشیه‌­نویسی چندضلعی. ایده­ زیربنایی حاشیه‌­نویسی چندضلعی شبیه به کادر محصورکننده است، اما در این رویکرد با کاهش پیکسل­‌های پیش­‌زمین‌ه­ای (که به اشتباه برچسب می­‌خورند) می‌توان به دقت پیکسلی بالاتری دست یافت. برای این حاشیه­‌نویسی به ابزارهایی همچون LabelMe نیاز است. LableMe یک ابزار حاشیه­‌نویسی آنلاین و متن­‌باز است که در ساخت دیتاست‌های تصویری برای پژوهش‌های بینایی کامپیوتری کاربرد دارد. این ابزار دیتاست­‌های خود را به همراه دارد.

حاشیه‌­نویسی خطی

این رویکرد، همان‌طور که از نامش پیداست، برای حاشیه‌­نویسی نواحی مختلف در یک تصویر از خطوط استفاده می­‌کند. در مواردی که کادر محصورکننده ناحیه‌ای قابل‌توجه از پیکسل­‌ها را در برمی‌گیرد، این رویکرد مفید خواهد بود. یکی از زمینه‌های کاربرد روش حاشیه‌نویسی خطی در تشخیص مسیر Lane detection است. از کاربردهای دیگر این رویکرد می‌توان به نظارت صف‌­ها Monitoring queues و موقعیت‌­های کنترل کیفیت اشاره کرد.

حاشیه‌نویسی نقطه‌ای

در روش حاشیه‌نویسی نقطه‌ای، گروه­‌هایی از نقاط کلیدی روی یک تصویر مشخص می‌شوند که اغلب بار معنایی دارند. این رویکرد در برآورد حالت Pose estimation و تشخیص چهره کاربرد زیادی دارد. مختصات هندسی بین دو نقطه به‌عنوان ویژگی در نظر گرفته می­‌شوند و الگوریتم‌­های یادگیری ماشین با این ویژگی­‌ها آموزش داده می­‌شوند.

۴- چه دیتاست‌هایی در دسترس هستند؟

ده‌­ها دیتاست عالی در حوزه‌ بینایی کامپیوتری وجود دارد که در توسعه­ مدل­‌های کنونی نقشی حیاتی داشته‌اند. در این قسمت از نوشتار روی گزیده‌­ای از دیتاست­‌های برجسته تمرکز می‌­کنیم که متخصصان بینایی ماشین باید بشناسند.

Image-Net

وبسایت رسمی: http://www.image-net.org

دیتاست Image-Net یک دیتاست افسانه‌ای در حوزه­ بینایی کامپیوتر به شمار می‌رود و نقش مهمی در رشد یادگیری عمیق ایفا کرده است. این دیتاست بر اساس هرم WordNet سازماندهی شده که در آن به هر مفهوم معنی­‌دار (که می‌تواند از چندین کلمه تشکیل شده باشد) مجموعه­ هم­‌معنا Synonym set یا Synset گفته می­‌شود. Image-Net عموماً برای شناسایی/ رده­‌بندی تصاویر استفاده می­‌شود و روی‌هم‌رفته ۱۴۱۹۷۱۲۲ تصویر دارد که ۱۰۳۴۹۰۸ از آن‌ها حاشیه‌نویسی شده‌اند.

این دیتاست محبوبیت خود را عمدتاً وام­دار رقابت­‌های image-net Image-net competition است. بعد از این‌که AlexNet در سال ۲۰۱۲ برنده­ این رقابت شد، یادگیری عمیق به اوج خود رسید. ImageNet توسط فردی به نام فی­فی لی Fei-Fei Li تأسیس شد که در یک TedTalk نیز مسیر رسیدن به این دستاورد فوق‌­العاده را با مخاطبان به اشتراک گذاشته است.

MINIST

• Original Numbers MNIST: http://yann.lecun.com/exdb/mnist
• Fashion MNIST: https://github.com/zalandoresearch/fashion-mnist

دیتاست اصلی MINIST که توسط یان لی کان Yan Le Cun مدیریت می­‌شود حجم بزرگی از تصاویر دست‌­نوشته Handwritten images را در برمی­‌گیرد. این دیتاست در تهیه­ معیاری قابل دسترس برای شبکه­‌های عصبی پیچشی (CNN) نقشی حیاتی ایفا کرده است. تا سال ۲۰۱۷ شبکه­‌های عصبی پیچشی روی دیتاست MINIST به میزان دقت چشمگیری (بالای ۹۹%) دست یافتند. بدین ترتیب لازم بود دیتاست دشوارتری برای محک­زنی ایجاد کنند و این نیاز حرکت به‌سوی دیتاست MINIST را آغاز کرد. دیتاست MNIST، ۶۰۰۰۰ نمونه برای مجموعه­ آموزشی و ۱۰۰۰۰  نمونه برای مجموعه­ آزمایشی وجود دارد. هر نمونه یک تصویر ۲۸x28px است و نمونه‌­ها در ده طبقه­ متفاوت جای گرفته‌اند.

CIFAR-10

وبسایت رسمی: https://www.cs.toronto.edu/~kriz/cifar.html

این دیتاست توسط موسسه­ تحقیقات پیشرفته­ کانادا (CIFAR Canadian Institute For Advanced Research) منتشر شد و بخشی از محبوبیت خود را از همکاری جفری هینتون Geoffrey Hinton و دستیاران او به دست آورده است. دیتاست CIFAR-10 دربرگیرنده­ ۶۰۰۰۰ تصویر رنگی ۳۲x32px در ده طبقه­ گوناگون است و برای آموزش و آزمایش انواع مدل‌­ تشخیص اشیاء استفاده می­‌شود.

COCO

وبسایت رسمی: http://cocodataset.org

دیتاست COCO (اشیاء رایج در تصویر) یک دیتاست برای مسائل تشخیص اشیاء، قطعه‌­بندی و عنوان­‌بندیcaptioning است. نسخه‌ ۲۰۱۷ دیتاست COCO یک مجموعه­ ۱۲۳۲۸۷ تصویری برای آموزش و اعتبارسنجی دارد که در کل ۸۸۶۲۸۴ نمونه را در برمی‌­گیرد. این نمونه­‌ها در ۸۰ طبقه شیء رده‌­بندی شده‌­اند.

Face2Text

وبسایت رسمی: https://rival.research.um.edu.mt/

دیتاست‌های زیادی هستند که انواع مختلف داده‌­های چهره‌­ای Facial data را پوشش می­‌دهند. در این قسمت یک دیتاست جدید و خلاقانه را معرفی می‌کنیم که توسط همکارانم در دانشگاه مالتا Malta university گردآوری شده است. این دیتاست برخلاف دیتاست­‌های دیگر تشخیص یا شناسایی چهره، از متن­های توصیفی حاشیه­‌نویسی‌شده استفاده می‌کند. این مسئله مدل یادگیری ماشین را قادر می‌­سازد تنها با یک تصویر، شرحی از چهره­ موجود در آن را  ارائه دهند.

MSRA10K

وبسایت رسمی: https://mmcheng.net/msra10k/

MSRA10K یک دیتاست تصاویر شیئی برجسته Salient Object Image Database است. هر تصویر موجود در این دیتاست ناحیه‌ای پوششی mask برای بخش عمده­ ناحیه­ برجسته­ خود دارد. شهرت و وسعت کاربرد دیتاست MSRA10K به خاطر حجم تصاویری است که در بردارد (۱۰۰۰۰ تصویر رنگی به همراه ناحیه­ دودویی برای شیء برجسته).

MSR 3D

وبسایت رسمی: https://www.microsoft.com/en-us/download/details.aspx?id=52358

دیتاست تحقیقاتی مایکروسافت Microsoft Research Dataset (MSR) یک مجموعه تصویر ۱۰۰ تایی (رنگ و عمق) دارد که از ۸ دوربین گرفته شده و صحنه‌هایی از رقص باله ballet و بریک دنس breakdancing را در برمی­‌گیرد. این دیتاست فریم­‌هایی از هر صحنه دارد؛ هر فریم شامل یک تصویر رنگی و یک تصویر عمقی سیاه­‌سفید باکیفیت است که توسط یک دوربین مادون قرمز ضبط شده است.

COTS

وبسایت رسمی: www.cotsdataset.info

این دیتاست را سال قبل خود من به‌منظور ارزیابی تکنیک­‌های دست‌کاری تصویر Image manipulation techniques، با دقت فراوان طراحی کردم و ساختم. یکی از کاربردهای آن در فرآیند بازسازی تصویری inpainting است که شیئی از آن حذف شده است. ارزیابی تکنیک­‌های بازسازی معمولاً با استفاده از رویکرد نظر-محور یا ذهنی انجام می­‌گیرد، زیرا دیتاست­‌ها حقیقت­‌پایه­ موردنیاز را ندارند. این مسئله­ انگیزه­ زیربنایی ساخت این دیتاست بود. همان‌طور که در تصویر پایین مشاهده می‌کنید، دیتاست COTS یک سری صحنه‌­های پیاپی را در برمی‌گیرد.

۵- دیتاست‌ها را از کجا می‌توان یافت؟

درصورتی‌که در فضای دانشگاهی حضور دارید، احتمال دارد در مقالات همکارانتان با دیتاست­‌هایی روبرو شوید که مربوط به زمینه­ موردعلاقه­ شما هستند. بااین‌حال برخی اوقات هم باید گزینه­‌های دیگری را در نظر گرفت؛ به همین دلیل به یک سامانه platform‌­ خوب نیاز خواهید داشت. در این قسمت ۴ منبع مورد­علاقه­ خودم را معرفی می‌کنم:

Google Dataset Search

• نقاط قوت: گستردگی بالا.
• نقاط ضعف: احتمال سردرگمی هنگام مقایسه بین دیتاست‌­های متعدد.

VisualData

• نقاط قوت: تمرکز روی دیتاست­‌های بینایی کامپیوتری؛ رابط‌ عالی؛ قابلیت استفاده­ آسان و سرعت بالا در دسترسی به منابع کد مستقیم. Direct repository.
• نقاط ضعف: از نظر گزینش دیتاست­‌های قابل دسترس هنوز محدودیت­‌هایی دارد.

Kaggle

• نقاط قوت: دیتاست‌­های متنوع در حوزه­‌های مختلف؛ جامعه­ فعال و برپایی رقابت‌­ها.
• نقاط ضعف: زمان زیادی صرف بررسی امکانات و قابلیت­‌های دیتاست‌­ها می­‌شود.

TensorFlow

• نقاط قوت: مجموعه‌ای گسترده از صفحات برگزیده‌ همه­ دیتاست­‌ها؛ همه­ دیتاست­‌ها، منابع کاربردی بسیار خوبی به همراه دارند.
• نقاط ضعف (پیدا کردن نقطه­ ضعف کار دشواری بود): وبسایت تنها منابع TensorFlow را ارائه می­‌دهد (که امری بدیهی است).

هدف این مقاله پوشش مطالب مقدماتی بود که برای آشنایی با دنیای بزرگ بینایی کامپیوتری لازم است. امیدواریم در این مطلب شما را با دیتاست‌­ها آشنا کرده و از رمز و رازهای این حوزه پرده برداشته باشیم.

در این نوشتار دیدیم چطور می­‌توانیم از دیتاست استفاده کنیم و کدام دیتاست­‌ها در موقعیت­های متفاوت کارایی بهتری دارند. اما این پایان ماجرا نیست. یادگیری ماشینی و دیتاست­‌ها رابطه‌­ای پیچیده دارند. برخی اوقات مدل­‌های یادگیری ماشین نیازهای زیادی دارند و دیتاست‌­ها می‌­توانند محدودیت زا باشند. در این صورت لازم است به داده‌افزایی Data Augmentation بپردازیم. این را هم توضیح دادیم که چطور برای محک­زنی تکنیک­‌های مختلف به دیتاست‌­ها نیاز داریم. بااین‌حال می‌­دانیم که کاربرد آن در عمل متفاوت و دشوارتر است؛ زیرا انتخاب معیارهای ارزیابی دقت بالایی می‌طلبد.