AB
آموزش‌های پیشرفته هوش مصنوعیداده کاوی و بیگ دیتا

آزمایش بیزی AB ــ قسمت اول: تبدیل‌ها

    0
    زمان مطالعه: ۹ دقیقه

    در این مقاله، درباره محاسبات و نحوه پیاده‌سازی آزمایش بیزی AB در دنیای واقعی بحث می‌شود. فهرستی از مطالبی که در این متن توضیح داده می‌شود از این قرار است:

    1. مدل‌سازی و تجزیه‌وتحلیل معیارهای آزمایشی مبتنی بر تبدیل (معیارهای نرخی (Rate Metrics))
    2. مدل‌سازی و تجزیه و تحلیل معیارهای آزمایشی مبتنی بر درآمد
    3. محاسبه دوره آزمایش
    4. انتخاب پیشین مناسب
    5. اجرای آزمایش با چندین متغیر

    بستر آزمایش

    فرض کنید اخیراً در پیام‌رسانی روی صفحه پرفروش‌ها تغییراتی ایجاد شده ‌است و اکنون قرار است قبل از آنکه این تغییرات به شکل گسترده‌تری بین کاربران منتشر شود، در چارچوب AB آن‌ را آزمایش کنیم. فرض می‌کنیم که تغییراتی که اعمال شده به نرخ تبدیل بسیار بهتری منجر خواهد شد.

    مشابه با روش‌های فراوانی (Frequentist Method)، می‌توان هر تبدیل روی صفحه پرفروش‌ها را با X به صورت متغیر تصادفی برنولی (Bernoulli random variable) با احتمال تبدیل 𝜆 مدل کرد:

    AB

    در شیوه فراوانی‌، 𝜆 مقدار ثابتی فرض می‌شد، اما در شیوه بیزی، این پارامتر یک متغیر تصادفی در نظر گرفته می‌شود که توزیع احتمالات خودش را دارد. گام اول، انتخاب برآوردی مناسب برای این توزیع با استفاده از داده‌های گذشته است. به این توزیع، توزیع پیشین (Prior Distribution) 𝜆 گفته می‌شود.

    سپس آستانه زیان تعیین می‌شود. آستانه زیان بیشترین مقدار زیان قابل‌انتظار است که در صورت خطا همچنان قابل قبول خواهد بود. روش‌های آزمایشی بیزی، نیز مثل بسیاری از مدل‌های آماری دیگر، مبتنی بر برآورد داده‌های دنیای واقعی هستند. به همین دلیل، همیشه احتمال نتیجه‌گیری اشتباه از آزمایش‌ها وجود دارد. آستانه زیان تضمین می‌کند، حتی در صورت نتیجه‌گیری اشتباه، نرخ تبدیل بیشتر از حد مجاز تعیین‌شده، افت نخواهد کرد.

    سرانجام، نمونه‌ها در قالب آزمایشی تصادفی توصیف می‌شوند و از آنها برای به‌روزرسانی این توزیع احتمال استفاده می‌شود. بدین ترتیب، باورها راجع به مقدار 𝜆 در گروه‌ کنترل و تیمار (Treatment) نیز اصلاح خواهد شد. از این توزیع‌های پسین برای محاسبه احتمال برتری نسبت به کنترل (عدم تیمار) و زیان موردانتظار (در صورت انتخاب اشتباه تیمار) استفاده می‌شود.

    پس، اولین گام برای انتخاب توزیع پیشین 𝜆 بررسی داده‌هایی است که اخیراً (طی چند هفته گذشته) درباره نرخ تبدیل جمع‌آوری شده است. در ادامه دیتاستی که از نمونه‌های پیشین تولیدشده آمده است که می‌توان از آن برای این تمرین استفاده کرد.

     

    آزمایش بیزی

    از آنجایی که این دیتاست به شکل مصنوعی تولید شده است، از پیش قالب آن برای این تمرین ایدئال است، در دنیای واقعی، احتمالاً لازم است مقداری عملیات استخراج، تبدیل، بارگذاری (ETL) انجام شود تا داده‌ها به این قالب درآیند. توضیح این عملیات خارج از حوصله این نوشتار است.

    همان‌طور که مشاهده می‌کنید اندازه نمونه ما ۵۲۶۸ نفر است. برای هر کاربر، قابل مشاهده است که آیا او به این صفحه راغب شده است یا خیر. این رویه با محاسبه نرخ تبدیل پیشین ادامه می‌یابد.

    بیزی

    انتخاب توزیع پیشین

    نرخ تبدیلی که بر اساس داده‌های پیشین به دست آمد حدود ۳۰% است. حال می‌توان از این مقدار برای انتخاب توزیع پیشین برای 𝜆 استفاده کرد. انتخاب توزیع پیشین، از جنبه‌های مهم شیوه‌های آزمایش بیزی است که درخور مقاله‌ای جداگانه است. در هر صورت، با توجه به هدف این مقاله، از روشی تقریبی برای انتخاب پیشین استفاده شده است.

    اینجا از توزیع بتا (Beta distribution) برای مدل‌سازی نرخ تبدیل استفاده شده است، زیرا توزیعی انعطاف‌پذیر در بازه  است و علاوه‌براین، یک پیشین مزدوج (Conjugate prior) مناسب به شمار می‌رود. این توزیع، محاسبات را در کار با توزیع‌های پسین با داده‌های آزمایشی آسان‌تر می‌کند.

    هنگام انتخاب یک توزیع پیشین برای تبدیل، بهترین کار این است که یک پیشین ضعیف‌تر از چیزی که داده‌های پیشین نشان می‌دهند، انتخاب کنیم. انتخاب یک پیشین زیادی قوی ممکن است باعث شود توزیع‌های پسین غلط باشند و در نتیجه محاسبات و نتیجه‌گیری‌های آن نادرست از کار در بیاید.

    با توجه به این نکته، پیشین‌های بالقوه با قوه‌های مختلف را در ادامه بررسی می‌کنیم:

    بیزی

    اینجا سه توزیع پیشین می‌بینیم که میانگین نرخ تبدیل آنها حدود ۳۰% است (مثل داده‌های اولیه). هر سه توزیع از توزیع واقعی داده‌های اولیه بسیار ضعیف‌ترند.

    توزیع پیشین انتخابی چیزی بین ضعیف‌ترین توزیع پیشین و توزیع پیشین میانی در این نمودار است؛ یعنی، Beta(7,15).

    AB

    B(a,b) تابع بتا است که به این صورت تعریف می‌شود:

    AB

    خاصیت تابع بتا این است که

    AB

    AB

    تعیین آستانه زیان

    بعد از انتخاب توزیع پیشین، باید 𝜖 را، یا بالاترین زیان مورد انتظار که می‌توان در صورت بروز اشتباه در انتخاب گونه پذیرفت، مشخص کرد. فرض کنید که این تبدیل برای ما مهم است و می‌خواهیم در انتخاب 𝜖 بسیار دقیق و سخت‌گیر باشیم. نمی‌خواهیم زیان موردانتظار مربوطه بیش از ۰.۵% باشد، پس مقدار آن را   قرار می‌دهیم.

    حالا که توزیع پیشین و آستانه زیان مشخص شد، می‌توان آزمایش را اجرا کرد و  داده‌های حاصل از آن را جمع‌آوری نمود.

    نتایج آزمایش

    فرض کنید چند هفته آزمایش‌ها در حالت اجرا (Running) گذاشته‌ شده است و اکنون می‌خواهیم بررسی کنیم که آیا می‌شود از آنها نتیجه‌ای گرفت‌. برای این کار باید از داده‌های آزمایش برای محاسبه توزیع‌های پسین استفاده کرد. توزیع‌های پسین در گام‌های بعد برای محاسبه میزان احتمال بهبود متغیرها و مقدار زیان مورد انتظار (در صورت انتخاب اشتباه متغیرها) به کار می‌روند.

    برای این تمرین یک نمونه دیتاست آزمایشی تولید شده است. در اینجا دیتاست بررسی و تجمیع شده و نرخ‌های تبدیل برای هر متغیر به دست می‌آید.

    Ab

    همان‌طور که می‌بینید، این دیتاست شبیه به دیتاست پیشین است، با این تفاوت که ستونی اضافه در آن هست. این ستون مشخص می‌کند چه گروهی به کاربر تخصیص داده شده و در نتیجه، او چه گونه‌ای را دیده است. مجدداً اشاره کنیم که از آنجایی که این دیتاست به شکل مصنوعی تولید شده است، شکل ایده‌آلی برای این آزمایش دارد و لازم نیست عملیات‌ اضافی ETL روی آن انجام شود.

    در اینجا فرآیند ادامه یافته است و داده‌ها تجمیع شده‌اند:

    تبدیل

    از طریق بازبینی می‌شود گفت که نرخ تبدیل در اثر تیمار بهتر شده است، اما باید محاسبات بیشتری انجام شود تا باورهایمان از احتمال تبدیل مربوطه 𝜆_𝑐 و 𝜆_𝑡 در گونه‌های کنترل و تیمار به‌روزرسانی شود.

    اکنون، با استفاده از این داده‌های آزمایشی، می‌‌توان توزیع‌های پسین مربوط به هر گونه را محاسبه کرد. اما قبل از انجام این کار، با مرور مبانی ریاضی ببینیم که این کار چگونه تنها با اطلاعاتی که در دست داریم ممکن است. با استفاده از قضیه‌ [۱] فرض کنید احتمال پیشین را داریم:

    تبدیل ها

    فرض کنید یک گونه برای n بازدیدکننده نمایش داده می‌شود و c نفر متقاعد می‌شوند، آنگاه توزیع احتمال پسین این گونه از طریق زیر به دست می‌آید:

    بیزی

    معادله بالا را می‌توانیم با استفاده از قضیه بیز (Bayes theorem) اثبات کنیم:

    قضیه بیز

    از آنجایی که هر تبدیل به صورت یک متغیر تصادفی برنولی (Bernoulli RV) با مقدار احتمال 𝜆 مدل شده است، با فرض داشتن 𝜆، می‌توان نتیجه نمایش یک گونه برای n بازدیدکننده را به صورت متغیر تصادفی دوجمله‌ای (Binominal RV) مدل‌سازی کرد. پس

    تبدیل ها

    بدین ترتیب، با استفاده از تعریف توزیع پیشین:

    AB

    حالا اگر تنها ضرایب در نظر گرفته شود:

    AB

    بر اساس تعریف تابع بتا می‌توان نوشت:

    AB

    با جانشانی ۳ و ۴ در ۲

    AB

    و با جانشانی ۵ در ۱

    تبدیل

    چون 𝑓(𝜆;𝑎+𝑐,𝑏+𝑛−𝑐) توزیعی روی بازه [۰,۱] است، مخرج ۱ خواهد بود و اثبات تمام می‌شود.

    حالا با این پیش‌زمینه ریاضی، می‌توان توزیع‌های پسین را محاسبه کرد.

    بیز

    پس از محاسبه توزیع‌های پسین، نوبت به محاسبه پسین توأم (Joint posterior) می‌رسد. از آنجایی که، آزمایش‌های تصادفی مبتنی بر انتساب تصادفی (Random Assignment) یک کاربر به یک گونه ساخته می‌شوند، می‌توان فرض کرد این دو توزیع مستقل‌اند. البته باید توجه داشته باشید که این مسئله همیشه صدق نمی‌کند. مثلاً، ممکن است موقعیتی پیش آید که تأثیرات شبکه‌ای (Network Effects) روی نتایج نقش داشته باشند، در این حالت، باید این مسئله را در نظر گرفت. همچنین، این فرض به این بستگی دارد که  روند انتساب تصادفی به‌خوبی کار کند.

    فرض کنید شیوه انتساب تصادفی در این آزمایش خوب کار می‌کند و هیچ تأثیر شبکه‌ای وجود ندارد. با این فرض می‌توان گفت:

    بیزی

    از این رابطه برای محاسبه توزیع پسین توأم استفاده می‌کنیم:

    قضیه بیزی

    خط آبی در نمودار بالا خطی است که 𝜆_𝑐=𝜆_𝑡 را بازنمایی می‌کند. از آنجایی که پسین توأم بالای این خط آبی است، می‌توان گفت این نمودار به لحاظ بصری نشان می‌دهد که در واقع تیمار بهتر بوده است. اگر پسین توأم زیر این خط بود، می‌توانستیم کاملاً مطمئن باشیم که کنترل بهتر است. اگر هر قسمتی از پسین توأم روی خط آبی قرار می‌گرفت، تردید بیشتری درباره اینکه کدام گونه بهتر بوده، وجود داشت.

    برای کمی‌سازی آنچه گفته شد باید 𝑝(𝜆_𝑡≥𝜆_𝑐)  و 𝐸[𝐿](𝑡) (زیان موردانتظار در صورت انتخاب تیمار اشتباه) را محاسبه کرد.

    AB

    با توجه به شبیه‌سازی‌ها می‌بینیم که 𝑝(𝜆_𝑡≥𝜆_𝑐)=۰.۹۷۱۸، بنابراین تیمار به احتمال ۹۷% بهتر از کنترل است.

    حالا که طبق محاسبات احتمال تیمار بهتر شده، باید 𝐸[𝐿](𝑡) را محاسبه کرد. تابع زیان هر متغیر از رابطه زیر به دست می‌آید:

    بیزی

    بدین ترتیب، تابع زیان موردانتظار برای هر گونه را می‌توان از معادله زیر محاسبه کرد:

    قضیه بیزی

    از این رابطه برای محاسبه زیان موردانتظار استفاده می‌کنیم:

    با اجرای شبیه‌سازی می‌بینیم:

    [𝐿](𝑡) = ۰.۰۰۰۱۳۶۹ < 0.0015 = 𝜖

    از آنجایی که زیان موردانتظار یک گونه، پایین‌تر از آستانه‌ای است که در ابتدای آزمایش تعیین کردیم، می‌توانیم بگوییم نتایج آزمایش معنادار بوده است. پس می‌توانیم با اطمینان بالا نتیجه‌گیری کنیم که تیمار بهتر از کنترل است و زیان مورد انتظار در صورت انتخاب اشتباه تیمار از آن‌چه خود تعیین کرده‌ایم بیشتر نخواهد بود. بدین ترتیب، قویاً توصیه می‌کنیم که گونه تیمار صفحه پرفروش‌ها برای باقی کاربران نیز نمایش داده شود.

    این مطلب چه میزان برای شما مفید بوده است؟
    [کل: ۰ میانگین: ۰]

    همبستگی و معرفی معیار بهتری برای آن: همبستگی فاصله‌ای

    مقاله قبلی

    حقوق جدید برنامه نویسان در کشورهای مختلف چقدر است؟

    مقاله بعدی

    شما همچنین ممکن است دوست داشته باشید

    نظرات

    پاسخ دهید

    نشانی ایمیل شما منتشر نخواهد شد.