نحوه درک و محاسبه اهمیت آماری [Example]

آیا تا به حال نتایج یک کمپین بازاریابی را ارائه کرده اید و از شما س askedال شده است “اما آیا این نتایج از نظر آماری قابل توجه است؟” به عنوان بازاریابان مبتنی بر داده ، نه تنها از ما خواسته شده است که نتایج کمپین های بازاریابی خود را اندازه گیری کنیم بلکه اعتبار داده ها را نیز نشان می دهیم-دقیقاً اهمیت آماری چیست.

در حالی که چندین ابزار رایگان برای محاسبه اهمیت آماری برای شما وجود دارد (HubSpot حتی یکی از آنها را در اینجا دارد) ، درک این که آنها محاسبه می کنند و معنی آن چیست ، مفید است. در زیر ، ما با استفاده از یک مثال خاص از اهمیت آماری ، اعداد را بررسی می کنیم تا به شما در درک اینکه چرا برای موفقیت بازاریابی بسیار مهم است ، کمک کنیم.

در بازاریابی ، می خواهید نتایج شما از نظر آماری قابل توجه باشد زیرا این بدان معناست که شما در کمپین هایی که نتایج مطلوب را به ارمغان نمی آورند پول هدر نمی دهید. بازاریابان اغلب قبل از راه اندازی کمپین ها ، آزمون های اهمیت آماری را انجام می دهند تا بررسی کنند که آیا متغیرهای خاص در نتیجه گیری بیشتر از سایرین موفق تر هستند یا خیر.

مثال اهمیت آمار

بگویید که قرار است یک کمپین تبلیغاتی در فیس بوک اجرا کنید ، اما می خواهید مطمئن شوید که از تبلیغاتی استفاده می کنید که به احتمال زیاد نتایج دلخواه را به ارمغان می آورد. بنابراین ، شما یک آزمایش A/B را به مدت 48 ساعت با تبلیغ A به عنوان متغیر کنترل ، و B به عنوان تنوع انجام می دهید. اینها نتایجی است که من می گیرم:

آگهی	برداشت ها	تبدیل
بازگشت به A	6000	430
آگهی B	5869	560

با وجود اینکه می توانیم بر اساس اعدادی که تبلیغ B تبدیل بیشتری دریافت کرده است ، مشاهده کنید ، اما می خواهید مطمئن باشید که تفاوت در تبدیل ها قابل توجه است و نه به دلیل شانس تصادفی. اگر این اعداد را به یک ماشین حساب تست مجذور کای وصل کنم (بعداً در مورد آن) ، p-value من 0.0 است ، بدین معنی که نتایج من قابل توجه است ، و بین عملکرد A و B تفاوت عملکرد وجود دارد به شانس

وقتی کمپین واقعی خود را اجرا می کنم ، می خواهم از تبلیغ B استفاده کنم.

اگر شما هم مانند من هستید ، به توضیح بیشتری در مورد معنی p-value و 0.0 نیاز دارید ، بنابراین ما در زیر یک مثال عمیق را بررسی می کنیم.

1. تعیین کنید چه چیزی را می خواهید آزمایش کنید.

ابتدا تصمیم بگیرید که چه چیزی را می خواهید آزمایش کنید. این می تواند مقایسه نرخ تبدیل در دو صفحه فرود با تصاویر مختلف ، نرخ کلیک بر روی ایمیل ها با خطوط موضوعی متفاوت ، یا نرخ تبدیل در دکمه های مختلف فراخوان به اقدام در انتهای یک پست وبلاگ باشد. انتخاب ها بی پایان است.

توصیه من این است که آن را ساده نگه دارید. قسمتی از محتوا را انتخاب کنید که می خواهید دو نوع متفاوت از آن ایجاد کنید و هدف خود را تعیین کنید – نرخ تبدیل بهتر یا بازدیدهای بیشتر مکان های خوبی برای شروع است.

مطمئناً می توانید تغییرات اضافی را آزمایش کنید یا حتی یک آزمایش چند متغیره ایجاد کنید ، اما ، برای این مثال ، ما به دو تنوع صفحه فرود می پردازیم که هدف آنها افزایش نرخ تبدیل است. اگر می خواهید در مورد آزمایش A/B و آزمون های چند متغیره بیشتر بیاموزید ، “تفاوت مهم بین آزمون های A/B و چند متغیره” را بررسی کنید.

2. فرضیه خود را تعیین کنید.

قبل از شروع جمع آوری داده ها ، بیان فرضیه خود در ابتدای آزمون و تعیین میزان اطمینان که می خواهم آزمایش کنم مفید است. از آنجا که من یک صفحه فرود را آزمایش می کنم و می خواهم ببینم که آیا عملکرد بهتری دارد ، من آن را فرض می کنم بین صفحه فرود بازدیدکنندگان و نرخ تبدیل آنها رابطه وجود داردبه

3. شروع به جمع آوری داده های خود کنید.

اکنون که تعیین کرده اید چه چیزی را می خواهید آزمایش کنید ، وقت آن رسیده است که شروع به جمع آوری داده های خود کنید. از آنجا که شما به احتمال زیاد این آزمایش را انجام می دهید تا مشخص شود از کدام محتوا در آینده بهتر استفاده می شود ، باید اندازه نمونه را بکشید. برای یک صفحه فرود ، ممکن است به این معنی باشد که مدت زمان مشخصی را برای اجرای آزمون انتخاب کنید (به عنوان مثال ، صفحه خود را به مدت سه روز زنده کنید).

برای چیزی شبیه به ایمیل ، ممکن است یک نمونه تصادفی از لیست خود را انتخاب کنید تا به طور تصادفی انواع ایمیل های خود را به آنها ارسال کنید. تعیین اندازه نمونه مناسب می تواند مشکل باشد و حجم نمونه مناسب بین هر آزمون متفاوت خواهد بود. به عنوان یک قاعده کلی ، شما می خواهید مقدار مورد انتظار برای هر تنوع بیشتر از 5 باشد (ما مقادیر مورد انتظار را در پایین تر پوشش می دهیم.)

4. محاسبه نتایج Chi-Squared.

چندین آزمون آماری مختلف وجود دارد که می توانید برای اندازه گیری اهمیت داده های خود اجرا کنید و انتخاب یکی از آنها بستگی به آنچه می خواهید آزمایش کنید و نوع داده هایی که جمع آوری می کنید ، است. در بیشتر موارد ، از آزمون Chi-Squared استفاده می کنید زیرا داده ها گسسته هستند.

گسسته یک روش فانتزی برای گفتن این است که آزمایش شما می تواند تعداد محدودی از نتایج را تولید کند. به عنوان مثال ، یک بازدید کننده یا تبدیل می کند یا تبدیل نمی کند. درجات متفاوتی برای یک بازدیدکننده وجود ندارد.

شما می توانید بر اساس درجات مختلف اعتماد به نفس (گاهی اوقات به عنوان آلفای آزمون نامیده می شود) تست کنید. اگر می خواهید شرایط رسیدن به اهمیت آماری زیاد باشد ، میزان آلفا پایین تر است. ممکن است اهمیت آماری را از نظر اطمینان گزارش کرده باشید.

به عنوان مثال ، “نتایج از نظر آماری با اطمینان 95 قابل توجه است.” در این سناریو ، آلفای 05/0 بود (اطمینان یک منهای آلفا محاسبه می شود) ، بدین معنی که از هر 20 احتمال یک خطا در رابطه بیان شده وجود دارد.

پس از جمع آوری داده ها ، آنها را در یک نمودار قرار می دهم تا سازماندهی آسان شود. از آنجا که من دو تغییر مختلف (A و B) را آزمایش می کنم و دو نتیجه احتمالی وجود دارد (تبدیل شده ، تبدیل نشده است) ، من یک نمودار 2×2 دارم. من هر ستون و سطر را جمع بندی می کنم تا بتوانم به راحتی نتایج را به صورت کلی مشاهده کنم.

هنگامی که نمودار خود را ایجاد کردم ، مرحله بعدی اجرای معادله با استفاده از فرمول مجذور کای است.

فرمول اهمیت آماری

تصویر زیر فرمول مجذور کای برای اهمیت آماری است:

در معادله ،

• Σ به معنی جمع است ،
• O = مشاهده شده ، مقادیر واقعی ،
• E = مقادیر مورد انتظار

هنگام اجرای معادله ، همه چیز را پس از Σ برای هر جفت مقادیر محاسبه کرده و سپس همه آنها را جمع (جمع) می کنید.

5. مقادیر مورد انتظار خود را محاسبه کنید.

اکنون ، من محاسبه می کنم که مقادیر مورد انتظار چقدر است. اگر هیچ ارتباطی بین آنچه بازدیدکنندگان صفحه فرود مشاهده کردند و نرخ تبدیل آنها در مثال بالا وجود نداشت ، انتظار می رود که نرخ تبدیل یکسانی را با نسخه A و B مشاهده کنیم. از مجموع ، می توانیم مشاهده کنیم که 1،945 نفر از 4935 تغییر کرده اند. کل بازدیدکنندگان ، یا تقریبا 39 of از بازدیدکنندگان.

برای محاسبه فرکانس های مورد انتظار (E در فرمول مجذور کای) برای هر نسخه از صفحه فرود ، می توانیم مجموع سطر آن سلول را در کل ستون ضرب کرده و بر تعداد کل بازدیدکنندگان تقسیم کنیم. در این مثال ، برای پیدا کردن مقدار مورد انتظار تبدیل در نسخه A ، از معادله زیر استفاده می کنم:

(19451*2401)/4935 = 946

6. ببینید تفاوت نتایج شما با آنچه انتظار داشتید متفاوت است.

برای محاسبه کای دو ، فرکانس های مشاهده شده (O در معادله مجذور کای) را با فرکانس های مورد انتظار (E در معادله مجذور کای) مقایسه می کنم. این مقایسه با کم کردن مقدار مشاهده شده از مقدار مورد انتظار ، مربع شدن نتیجه و تقسیم آن بر مقدار فرکانس مورد انتظار انجام می شود.

در اصل ، من سعی می کنم ببینم که نتایج واقعی من چقدر متفاوت از آنچه انتظار داریم است. تقسیم بندی تفاوت ها ، اثرات تفاوت را تقویت می کند و تقسیم بر آنچه انتظار می رود ، نتایج را عادی می کند. به عنوان یک تجدید ، معادله به این شکل است: (مشاهده – انتظار)*2)/انتظار می رود

7. جمع خود را پیدا کنید.

سپس چهار نتیجه را جمع می کنم تا شماره Chi-Square خود را بدست آورم. در این مورد ، 0.95 است. برای اینکه ببینم آیا نرخ تبدیل صفحات فرود من با اهمیت آماری متفاوت است یا خیر ، من این را با مقدار جدول توزیع Chi-Squared بر اساس آلفا (در این مورد ، 05/0) و درجات آزادی مقایسه می کنم.

درجات آزادی بر اساس تعداد متغیرهای شما تعیین می شود. با یک جدول 2×2 مانند این مثال ، درجه آزادی 1 است.

در این مورد ، مقدار Chi-Square باید برابر یا 3.84 باشد تا نتایج از نظر آماری معنی دار باشد. از آنجا که .95 کمتر از 3.84 است ، نتایج من این است نه تفاوت آماری این بدان معنی است که بین نسخه ورودی صفحه ای که بازدیدکننده دریافت می کند و نرخ تبدیل با اهمیت آماری رابطه ای وجود ندارد.

8- اهمیت آماری را به تیم های خود گزارش دهید.

پس از اجرای آزمایش ، مرحله بعدی این است که نتایج خود را به تیم های خود گزارش دهید تا مطمئن شوید همه در مورد مراحل بعدی در یک صفحه هستند. بنابراین ، با ادامه مثال قبلی ، باید به تیم های خود اطلاع دهم که نوع صفحه فرود مورد استفاده ما در کمپین آینده ما بر نرخ تبدیل ما تأثیر نمی گذارد زیرا نتایج آزمایش ما قابل توجه نبود.

اگر نتایج قابل توجه بود ، من به تیم های خود اطلاع می دادم که نسخه صفحه فرود A بهتر از بقیه است و ما باید از آن در کمپین آینده خود استفاده کنیم.

چرا اهمیت آمار اهمیت دارد

ممکن است از خود بپرسید چرا این مهم است اگر می توانید از یک ابزار رایگان برای محاسبه استفاده کنید. درک نحوه محاسبه اهمیت آماری می تواند به شما در تعیین نحوه بهترین نتایج آزمایشات خود کمک کند.

بسیاری از ابزارها از میزان اطمینان 95 use استفاده می کنند ، اما برای آزمایش های شما ، منطقی نیست که از میزان اطمینان کمتری استفاده کنید ، اگر به سختی آزمون نیاز ندارید.

درک محاسبات اساسی نیز به شما کمک می کند تا توضیح دهید که چرا نتایج شما برای افرادی که از قبل با آمار آشنا نیستند ، قابل توجه است.

اگر می خواهید صفحه گسترده ای را که در این مثال استفاده کردم بارگیری کنید تا بتوانید محاسبات را به تنهایی مشاهده کنید ، اینجا را کلیک کنید.

نکته ویراستار: این پست وبلاگ در ابتدا در آوریل 2013 منتشر شد ، اما در سپتامبر 2021 برای طراوت و جامعیت به روز شد.