نگاهی دقیق به داده ها

بی شک، گفتگو با مصرف کنندگان محصولات یکی از ارزشمند ترین راه ها برای کسب اطلاعات مفید است. انها به شما ریزترین داده های کاربردی را اعطا میکنند در واقع شما با بررسی انگیزه ها و تجارب کاربران به علت استفاده آنها از محصولتان پی می برید.

با این وجود این شیوه کسب اطلاعات از مشتری مانند شکار می ماند و در طی دوره پیشرفت شرکت شما ، پتانسیل های زیادی برای این نوع شکار وجود دارد.

جامعه آماری داده های کیفی کاربران که از تحقیق در مورد انها بدست می آید در واقع از تعداد کمی از کاربران تشکیل شده است. و شما به عنوان مدیر محصول باید ویژگی این تعداد کم کاربران را بشناسید تا با استفاده از آن بتوانید این کاربران ارزشمند را پیدا کنید. ویژگی های آنان به شرح ذیل می باشد

1- آنها به زبان شما صحبت میکنند.

2- آنها نزدیک شما زندگی میکنند

3- از همه مهمتر، زمان کافی برای شرکت در تحقیقات شما را دارند.

اما به این نکته توجه داشته باشید که تفاوت بزرگی میان افکار مردم و آنچه در واقعیت انجام خواهند داد، وجود دارد این نکته را گفتیم تا آگاه باشید که تمام اطلاعات کسب شده از کاربران ، بصورت 100 درصدی درست نمی باشند و احتمال خطا در آن موجود است.

و اینجاست که نقش شما به عنوان یک مدیر محصول پررنگ شده و بایستی از این اطلاعات کیفی و توصیفی در جهت فهم رفتار کاربران و پیدا کردن زمینه های موفقیت محصول، استفاده کنید.

مسئولیت ها

1- نکات کلیدی موفقیت کسب و کارتان را کشف کنید

شما موفقیت را در چه چیزی تعریف میکنید ؟ این سوال زیبایی است و زیبایی آن زمانی پیدا میشود که بخواهید بصورت شخصی به آن جواب دهید اما زمانی زیبایی آن دوچندان میشود که یک سازمان بخواهد به ان پاسخ دهد. زیرا که اگر اشخاص به این سوالات جواب دهند معمولا جواب های یکسانی خواهید شنید اما سازمان ها جواب های متفاوتی بسته به شرایطشان برای این سوال دارند.

زمانی که شما به عنوان فرد جدید وارد تیم میشوید خواه سنیور بوده یا جونیور، شما بایستی شاخص های موفقیت سازمان تان را شناسایی کنید. سوالات زیر میتواند شما را در جهت شناخت این شاخص ها یاری کند

1- سازمان شما موفقیت را در چه چیزی تعریف میکند ؟ در واقع کی پی آی های موفقیت این سازمان چیست ؟

2- شاخص های موفقیت محصول در چه چشم اندازی به کمال خود میرسند؟

3- استفاده عالی و صحیح از محصول، چگونه است ؟

 بصورت ایده آل برخی سازمان ها معیارهای موفقیتشان را از پیش مشخص کرده اند و شما به عنوان مدیر محصول اگر نگاهی به آن معیارها بیندازید کاملا متوجه خواهید شد که کدام یک از لحاظ استراتژیکی مهم است. به عنوان مثال برای برخی از سازمان ها رشد کارابرانشان مهم است یا برای برخی از سایت های فروش، افزایش میزان بازدید سایت در اولویت قرار دارد.

سازمان شما بایستی یک داشبورد معیار داشته باشد و شما بتوانید تمام چشم انداز های سازمان را در آن واحد تحلیل کنید اما اگر چنین داشبوردی ندارید به فکر درست کردن یکی از آنها باشید، زیرا داشتن چنین داشبوردی برای شما نگاهی از کل به جزء به ارمغان می آورد و میتوانید علت وجود هریک از متریک ها را متوجه شوید.( جلوتر طریقه خلق چنین داشبوردی را برایتان شرح خواهیم داد.)

اگر شما تازه وارد شرکت شدید، سعی کنید تاثیر محصولات بر این معیارها را به صورت دقیق بررسی کنید، این بررسی میتواند حتی موضوع چند جلسه با تیمتان باشد. تلاش کنید در این حیطه بسیار عمیق شوید و مو را از ماست بیرون بکشید.  اگر تعیین اثر محصولات بر معیارهای موفقیت شرکت، کاری چالش برانگیز است این نشانه خوبی برای شما نیست؛ زیرا نشان میدهد که قبل از شما کسی اهمیتی به این تاثیرات نداده است.

اما خودتان را صرفا محدود به پاراگراف قبل، بررسی تاثیر محصولات، نکنید بلکه یک پله بالاتر بیایید و سعی کنید ارتباط میان معیار ها و خروجی تیم ها را به اهداف سازمان، کشف کنید. بگذارید این جمله را با ذکر یک مثال بهترعنوان کنیم:

فرض کنید در حال کار کردن بروری باگ اسپم شدن ایمیل های ارسالی تان کار میکنید، در اینجا تیم توسعه دهنده به دنبال رفع مشکل است اما شما علاوه بر اینکه باید بر روند آنها نظارت داشته باشید و بدانید تیم به درستی روی مشکل کار میکند، بایستی از طرفی بر روند تیم بازاریابی نیز ناظر باشید و متوجه شوید که آیا آنها فرآیند ریتنشن کاربر که ناشی از این باگ است را به خوبی انجام میدهند یا خیر. دائم این سوال را بپرسید که آیا ارتباطی میان این دو بخش هست ؟ آیا این دوبخش میتوانند به یکدیگر در پیشرفتشان کمک کنند ؟

2- نحوه شخصی سازی کردن داده ها برای خودتان و روش جمع آوری آنها را فرا بگیرید.

سرعت چرخه های مختلف محصول، بسیار در روند تحلیل داده ها مهم است. شما نیاز دارید تا فرضیاتی را وارد بازی محصول کنید و آنها را تست کنید و این چرخه را بصورت مداوم تکرار کنید. اگر بخواهید داده های مورد نیازتان را توسط یک مهندس داده بدست آورید؛ روند بدست آوردن اطلاعات ممکن است از 15 دقیقه الی 15 روز طول بکشد پس سعی کنید خودتان روش شخصی سازی شده تان را پیدا کرده و از طریق آن اطلاعات لازم را بدست آورید.

اما دو روش برای جمع آوری داده ها برای یک مدیر محصول مبتنی بر امکانات داخل سازمان، وجود دارد. برخی از سازمان ها یکسری داشبورد های مخصوص از پیش طراحی کرده اند که عصاره تحلیل داده ها در SQL را، درون داشبورد ها قرار دادند و یکسری هم چنین امکانی ندارند و شما بایستی بصورت مستقیم با SQL کار کنید و روند تحلیل داده را انجام دهید.

در واقع حتی اگر سازمان شما، داشبوردهای مخصوصی طراحی کرده است بازهم بازگشت شما به سوی SQL خواهد بود؛ زیرا این ابزار کنترل شما را بر جزئی ترین داده ها نیز برقرار میسازد و زمان زیادی برای شما ذخیره میکند. اگر دانش کافی برای کار با SQL را ندارید اصلا نگران نباشید و سعی کنید در طی یک الی دو روز مفاهیم اولیه را یاد بگیرید و سپس در روند انجام کارهایتان به آموزش تخصصی آن بپردازید.

3- یک داشبورد برای تیم تان بسازید.

هر محصولی باید شامل یک داشبورد باشد که مدیران محصول یا دیگر افراد داخل شرکت که در روند تولید آن محصول سهیم بودند، بتوانند به آن دسترسی داشته باشند. اگر شما داشبورد را در scratch طراحی کردید یا در حال ساختن آن هستید، در اینجا چند نکته بسیار مهم را شما یادآوری میکنیم:

1- متریک های موفقیت را نشان دهید.

داشبورد شما باید شامل گراف هایی باشد که مهمترین عوامل موفقیت در محصول را نشان میدهند.  اما هدف از این گراف ها چیست ؟ در واقع ما از این گراف ها استفاده میکنیم تا تغییر وضعیت این معیارها را مشاهده کنیم. به عنوان مثال معیاری همچون ترن اور ریت (Turnover Rate ) را در نظر بگیرید، این معیار در طی لانچ چرخه های محصول، دست خوش تغییر میشود اما معیاری همچون ریتنشن (Retention) بسیار سخت تغییر میکند و ممکن است در هر لانچ محصول یا آپدیت آن، شما تغییر محسوسی در نمودار آن مشاهده نکنید اما تغییرات آن را در دوره زمانی طولانی تر احراز کنید.

2-  به دنبال پیش نیازها بگردید.

بگذارید این بخش را با این سوال شروع کنیم که به نظر شما چه چیزی معیارهای موفقیت را هدایت می کند؟ جواب شما به این سوال در واقع همان پیش نیازهایی ست که دنبال آنها هستیم. به عنوان مثال در نظر بگیرید که معیارموفقیت ما، زمان آنلاین بودن کاربر در سایت باشد؛ اما این معیار را به وسیله تعداد کاربران و تعداد پستی که توسط آنها دیده شده است، بدست می آوریم. در واقع اینجا تعداد کاربران و تعداد پست دیده شده توسط آنها، دو پیش نیاز هستند که باید آنها را دنبال کنیم و ریز جزئیات آنها را کشف کنیم. در واقع همین پیش نیازها هستند که به شما هشداری در مورد میزان موفقیت تغییرات محصول میدهند.

 3- طریقه استفاده کاربران از محصول را نشان دهید.

گاهی اوقات تیم ها رهگیری نوع استفاده کاربران از محصول و اینکه چه ویژگی در نظر انان مهم است را فراموش میکنند. در نظر داشته باشید که عصاره این نوع داده ها را در داشبورد خود داشته باشید و از آنها استفاده کنید. هر چند ممکن است نمودار تغییرات این داده ها در کوتاه مدت تغییر نکند اما در بلند مدت باعث میشود شما در واقعیت بفهمید که کاربران چگونه از محصول شما استفاده میکنند. همچنین این داده ها میتوانند زنگ خطری برای تیم باشند تا حواس خود را به حفظ کیفیت محصولات متمرکز کنند.

4- نویز و واریانس را با فیلترگیری هوشمند کاهش دهید.

شاید در ابتدا کمی تعجب کنید که این مباحث برقی چه ارتباطی به مدیریت محصول دارند؟ توجه شمارا به این جلب میکنیم که گاهی اوقات، برخی از داده ها همچون نویز اضافی هستند و بودن آنها در کنار بقیه داده ها، واریانس قابل توجهی ایجاد میکند؛ در واقع شما باید با فلیترهایی که برای داشبورد خود تعریف میکنید؛ این نویز ها را از داده های اصلی حذف کنید. به عنوان مثال، فرض کنید اپلیکیشنی طراحی کردید و روزانه کاربران جدیدی به شما اضافه میشوند اگر واریانس زیادی میان تعداد و کیفیت کاربران جدید روزانه شما هست، شما میتوانید کاربران با کیفیت پایین را از طریق فیلتر نوار کیفیت، از بقیه کاربران جدا کنید. خب نوار کیفیت چیست ؟ نوار کیفیت را در واقع شما تعریف میکنید اما مثال هایی از آن میتواند شامل افرادی که نصب اپلیکیشن را تکمیل کرده و داخل آن لاگین کرده اند یا افرادی که از این اپ حداقل 3 روز در هفته استفاده کرده اند، باشد.

5- متریک ها را نرمال سازی کنید.

بگذارید این مفهوم را با مثالی آغاز کنیم، فرض کنید یکی از متریک های ما، افزایش علاقه مشتریان باشد ،به نظرتان چگونه میتوانیم پیشرفت این شاخص را اندازه گیری کنیم ؟ یکی از راه ها، بررسی افزایش تعداد کامنت های مشتریان است اما صرفا با نگاه کردن به یکسری از نمودارها، ما نمیتوانیم نتیجه بگیریم که تعداد کاربران و در نتیجه علاقه آنان به ما بیشتر شده است فلذا در این موقعیت بایستی اصل نرمال سازی متریک ها را به وسط آورده و تعداد کامنت ها را به تعداد کاربران فعال تقسیم کنیم و این روند را بررسی کنیم؛ در آن صورت است که میتوانیم بفهمیم که افزایش تعداد کامنت ها، ناشی از افزایش علاقه کاربران بوده یا افراد جدیدی به کاربران ما اضافه شده اند.

در واقع اصل نرمال سازی متریک ها این را بیان میکند که شما برای طبیعی سازی شاخص هایتان میتوانید نمودار شاخص مد نظر را بر نمودار کاربران فعال تقسیم کنید و شاخص مورد نظر را بررسی کنید.

6- حساب فصلی محصولات: برخی از محصولات در بعضی از زمان های ماه یا سال، بیشتر مورد استفاده قرار میگیرند و خب اگر ما شاخصی برای تغییرات استفاده از محصولات نداشته باشیم گاهی اوقات درک یک روند نزولی یا صعودی معنادار، برای ما سخت میشود. یک راه ساده برای جلوگیری از این ابهام، کشیدن یک خط چین زمانی مروبط به یک سال یا یک هفته پیش، در نمودارهای مصرف محصولات، میتواند خیلی موثر باشد. و در اینجاست به شما میگوییم حساب کتاب فصلی یادتان نرود!

7- میانگین تغییرات 7 روز گذشته را نشان دهید.

برخی از محصولات ذاتا “spikey” هستند و ممکن است روند تغییرات لحظه ای داشته باشند و برای بررسی بهتر این تیپ محصولات سعی کنید میانگین 7 یا 14 یا 28 روز گذشته تغییرات مصرف این محصولات را در داشبورد داشته باشید. این کار باعث میشود تا زمان های خاصی که مصرف این محصولات در اوج بوده است را شناسایی کنید و گاها تحلیل های خفنی برروی آن پیاده سازی کنید.

متریک های تیم تان را به صورت منظم یادآوری کنید.

متریک های محصولات شما بایستی به صورت منظم بررسی شوند و اینکار باعث میشود تا شما هر تغییر ناگهانی در شاخص اصلی را شناسایی کنید و به سرعت به حل آن بپردازید. سوالات زیر به شما در این روند کمک میکنند:

1- آیا نمودارهای شاخص ها نسبت به روند قبلی که داشتند، دچار تغییر ناگهانی شده اند؟ اگر جوابتان مثبت است به دنبال علت این تغییر با توجه به نمودار ها و نکات قبلی که گفتیم، بگردید.

2- آیا تغییرات اخیر مارکتینگ و محصولات، بر شاخص ها تاثیر گذاشته اند ؟

3- آیا شاخص ها به مرحله ای از موفقیت رسیده اند که برای پیشبردشان جشن بگیریم ؟

4- ایا روند های بلند مدت جالبی در محصولات مشاهده میکنید ؟ این سوال در عین جالب بودن عجیب به نظر میرسد برای پاسخ دادن به آن، توجه ویژه ای به متریک هایی که پشتیبان استراتژی محصولات هستند، داشته باشید.

برخی از تیم ها به این علاقه مند شده اند که یک سیستم دوره ای برای بررسی و بازنگری دوباره متریک ها درست کنند. به عنوان مثال آنها روتینی را بوجود آورده اند که هرهفته یکی از افراد تیم محصول، متریک هارا بازنگری کند و هر تغییر ناگهانی را به بقیه اعضا، اطلاع دهد. اینکار علاوه بر بازنگری شاخص ها، باعث میشود تا بقیه اعضای تیم نیز با متریک ها اشنا شوند و هیچ وقت انهارا فراموش نکنند.

داده ها را زیر و رو کنید. ⚡

اجازه دهید این بخش با مثالی آغاز کنیم که با آن آشنا هستید، فرض کنید که شما در حال انجام تحقیقات UX برای کشف دیدگاه های جدید از کاربران هستید؛ برای اینکار تمام اطلاعات مربوط به مشتریان را زیر و رو میکنید. چنین وضعیت مشابهی را برای داده های مربوط به محصولات در نظر بگیرید. برای کشف موقعیت های بیشتر میتوانید از داده های محصولات بصورت بهینه استفاده کنید. شاید تا اینجا ابهامی برای شما پیش بیاید که تفاوت میان داده های کاربران و داده های محصولات چیست ؟ جهت شفاف سازی بقیه موارد به مثال زیر توجه کنید.

یکبار تیم من در شرکت گوگل قصد داشت تا با استفاده از آدرس آی پی کاربران نتایج مرتبط مکانی را به او نشان دهد. به عنوان مثال زمانی که کاربر ” فست فودی” هارا سرچ میکرد با توجه به آدرس آی پی او، مکان های مرتبط نزدیک اورا پیشنهاد دهد. و اعتقاد من بر این بود که این آدرس های آی پی که از کاربران دریافت میشود به اندازه کافی دقیق هستند؛ اما چگونه میتوانستم میزان دقت بالای آن را ثابت کنم ؟ گاهی اوقات شما برای نظریه هایی که به انها باور دارید استدلال کافی ندارید😊 همچنین تیم ما تمایلی به اجرای یک آزمایش فوری برای اثبات این دقت نداشت و در ثانی حتی اجرای چنین آزمایشی نمیتوانست نتایج دقیقی دال بر اینکه اینکه این آدرس های آی پی چقدر دقیق هستند به ما بدهد و از طرفی شاید عقیده من همیشه درست نباشد و گاهی اوقات کاربران نتایج نا مرتبط ببینند.

بیایید پرش عمیقی به این داستان داشته باشیم و آنرا برای شرایط خودمان بازسازی کنیم. اگر شما جای ما بودید چه میکردید ؟

تصور کنید شما در شرکت گوگل کار میکنید و قصد دارید اینرا اثبات کنید که آدرس آی پی مشتریان با لوکیشن آنها مطابقت دارد. این نکته راهم جزو مفروضات سوال در نظر بگیرید که شما به لوکیشن افراد دسترسی ندارید.

به ایده هایتان برای این سوال فکر کنید و در ادامه ایده من را هم بخوانید 😊

در مرحله اول ،اینرا یافتم که مکان کاربران هنگام سرچ مطالبی همچون، پیش بینی اب و هوا یا زمان پخش فیلم ها، در زیپ کد مربوطه نهفته میشود و توانستم این را بفهمم که آدرس آی پی لوکیشن تا حد زیادی با زیپ کد هم خوانی دارد.

اما ممکن است آدرس های آی پی، مایل ها (mile) از لوکیشن اصلی شان دور باشند حتی اگر این آدرس ها دارای زیپ کد درست باشند. در اینجا چگونه میتوانیم برتری آدرس های آی پی را نسبت به زیپ کد اثبات کنیم؟ بیایید راه حل من را برای این مثال بررسی کنیم.

من متوجه شدم که کاربران گاهی بصورت دوره ای برای یافتن یکسری رستوران های خاص یا مغازه جستجو میکنند. بنابراین سوال این بود که آنها چه زمانی برای چنین سرچ خاصی اقدام میکنند؟ آیا این سرچ بیشتر با زیپ کد مطابقت دارد یا آدرس آی پی ؟

در نتیجه من دیدم که آدرس آی پی خیلی دقیق تر از زیپ کد است. هم اکنون من میتوانم با اعتماد به نفس کامل آزمایش خودم را در فضایی که احتمال خطا در مورد لوکیشن کمتر است، ران کنم. و علت موفقیت تغییرات این بود که من برای اثبات هر مورد میدانستم از چه نوع داده ای که دردسترس دارم، استفاده کنم.

کنجکاو باشید و از هر نوع داده ای که در دسترس دارید، استفاده کنید ممکن است این داده ها را از گوگل آنالیتیکس ، گزارش های خام کاربران یا گزارش های NPS، بدست آورید. سعی کنید برای استخراج داده ها، دنبال سوال های خلاقانه باشید و اینرا به یاد داشته باشید که این سوالات میتواند از روی کنکجاوی شما یا در جهت پیشرفت پروژه تان باشد. برای خلق محصولات شگفت انگیز به دنبال سوالات خفنی باشید که در داده های خدا، به جواب آن برسید.

متریک های موفقیت سازمان تان را به اشتراک بگذارید. ⚡⚡

شاخص ها آنقدر پایدار و همیشگی نیستند که شما توان تغییر آنهارا نداشته باشید. هر چه که شما در موقعیت خودتان پیشرفت میکنید میتوانید به سازمان در جهت انتخاب متریک های حیاتی تر کمک کنید. اگر به نظر میرسد که کاربران در جهت اشتباهی حرکت میکنند یا در انتخاب جهت درست، گیج شده اند؛ کم کم بایستی آستین ها را بالا زده و وارد عمل شوید.

برای اصلاح شاخص های موفقیت یک سازمان شما نیاز دارید تا یک فرایند چند جانبه و نیازمند اصلاح را مدیریت کنید؛ به یاد داشته باشید که در طی این فرآیند های مهم و گاه مبهم، تصمیم گیری های گسترده بسیار ضروری هستند. توجه داشته باشید که پیش از اعمال تصمیم هایتان، تمام مشکلاتی که با متریک های کنونی دارید را شناسایی کنید، برای اینکار شما میتوانید از افراد مختلف دعوت به عمل بیاورید تا مشکلاتشان را با شما در میان بگذارند. اما این تمام ماجرا نیست بلکه شما باید تصمیمات جدیدتان را نیز با افراد سازمان بیان کنید و نگرانی های آنها را نسبت به این تصمیم ها، بشنوید.

مسئولیت سود و زیان (مدیریت P&L ) ⚡⚡

در بعضی از سازمان ها، مدیران محصول باتجربه ، مسئولیت سود و زیان محصولات را در دست میگیرند. این بدان معناست که مسئولیت آنها در مدیریت محصولات، بسیار ریزتر میشود و در این وضعیت آنها علاوه بر مدیریت تیم های محصولات بایستی تیم های فروش و مارکتینگ را نیز رهبری کنند و در واقع تبدیل به آچار فرانسه شرکت خودشان بشوند. آنها نه تنها مسئول خلق محصولات عالی و ناب هستند بلکه باید این تضمین را بدهند که این محصول به اندازه کافی برای شرکت سود دارد و موجب تحمیل هزینه های زیادی به شرکت نمی شود.

فردی که مدیریت سود و زیان را قبول میکند، علاوه بر بٌعد مدیریت محصول، کمی با ابعاد مالی نیز ارتباط پیدا میکند و بصورت مستقیم با یکی از افراد واحد مالی برای پیش بینی هزینه های سالیانه تیم محصول وارد گفتگو میشود. این هزینه های سالیانه میتواند شامل : هزینه استخدام افراد جدید، هزینه تبلیغات، هزینه لانچ محصول جدید و … باشد. در واقع این کار همان پیشبینی در آمدی ست که شما طبق هزینه های فصلی و ماهیانه تیم در مورد آن تصمیم گرفته اید.

به نظر بحث پیش بینی درآمد و هزینه های سالیانه کمی غیرممکن به نظر برسد ولی این را به خاطر داشته باشید که شما مجبور نیستید درآمد ها را به صورت دقیق پیش بینی کنید. به این سخن از الی لرنر که مدیر P&L در شرکت Yelp بود را ببینید:

شما هیچگاه نمیتوانید میزان بودجه سالیانه را دقیق پیش بینی کنید پس سعی کنید در این شرایط غیرقطعی، یک قدم جلوتر بروید و اشکالات احتمالی برنامه بودجه را بیان کنید. این عیب یابی از برنامه باعث میشود تا پیش از بوجود آمدن مشکلات جدید، عیب هارا برطرف کنید.در واقع شما میخواهید تا یک برنامه مالی بسیار خوب و محافظه کارانه داشته باشید که بتوانید آنرا در رقابت با وال استریت قرار دهید و در کنار آن یک هدف تهاجمی تر برای ضربه زدن به آن برنامه دارید. در واقع ارزش بهینه شما در ایجاد یک پارادوکس درونی در ضمیر ناخودآگاه تان است که در طی این تناقض توانایی های مدیریتی خود را تقویت کنید.

زمانی که شما برنامه بودجه را بستید، به خصوص در شرکت های دولتی، بایستی نقشه راه سرمایه گذاری تان برای افراد سرمایه گذاز توضیح دهید و آنها را قانع کنید که مسیر منتخب شما بهینه ترین مسیر در راستای سوددهی سرمایه آنان است.

پیش بینی آینده استراتژی سرمایه گذاری بسیار مهم است و از همه مهمتر توانایی شما برای رسیدن به اهداف این استراتژی، نقش مهمی در تعیین قیمت سهام سازمان دارد، از طرفی تصمیمات شما در راستای این استراتژی به نوبه خود بعد ها بر جبران خسارت، موثر خواهد بود و حتی در صورت اعمال تصمیمات نادرست میتواند خطر کنترل شرکت توسط سرمایه گذاران را افزایش دهد و متریک های اصلی سازمان را تهدید کند.

تلاش خود را بکار بگیرید که بتوانید در هر هفته یا هر ماه گزارشی از پیش بینی وضعیت سرمایه و تجزیه و تحلیل درایورهای مالی، تهیه کنید. اگر درآمد خالص دارای افت وخیزی شده است از شما انتظار میرود تا علت آن را بصورت دقیق متوجه شوید. در طی زمان سعی کنید همانند داشبورد های محصولات، برای موارد مالی نیز داشبوردهایی تهیه کنید که به صورت دقیق به شما کمک کنند که کدام فانل های مالی از قلم افتاده اند.

شاید تا اینجا با خود فکر کنید که این مباحث تخصصی مالی اصلا ارتباطی به مدیریت محصول ندارند؛ اما اینرا بدانید که اگرچه تجزیه و تحلیل درایور ها در عمل سخت به نظر میرسد اما در واقعیت بینش مدیریتی شما را اعتلا می بخشند و باعث میشوند تا دید بسیار جامع تری به محصولات پیدا کنید.

قبل از رفتن به موضوع بعدی منظورمان از درایور را بیان کنیم : در واقع یک درایور در فضای مالی و اقتصادی، شامل یکسری فاکتور های کلیدی ست که تاثیر بسیار زیادی بر درآمد نهایی دارد.

نقل قول: حال تصور کنید که در حال خلق ابتکاراتی پیرامون محصولات هستید، دید مالی مرکب شده با محصول این امکان را به شما میدهد تا دقیقا بررسی کنید این ابتکار دقیقا کدام داریور مالی را تقویت میکند و چه میزانی از لحاظ مالی برروی آن تاثیر دارد. این مورد را قبول داریم که پیش بینی دقیق سخت است اما زمانی که در انتهای فصول به کارهایی که در گذشته کردید و همچنین تصمیمات و ابتکاراتی که برای ویژگی های محصولات خلق کردید، نگاه میکنید؛ حس غرور توام با شادی به شما دست میدهد؛ زیرا تصمیم هایتان نسبت به حالت عادی بسیار پخته تر بودند.

اگر موارد مالی مربوط به محصولات در وضعیت خوبی قرار ندارند، سعی کنید حالات مختلف اعمال اهرم ها را بررسی کنید. به عنوان مثال شاید نیاز باشد تا بودجه را از شرط بندی های بلند مدت به تارگت های کوتاه مدت همچون تبلیغات تغییر دهید. ممکن است در این راه نیاز باشد تا یک تیم مهندسی جدید در جهت راه اندازی یکسری ابزار مناسب برای خرید بهتر مشتریان، بکار بگیرید.

روش های رشد

از متریک ها برای درک داده ها استفاده کنید.

زمانی که تازه وارد حرفه مدیریت محصول شده بودم از من انتظار میرفت تا متریک های گوناگون در مورد محصولات یا تعداد کاربران محصولات و نرخ رشد سازمان را حفظ کرده باشم. این مثال ها مشمئزکننده ترین بخش مدیریت محصول را برای من یادآوری میکنند که زمانی حتی میخواستم به خاطر این حفظیات بی دلیل شغلم را رها کنم.

عامل بازدارنده من از ترک شغل ام، آشنایی با استفاده از متریک ها بود. در واقع از متریک ها برای اضافه کردن زمینه های جدید و معنادار کردن دیتاها استفاده میکردم. متریک ها در عمل یکسری نقاط مرجع بر پایه لانچ های گذشته هستند که برای استاندارد های سازمان یا مراجع درونی شرکت مورد استفاده قرار میگیرند.

به عنوان مثال، شرکت های سرمایه گذاری با چاشنی پذیرش ریسک، متریک های درآمدی و رشدی دارند که از آنها برای تعیین بهینه و مفید بودن محصولات، استفاده میشود. همچنین این متریک ها میتوانند برای ارزیابی خود شما به عنوان محصول نیز خوب باشند.

زمانی که دارید داده ها را بررسی میکنید به دنبال نقاط مرجع باشید، همین نقاط میتواند عامل فهم شما از اعداد و ارقامی باشد که از رشد شرکت میبینید.

بینش شخصی سازی خودتان را از داده ها بسازید.

به مرور زمان، شما در تشخیص سیگنال های خوب از بد در جمعی از داده های پرسر و صدا باتجربه تر خواهید شد. شاید اینکار جادویی به نظر برسد اما تشخیص این سیگنال ها به مرور زمان برایتان تبدیل به عادت میشود؛ زیرا ذهن شما الگوی این سیگنال ها را پیدا کرده و همچون کامپیوتر بروی این داده ها پیاده سازی میکند.

شما میتوانید روند ساخت بینش شخصی سازی خودتان را از داده ها با استفاده از تجربیات دیگران، لذت بخش تر کنید. بدین گونه که سعی کنید در جلسات مختلف تجزیه و تحلیل داده ها شرکت کرده و از الگوهایی که افراد متخصص استفاده میکنند، بهره ببرید ؛ همچنین شما میتوانید کوئری های مختلف مهندسین داده را نیز بررسی کرده و با استفاده از آنها داده های مربوط به کسب و کارخودتان را معنادار کنید.

تست های داده بهتر و بهینه تری انجام دهید. ⚡

تست های مختلف همیشه مفید خواهند بود اما این بدان معنا نیست که شما هر ایده یا بحث جدیدی را تست کنید؛ زیرا تست ها وقت گیر هستند و شما در حوزه استفاده بهنیه از زمان تیم بایستی هوشمندانه عمل کنید. در واقع سعی کنید بهترین ایده ها را به حوزه تست و بررسی ببرید و در این راه اگر تست ایده ای با شکست مواجه شد هیچ اشکالی ندارد اما اگر تعداد زیادی از تست ها شکست خورد این برمیگردد به عدم استفاده بهینه شما از زمان تیم و بررسی درست ایده ها !

نوندو جاناکیرام، مدیر مصحول در تجربه رانندگان در شرکت اوبر، اهمیت بهبود میزان موفقیت تست ها موارد زیر میداند:

مدیران محصول برتر از شکست ها درس میگیرند اما مدیران محصول عالی کمتر شکست میخورند…

در واقع شما همواره شنیده اید که از شکست ها باید درس گرفت اما این جمله برای افراد عادی است و در حیطه محصول تعریف مدیر موفق کمی فرق دارد.

انجام تحقیقات عمیق از کاربران باعث میشود تا شما تحلیل های دقیق تری داشته باشید. زمانی که شما فهم و درک عمیقی از مشتریانتان داشته باشید؛ راحت تر میتوانید ارتباط مشتری با محصول را ارتقا ببخشید.

در زمینه انجام تست های مختلف دقت کنید که این تست ها هزینه های مخفی زیادی دارند و در ثانی انجام تست های زیاد میتواند روند تصمیم گیری شما را مختل کند و حرکت روبه پیشرفت شمارا محدود کند. از اینکه هر مناظره داخلی در شرکت را به حیطه تست ببرید، جلوگیری کنید زیرا همانگونه که متوجه شدید انجام تست های زیاد شما را متخصص نمیکند بلکه تست های به جا و بهینه باعث رشد مدیریتی شما میشود.

پیشنهاد میکنم که تمرکز و انرژی ای که بروی طراحی تست های جدید میگذارید؛ به سوالات فرآیند توسعه محصول و پاسخ آنها معطوف کنید و در نتیجه در مسیر توسعه محصول باثبات تر و استوارتر قدم بردارید. مدیران محصول عالی کمتر دچار اشتباه میشوند؛ زیرا آنها به آموزش های خود پایبند هستند و درجایی از کار نظرات خود را وارد نمیکنند. همین مدیران عالی هستند که در طی زمان بینش عمیق تر و درست تری نسبت به مشتریان پیدا میکنند و در نهایت با انجام تست های کمتر، بهینه ترین نتایج را خلق میکنند.

اگر یکی از تست های شما با شکست مواجه شد، زمانی را به بررسی مشکلات بوجود آمده در تست اختصاص دهید و ببینید آیا میتوانستید مشکلات را زودتر پیش بینی کنید و روند تست را مختل کنید یا همانند تکنیسین های نیروگاه اتمی چرنوبیل عمل کردید و با اعتماد به یکسری ظواهر تست را ادامه دادید؟

آیا تست به درستی طراحی و اجرا شده بود ؟

آیا میتوانستید قبل از اجرای تست، ایده را با یک نمونه اولیه تایید کنید؟

مفاهیم و فریم ورک ها

متریک های عالی در مقابل متریک های پوچ و بیهوده

در واقع متریک ها با این معیار بررسی میشوند که چقدر میتوانند وضعیت یک محصول را به خوبی نشان دهند. اگر متریک ها به شما یک بینش واقعی و عملی از وضعیت محصول را ارائه داد این متریک ها جزو متریک های عالی قرار میگیرد اما اگر متریک وضعیت محصول را گمراه کننده و کاملا خیالی نشان داد، جزو متریک های پوچ و بیهوده است که ظاهر خوبی دارند اما در باطن موفقیتی برای سازمان کسب نمیکنند.

به عنوان مثال، متریک های “کاربران ثبت نام شده در سایت” و “بازدید روزانه سایت” را در نظر بگیرید. در نگاه اول این متریک ها خیلی کاربردی به نظر میرسند و خیلی از مدیران محصول شاید اهمیت زیادی به تعداد کاربران ثبت نامی و ترافیک ورودی سایت بدهند؛ اما آیا این متریک ها عملی هستند ؟ زمانی که این معیارها دچار تغییر شوند به عنوان مثال، افزایش یا کاهش پیدا کنند بایستی نتیجه بگیریم که وضعیت محصول روبه بهبودی یا شکست است ؟ (چند لحظه ای خواندن را متوقف کنید و بصورت عمیق در مورد این سوال فکر کنید که ایا تغییرت در دو معیار “کاربران ثبت نامی” و “ترافیک ورودی” میتواند نوید تغییر وضعیت محصول را به ما بدهد ؟)

تعداد کل کاربران ثبت نام شده در سایت : این معیار با گذشت زمان تغییر میکند و در دنیای واقعی نمیتواند آمارش کاهش پیدا کند فلذا افزایش این آمار نمیتواند علت خوبی برای موفقیت محصول باشد.

بازدید روزانه از صفحات وب سایت: این معیار کمی جای تامل دارد! اما افزایش این بازدید میتواند در اثر تکنیک های سئو من جمله تقسیم کردن یک موضوع کلی به چند زیرشاخه و تشکیل یک صفحه وب مستقل برای هر موضوع در سایت باشد.

این متریک ها پوچ و بیهوده هستند زیرا میتوانند دچار تغییر و تحول به جهت مثبت شوند در حالی که محصول در وضعیت بدی قرار دارد. مفهوم گمراه کنندگی این متریک ها از همین جا نتیجه می شود. در واقع این معیارها نمیتوانند بصورت قطعی به یک تیم در پیشبرد محصولات در جهت پیشرفت و موفقیت کمک کنند.

متریک های عالی تحت قلمرو موفقیت طولانی و استراتژیک، مطرح میشوند. آنها نمادی از پیشروی محصول در مسیر مورد نظر سازمان هستند و از ویژگی های بارز آنها عملی بودن آنهاست.

پایریت متریک ها

یکی از مهم ترین مجموعه متریک های عالی، مجموعه مورد نظر دیو مک کلور است که آنرا “پایریت متریک ها یا pirate metrics” می نامند زیرا انها مخفف جالب AARRR هستند.

اینها معیارهای مربوط به طول عمر مشتری است که متریک های قیفی نامیده میشوند، در واقع روند پیشروی و بررسی طبق این متد استعاره از یک قیف است که آب را چکه میکند.

داستان از این قرار است که شما درابتدا با قرار دادن مشتریان زیادی در بالا شروع میکنید و در هرمرحله تعداد این مشتریان کمتر میشود و در نهایت ته قیف تعدادی مشتری برای شما میماند؛ آنها همان مشتریان وفادار شما هستند.

1 – آکوئیزیشن (Acquisition ) : کاربران جدیدی که به استفاده از محصول شما جذب شده اند، مانند ثبت نام یا دانلود ماهانه از سایت.

2- اکتیویشن (Activation ): کاربران خوشحال یا موفق که با تحول معیار خاصی از محصول مشخص میشوند. به عنوان مثال، فیس بوک ممکن است افزودن حداقل 7 دوست در لیست دوست های یک کاربر را به عنوان اکتیویشن تلقی کند. برای دستیابی به آمار این معیار، معمولا باید آمارماهانه را بررسی کنید.

3- ریتنشن(Retention:( کاربرانی که از محصول شما به صورت مداوم استفاده میکنند و در چند دسته، کاربران فعال روزانه و کاربران فعال ماهانه و .. دسته بندی می شوند. همچنین برای دستیابی به این معیار میتوانید میزان تماشای ویدئوی شما در یوتیوب توسط این کاربران چند دقیقه بوده است را بررسی کنید.

4- ارجاع (Referral): توصیه محصول به سایر کاربران توسط کاربران متعد در این دسته از معیار جای میگیرد. بسیاری از شرکت ها برای محسبه امتیاز خالص پروموتر، آمارهای مربوط به معیار ارجاع را نیز در نظر میگیرند.

5- درآمد (Revenue ): این متریک بسیار گسترده است و برای تعریف آن چند مثال عنوان میکنیم؛ درآمد همچون هزینه های اشتراک، خرید یک محصول یا درآمد های ناشی از تبلیغات تعریف میشود. این نکته مهم است که ارزش طول عمر مشتری را بدست آورده و به وسیله آن بتوانید هزینه به دست اوردن مشتری را حدس بزنید و با یکدیگر مقایسه کنید. قاعده کلی این است که هزینه نگهداری مشتری بایستی یک سوم هزینه بدست آوردن مشتری جدید باشد. و زمانی که یک مشتری اشتراک خود را لغو میکند به آن چرن میگویند.

دقت داشته باشید که با این متریک ها همچون قیف رفتار کنید، بعد از هر مرحله تعداد مشتریان را حساب کنید و توجه داشته باشید آنچه که واضح است این است که در هر مرحله افراد وفادار برای شما باقی میمانند. متریک های عنوان شده در این بخش ارتباط بسیار نزدیکی با مطالب فصل 4 دارد.

تست A/B و آمارهای مربوط به آن

تست A/B که به‌عنوان «تست تقسیم» یا «تست در لحظه» نیز شناخته می‌شود، آزمایشی زنده است که در پایگاه کاربر شما انجام می‌شود. یک نمونه تصادفی از کاربران یک نسخه را می بینند که “واریانت” نامیده می شود و بقیه نسخه دیگری را می بینند. سپس مقایسه می‌کنید تا ببینید کدام نوع در دستیابی به اهداف شما، مانند افزایش کلیک، بهتر عمل می‌کند. پس از پایان آزمایش، نسخه ای که بهتر عمل کرده است معمولا در دسترس تمام کاربران پایگاه داده قرار میگیرد تا آنها نیز این تست را انجام دهند.

با آزمایش دو نمونه تصادفی همزمان از کاربران، میتوانید مطمئن شوید که هر گونه تفاوت بین این دونمونه ناشی از تغییر دقیقا کدام عنصر در محصول است اما اگر همین تست را خارج از قالب A/B و بصورت آپدیت محصول در نظر میگرفتید آنگاه در تجزیه و تحلیل داده های ناشی از هریک دچار ابهام و اختلال می شدید.

و برخی از تست های A/B دوگزینه را با یکدیگر مقایسه میکنند ، به عنوان مثال اگر دکمه سبز باشد یا ابی بهتر است ؟ یا ممکن است گروهی نیز ممکن است برای آپدیت بعدی محصول خود یک تست آلفا را رد قالب تست A/B ران کنند.

عصاره تست A/B : این تست به طرز شگفت انگیزی برای سازمان ها کارآمد است زیرا دقیقا نتایج دنیای واقعی و رفتار واقعی کاربران را بازتاب میکند نه صرفا آماری که کاربران در جایگاه نظرسنجی در اختیار ما قرار میدهند. نتایج این تست بسیار به نتایج لانچ اصلی محصول نزدیک تر خواهد بود.

تغییرات کوچک همچون کلماتی که بروی دکمه ثبت نام قرار میدهید، تاثیر زیادی بر روند ثبت نام کاربران خواهد داشت. همچنین تست A/B، جدول زمانی پروژه ها را گسترش میدهد و در صورت استفاده بی رویه حتی میتواند باعث ایجاد بینش نادرست در مورد محصول شود پس بسیار به این نتکه توجه داشته باشید که از تست A/B همچون نقل و نبات استفاده نکنید و از آن برای تغییرات در بخش های حساس و پرترافیک محصول که اثرات کوتاه مدت دارند، بهره ببرید.

موارد لازم که شما باید در مورد آمارهای ناشی از تست A/B بدانید.

ایده اصلی در پشت این تست بسیار ساده است. یک تغییر کوچک در بخشی ایجاد کن و سعی کن نسخه بهتری نسبت به قبلی بسازی! به همین سادگی و آسانی!

اما آنچه که چالش اصلی در مورد این تست را بوجود می آورد این دوسوال است:

1- چه مدت تست را ران میکنید ؟ و 2- چه زمانی مطمئن میشوید که ورژن تغییر یافته بهتر است یا همان قبلی ؟ اینجاست که بایستی درک عمیق تری از آمار پیدا کنید.

بگذارید این مثال در فضای بسیار ساده تری شبیه سازی کنیم؛ فرض کنید برای اینکه بررسی کنیم یک سکه عادلانه می اید یا خیر آزمایشی را طراحی کرده ایم؛ در طی این آزمایش شما میدانید که احتمال رو آمدن تاس با پشت امدن آن برابر است اما میخواهید بدانید که ایا در 2N بار پرتاب یک تاس نیز این امکان وجود دارد N بار پشت و N بار رو بیاید ؟ این پیشامد نیازمند آزمایش است. آزمایش را 20 بار تکرار میکنیم و در 60% حالات، سکه روآمد؛ پس گمانه زنی مان در جهت ناعادلانه بودن سکه قوت میگیرد و در بار دوم آزمایش را 1000 بار تکرار میکنیم و این بارهم در 60% حالات سکه رو آمد؛ در اینجا گمانه زنی مان به سمت قطعیت پیش میرود و میتوانیم نتیجه گیری کنیم که سکه احتمالا ناعادلانه عمل کرده است.

آیا به مثال زده شده دقت کردید ؟ دیدید که زمانی حدس ما به سمت قطعیت پیش رفت که آزمایش را در تعداد بالا تکرار کردیم و این در مورد اجرای تست A/B صادق است. ما باید آنقدر انواع A و B را اجرا کنیم که بتوانیم از بین این دو بهترین را انتخاب کنیم اما توجه داشته باشید که روند انتخاب نباید انقدر طولانی باشد که هرگز تصمیمی نگیریم و نتوانیم جلو برویم.

و اما در مورد سوال دوم باید بگوییم که میزان زمان لازم برای انجام این تست تا وقتی ست که داده های بدست آمده، برای معیار موفقیت شما اهمیت آماری داشته باشد یا به عبارتی به جایی برسید که تفاوت ناشی از دوحالت مختلف تست ، نسبت به متریک های مربوطه را نتیجه شانس ندانید!

اما برای پی بردن به اهمیت آماری، شما بایستی از دو روش محاسبه بازه اطمینان یا پی – ولیو استفاده کنید. هر دوی این روش محاسبات پاسخ یکسانی را در مورد اینکه آیا یک نتیجه از نظر آماری معنی‌دار است یا خیر، می‌دهند، اما فاصله اطمینان اطلاعات اضافی در مورد رنج مقادیر ممکن به شما می‌دهد.

بازه اطمینان

فرض کنید می خواهیم میانگین قد دانش آموزان یک مدرسه را تخمین بزنیم. هرچه تعداد فرزندان بیشتری را اندازه گیری کنیم، محاسبه ما به میانگین واقعی نزدیکتر خواهد بود. فرض کنید ما 50 دانش آموز را به صورت تصادفی اندازه گیری می کنیم و گزارش میدهیم که میانگین قد این داشن اموزان با سطح اطمینان 95 درصدی برابر است با :

51 (inch) ± 3 (inch)

در واقع بازه اطمینان بیان میکند که که اگر 100 بار آزمایش تکرار شود و 100 نتیجه با سطح اطمینان 95 درصد ایجاد شود، 95 پیشامد شامل پارمتر جامعه خواهند بود و ممکن است 5 تا از پیشامد ها شامل میانگین جامعه مورد بررسی نباشند.

البته مدیران محصول تا این حد با اندازه بازه و .. کار نمیکنند. آنها بخش هایی از محصولات را تغییر میدهند و میپرسند که آیا تغییر ایجاد شده مثبت است یا منفی ؟

اگر تست شما بازه اطمینان 95 درصدی برای ثبت نام های 10% کاربران تا 12% کاربران را نشان میدهد این یعنی 95 درصد احتمال دارد تا واریانت B موجب افزایش ثبت نام ها در بازه 10% و 12% شود و این یعنی یک پیروزی ! اما اگر همین میزان اطمینان برای واریانت B بازه -12% و -10% باشد این به معنای شکست است.

اغلب، فواصل اطمینان ما از اعداد منفی و مثبت، مانند -4٪ تا 3٪ است. وقتی یک فاصله اطمینان شامل صفر باشد به چه معناست؟ یعنی ما نمی دانیم که این تغییر، به معیار موفقیت نزدیک است یا از آن دور میشود. از آنجایی که فاصله اطمینان صفر را نیز پوشش می دهد، تغییر می تواند منفی باشد – تا 4٪ ضرر – یا مثبت – تا 3٪ سود.

اگر دلایلی خارج از محیط آماری دارید و معتقدید تغییر ایجاد شده مثبت است، به عنوان مثال، مشتریان گروه بتا این تغییر را پذیرفته اند بنابراین ممکن است تصمیم بگیرید که تا 4 درصد ضرر برایتان مشکلی ایجاد نمیکند و کم کم  آماده نهایی سازی تغییر در محصول شوید.

حداکثر فاصله اطمینان میتواند نشانه یک برد، یک باخت یا بی تاثیر باشد. همانطور که در انجام آزمایش داده های بیشتری را جمع آوری میکنید، احتمال خطای بازه اطمینان کاهش میابد.

هر چه آزمایش را طولانی تر اجرا کنید، فاصله اطمینان بیشتر کاهش میابد ( یعنی محدوده مورد بررسی ما محدود تر میشود و دقت ما در هنگام آزمایش بیشتر خواهد شد.)

روش پی – ولیو

روش دیگری که امکان دارد در مورد ان شنیده باشید روش پی – ولیو است، در واقع این روش به عناوینی مکمل روش قبلی است و احتمال دیدن نتایج آزمایش در صورت شکست متریک مورد نظر شما را بیان میکند. بیشتر سازمان ها از 0.05 یا 5% به عنوان پی – ولیو استفاده میکنند که معادل همان بازه اطمینان 95% است.

مقدار پی – ولیو و بازه اطمینان مستقیما باهم مرتبط هستند؛ اگر مقدار پی – ولیو زیر 0.05 باشد، انتهای پایینی بازه اطیمنان 95 درصد بالای صفر است.

اکثر مدیران محصول ترجیح میدهند یک فاصله اطمینان را ببینند زیرا اطلاعات بیشتری در مورد بهترین و بدترین سناریو ها خواهد داد.

مراقب پی – هکینگ باشید.

اگر مراقب نباشیم استفاده از آن 5% پی – ولیو میتواند مارا به دردسر بیندازد.

فرض کنید در حال تست A/B برای آزمایش طراحی جدید محصولمان هستیم و متوجه میشویم که با اطمینان 95 درصد، استفاده از ویژگی چت اپلیکیشن افزایش یافته است. هم اکنون میتوانیم این بازه اطمینان را باور کنیم دیگر ؟ تا حدودی معنادار به نظر میرسد. جواب این سوال هم بله است و هم خیر ! اگر 95 درصد اطمینان داشته باشیم که تأثیر «واقعی» بوده است، هنوز 5 درصد احتمال وجود دارد که تأثیر تصادفی بوده باشد – یعنی با طراحی جدید ارتباطی نداشته باشد.

اکنون تصور کنید که ما داده ها را بررسی می کنیم تا تأثیر بالقوه بر ده ها ویژگی را بررسی کنیم – چت، نمایه های کاربر، جستجو، گروه ها، رویدادها، و…. اگر 5 درصد احتمال اشتباه بودن را بپذیریم، احتمال اینکه یکی از ده ها ویژگی، در سطح اطمینان 95 درصد تأثیر بگذارد، بسیار خوب است.

این همان چیزی است که به عنوان پی – هکینگ  شناخته می شود. این ماهیگیری از طریق دریای گل آلود داده های در قلمرو 5% شکست، است و  برای یافتن تأثیرات یا وابستگی ها این تست ران میشود. اگر به اندازه کافی ماهیگیری کنید، احتمالاً چیزی را پیدا خواهید کرد – فقط به صورت تصادفی نه به صورت قطعی !

امیدواریم ایده کلی را فهمیده باشید ! در واقع داریم میگوییم شما در بازه 5% احتمال شکست دارید پس اگر تا حد زیادی از موفقیت کارتان مطمئن هستید ویژگی های بیشتری را در روند تست درگیر کنید تا احتمال رخداد 5% شکست نیز به حداقل برسد.

اما راه حل برای پیاده سازی این ایده چیست ؟

در چند کلمه خلاصه میشود : روش مند تر عمل کنید !

ابتدا از قبل از روند شورع تصمیم بگیرید که چه متغیر هایی را باید بررسی کنید و توجه داشته باشید که متغیرهای زیادی را درگیر نکنید.

قدم دوم : اگر شما تاثیری از تغییر متغیر ها در فضای خارج از تست، پیدا کردید، داده ها دوباره آزمایش کنید و آنقدر اینرا اجرا بکنید تا از صحت نتیجه آن مطمئن شوید. اگر همچنان پابرجاست تبریک میگوییم شما یک تاثیر مثبت خارج از محدوده تست و اطمینان را پیدا کرده اید و این ارزش افزوده شما نسبت به رقبایتان است.

آمارها و تست ها

1- تست ها را برای مدت زمان طولانی تر جهت کسب تاثیرات عمیق اجرا کنید.

2- متریک هایی که از لحاظ آماری زیاد قابل توجه نیستند را ایگنور کنید.

3- هر چه که تست هارا بیشتر ران کنید و متریک ها را لحظه به لحظه بازبینی کنید احتمال اینکه داده خوب خارج از محدوده تست، کشف کنید بیشتر است.

4- متریک های محلی محصول همچون تعداد کلیک برروی یک آیکون خاص تغییرات بیشتری نسبت به متریک های موفقیت کلیدی همچون ریتنشن دارند.

اقلام کلیدی و ضروری که باید بدانید

1- متریک های موفقیت کلیدی محصول، ظاهری از استراتژی محصول هستند.

2- از داده ها برای کامل کردن تحقیقات مربوط به کاربران استفاده کنید.

3- تصمیم هایتان را فقط بر مبنای داده ها بگیرید.

4- در انجام تست ها زیاده روی نکنید.