След дълъг процес на проучване и разработка днес официално представям AGILE A/B Testing - нов статистически подход за A/B и MVT тестове, водещ до значително (до 80%!) подобрение на ефективността и оттам – на възвращаемостта им.     Цялата методология съм описал в white paper (46 стр.), който разпространявам безплатно. Заедно с пейпъра пускам и софтуерен инструмент: AGILE A/B Testing Calculator, с който AGILE метода може да се прилага лесно и бързо.   Някои от основните предимства на AGILE подхода са:  

• До 80% по-бързи тестове, сравнено с традиционни за индустрията подходи
• Правила за ранно спиране както за позитивен ефект, така и при малък шанс за позитивен ефект
• Гъвкавост в извършването на анализ и оценка на данните

  По-бързи онлайн експерименти означава по-бърз процес като цяло, включително по-бързо имплементиране на доказаните победители. Статистически издържани правила за ранно прекратяване на експеримента поради малка вероятност от засичане на подобрение от посочено минимално ниво е нова функционалност в индустрията за онлайн експериментиране. С нея експерименти с много слаби текущи резултати могат да бъдат спирани бързо, а ресурсите за провеждането и наблюдението им могат да се пренасочат към по-обещаващи тестове.   Гъвкавостта да се извършват междинни анализи на данни при постъпването им, при запазване на контрола върху толеранса за грешка е високо търсено от повечето експерти по А/Б тестове. Огромно предимство е, че статистическия метод и бизнес процеса са добре напаснати, така че не се налага да се прави компромис с едното или другото.   Взети заедно, горните предимства водят до значително подобрение на възвращаемостта на инвестицията от всякакви А/Б или мултивариативни експерименти, провеждане по AGILE подхода.   Надявам се разработката да е интересна и полезна на всички колеги, занимаващи се с оптимизация на конверсиите (CRO), оптимизация на потребителското преживяване (UX), оптимизация на целеви страници (LPO) и имейл темплейти и т.н.   Elevator pitch video: https://www.youtube.com/watch?v=K8yHaXwXW4Y   Блог постинг с по-подробно описание на AGILE подхода: http://blog.analytics-toolkit.com/2017/improved-roi-ab-testing-agile-statistical-method/