A/B测试和多变量测试的差别
A/B测试和多变量測试是最常用的两种网站测试办法。懂得两者之间的差异、它们的优缺陷以及何时应用它们很主要。两种测试办法的焦点差异是,多变量测试许可你同时测试多个元素,比A/B测试更简略、更快速。
(1) A/B测试
A/B测试是最简略的网站测试类型.平日也最轻易设置。是以,很多网站測试新手都起首进修和应用它。这种根本測试情势在任何测试对象(不管何种级别)中都可以运行下面是在优化工作中应用用A/B测试的长处和缺陷。
长处:这类测试对于測试专业常识较少的人,或者只须要一次测试页面上的一个元素以比拟两个分歧页面变量的机能时很幻想。对于运行根本的反复測试,懂得多变量测试中的获胜元素是否真正胜过掌握版本的情形也很幻想。因为这种測试平日不太庞杂,所以获得显著的测试成果并肯定胜者所须要的流量比多变量测试少。
缺陷:假如你测试一个包括分歧元素(例如,分歧的题目、图片以及行为号令)的的全新页面,将其与当前版本比拟,就无法肯定新页面的哪些元素对转化的影响最年夜。这是为这种测试只能測量全部页面的机能,而不是页面某个部门。进行这种测试还可能导致推出对转化略有负面影响的元素。测试页面上很多元素可能消费许多的时光.,因为每个页面元素在幻想状态下须要零丁的A/B测试。
年夜部门在线营销人员都从应用这种更简略的测试情势开端,然后再进化到更庞杂的测试类型,如多变量测试(下面将做解释)。图2.8展现了一个例子,两个分歧作风的页面在A/B测试中进行比拟,它们的模块结构、横幅和图片都分歧 。
(2) 多变量测试
多变量测试(MultiVariateTest.MVT)设计用于以更快的速度和更好的易用性同时测试多个页面元素。
为了赞助你更快地测试多变量測试中元素的数百种分歧组合,年夜部门测试对象应用田口统计办法(也称作部门因子测试)来提出代表性的测试内容组合样本,而不是测试所有组合。
有些对象(如Google网站优化器)现实上同时测试所有分歧的组合(叫做全体因子测试),然则这须要异常高的流量和较长的周期能力获得明显的测试成果。有些对象可以选择应用这两类多变量办法。
下面是在优化工作中应用MVT的长处和缺陷:
长处:这些测试异常合适于在一个页面或者一系列页面上同时测试很多元素。这种测试的另一个重要长处是可以或许肯定哪些元素对晋升转化有最年夜的进献,从而赞助你懂得将来须要测试的页面元素
缺陷:因为须要很多分歧的测试组合,所以多变量测试平日基于测试版本组合(称称为配方Recipe)的采样(部门因子).这可能导致你漏掉某些可能最佳的元素组合。有些专家甚至疑惑应用部门因子办法测试的有用性,但荣幸的是,有些办法可以或许战胜这一问题。另一个问题是获得成果所需的流量程度往往高于AB測试,特殊是在一次测试4个以上的页面元素时。
图2.9展现了可以在网站设计多变量测试中同时测试的两个页面元素组合(每个模块用分歧的字母标注).测试可以找出表示最佳的元素组合 。