徹底的設(shè)計改版最好使用A/B測試來驗證，而MVT（多變量測試）則表示不同的UI元素之間是如何相互影響的，并支持對設(shè)計的漸進式改進。

在優(yōu)化設(shè)計的方法中，A/B測試受到了廣泛的關(guān)注。MVT（多變量測試）是A/B測試的一種替代方法，但大家對這種方法的了解并不多，通常認(rèn)為這種方式太耗時不值得等待。 雖然多變量測試有其局限性，但是它的很多優(yōu)點是AB測試無法比擬的。

一、多變量測試（MVT）

假設(shè)你要優(yōu)化一個線上的產(chǎn)品詳情頁，目的是大幅提升用戶將產(chǎn)品加入購物車的轉(zhuǎn)化率，你要考慮到以下幾個可能的變化：

1. 使用產(chǎn)品視頻代替產(chǎn)品圖片；
2. 將主要操作按鈕的文案從“立即購買”更改為“添加到購物車”。

多變量測試可以幫助你確定在多個設(shè)計優(yōu)化方案中，哪幾個方案組合起來對于轉(zhuǎn)化率的效果最好。

首先，我們來解釋一些術(shù)語

（1）變量

一個存在多種設(shè)計方案的UI元素（如圖片或標(biāo)題）；在我們的電商示例中，變量是產(chǎn)品的視覺展示和操作按鈕的文案。

（2）變體

變量的各個設(shè)計版本；產(chǎn)品圖像和產(chǎn)品視頻代表了視覺展示變量的兩個變體：“添加購物車”和“立即購買”文案是操作按鈕的變體。

（3）變化

最終設(shè)計包含每個變量的變體，以便與其他變化進行比較；在我們的例子中，將有4個設(shè)計變化，對應(yīng)于變量變體的所有可能的組合：圖片×加入購物車，圖片×立即購買，視頻×加入購物車，視頻×立即購買。

定義：多變量測試（MVT）是一種設(shè)計優(yōu)化方法，在用戶界面中測試多個指定變量的變體，目標(biāo)是最大化提升轉(zhuǎn)化率（主要的轉(zhuǎn)化，比如完成一個訂單，或者微轉(zhuǎn)化，比如與頁面上的一個功能交互）。這種方法能確定變體的哪種組合會產(chǎn)生最高轉(zhuǎn)化的設(shè)計方案（就指定的轉(zhuǎn)化目標(biāo)而言）。

在多變量測試中，測試了2個或多個設(shè)計元素（變量）。其中每個變量都可以有多個變體。例如，在上面的頁面中，我們可以測試2個變量：產(chǎn)品的視覺展示（有2種設(shè)計變量：圖片和視頻）和主要操作按鈕的文案（有2種變體：“立即購買”和“加入購物車”）。

二、多變量測試（MVT）與A/B測試的區(qū)別

多變量測試通常被認(rèn)為是A/B測試的一種類型，盡管它的設(shè)置和強度有些不同。以下是他們之間的相似點和不同點：

（1）這兩種方法的測試原理類似，都是通過將線上網(wǎng)站（或應(yīng)用程序）中的流量，拆分并引導(dǎo)到有差異的頁面來測試其中的不同。

（2）針對某個具體的設(shè)計目標(biāo)，兩種方法都可以用來衡量哪種設(shè)計方案（即，變化）可以產(chǎn)生最高轉(zhuǎn)化率。

（3）在A/B測試中，被測方案可能不會僅僅是一些小的細(xì)節(jié)變化，而是完全不同的兩種方案對比。例如，你可以有兩個布局完全不同的頁面、不同的副本、不同的導(dǎo)航、不同的視覺設(shè)計等等。A/B測試的結(jié)果將表明，一個變化的性能優(yōu)于另一個，但是你將不知道這是因為你的副本更好，視覺設(shè)計更好，還是布局更好（或者整體效果更好）。

相反，如果使用多變量測試，你可能總會將功勞歸于一個特定變體或變體組合。 因此，舉例來說，你可能會發(fā)現(xiàn)，產(chǎn)品視頻在轉(zhuǎn)化過程中所產(chǎn)生的影響要比更改操作按鈕文案的效果要好得多，這會為你提供進一步的策略和設(shè)計見解（例如，它可能會告訴你投資優(yōu)秀產(chǎn)品視頻制作是值得的）。

三、多變量測試（MVT）測量元素之間的相互作用

讓我們回到一開始的電商示例。你可能想知道，兩個連續(xù)的A/B測試是否會產(chǎn)生與多變量測試相同的結(jié)果。具體來說，我們假設(shè)你先運行A/B測試來比較視頻與圖片 – 假設(shè)視頻獲勝。接下來，在獲勝的變更（即視頻）上，你可以在兩個可能的按鈕文案之間運行另一個A/B測試，并且證明“立即購買”的文案更好。難道這個結(jié)果不等同于多變量測試嗎？

答案是：不一定。因為可能是這樣一種情況，最佳組合可能是：圖片×立即購買，但是你并不會測試該版本。

使用多變量測試（而不是A/B測試）的主要優(yōu)點是：能夠確定頁面上的各種元素之間是如何交互的。只有通過測試各種變體的每一個組合，你不僅可以發(fā)現(xiàn)視覺A的性能優(yōu)于視覺B，而且C按鈕的性能優(yōu)于按鈕D，而且你還可以發(fā)現(xiàn)這些變體的最佳組合。

四、多變量測試（MVT）的局限性

每種變化組合產(chǎn)生的變體會像兔子一樣繁殖。即使在非常簡單的電商示例中也有4種設(shè)計變化可供比較，它們對應(yīng)兩個2個變量之間的所有可能的組合。為操作變量（例如，購買）添加另外1個變體可能會產(chǎn)生另外2個變化 ，這2個變化是通過將此變體與直觀表示變量的2個變體組合而生成的。 （一般來說，變化的數(shù)量是將每個變量的變體數(shù)量相乘而獲得的；所以，如果你有2個變量，這兩個變量有3個變體，則會得到2×3=6個變化。）

有2個變量，每個變量都有2個變體，在多變量測試中就會有4個用以表示這些變體的所有可能組合的設(shè)計變化。

（1）在多變量測試中，需要測試的大量變化導(dǎo)致了該方法的最大局限性：與A/B測試相比，運行多變量測試通常需要更多的流量，才能達到統(tǒng)計意義。這是因為添加到比較中的每個變化都會導(dǎo)致實時流量被分成更小的部分，因此，為每個設(shè)計選項收集足夠的數(shù)據(jù)點也需要很長的時間。（然而，請記住，運行測試所需的時間不僅取決于總體流量，而且還取決于實驗?zāi)繕?biāo)轉(zhuǎn)化率的預(yù)期變化，因為更大的改進比微小的差別更容易衡量。）通常，在更多的變化中分割實時流量會導(dǎo)致測試時間過長。

（2）MVT（多變量測試）的另一個限制是，所有變體的組合必須在一起才有意義。?例如，在頁面上測試一張圖片和一個標(biāo)題的變體時，請勿寫出涉及圖片變體細(xì)節(jié)的標(biāo)題（例如“美妙的溫泉度假”與“美妙的海灘度假”以及相應(yīng)的照片）， 因為每個標(biāo)題都會在一個變更中同每張圖片進行測試。 這種類型的實驗最好設(shè)置為A/B測試，這樣可以更好地控制組合。

使用多變量測試來優(yōu)化設(shè)計，而不是完全改變它。

多變量測試是對設(shè)計進行漸進式改進的好方法，而不是對設(shè)計進行大規(guī)模重新設(shè)計的好方法。?因為它要求你識別頁面上某些感興趣的元素，以測試該變量的多個變體，所以你無法輕易地比較各種變化中的根本變化。

對于主要的設(shè)計優(yōu)化，要在原始版本和提議的新版本之間運行A/B測試以找出哪個更好。然后，使用多變量測試來優(yōu)化獲勝設(shè)計的各種元素。始終保持迭代！

五、得到啟示

如果你的目標(biāo)是進行實質(zhì)性的重新設(shè)計（比如重新設(shè)計主要的布局），那么使用A/B測試來比較這個新設(shè)計和當(dāng)前的設(shè)計，會比MVT（多變量測試）更合適。一旦發(fā)現(xiàn)性能更高的設(shè)計，就可以使用多變量測試來進一步優(yōu)化獲勝布局中的特定元素。

原文作者：Aurora Harley

原文地址：https://www.nngroup.com/articles/multivariate-testing/

#專欄作家#

熊貓小生，微信公眾號：MUXDesign，人人都是產(chǎn)品經(jīng)理專欄作家。高級交互設(shè)計師，UED負(fù)責(zé)人。關(guān)注互聯(lián)網(wǎng)C端產(chǎn)品設(shè)計相關(guān)，擅長移動端產(chǎn)品交互設(shè)計，前沿設(shè)計風(fēng)格探索，設(shè)計流程優(yōu)化和管理，歡迎交流~

本文翻譯發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可，禁止轉(zhuǎn)載。

題圖由譯者提供