AB Test 介紹

首先，先為不知道 AB Test 的讀者介紹，什麼是 AB Test？

AB Test 是一個統計實驗方法，特色是短時間內的單變量測試。

這種實驗方法在很多地方都可以看見，不管是網站優化、廣告優化、產品優化等，都有它的蹤跡。

常見的例子

或許大家都有聽過 youtuber 在發布影片時，會在預覽圖放上兩種（A、B）不同的預覽圖，對隨機用戶進行測試。

每個用戶看到這部影片時，封面預覽圖是隨機出現的，為 A 或 B 其中一個預覽圖。

在影片播出一段時間後，保留點閱率最高的那個預覽圖。

這就是一個簡單的 AB Test。

如果兩個預覽圖點閱率只差 1% 呢？點閱率比較高的預覽圖一定比較好嗎？

如果你有想過這個問題，那你可以考慮使用更嚴謹的 AB Test。

８個步驟做好測試

1. 定義問題：我要優化什麼？
2. 建立虛無假設檢定：將原方案當作 A，測試方案當作 B，且希望 B 能推翻 A。
3. 定義優化指標：定義待優化項目的優劣判斷指標，必須可量化。
4. 有效性檢驗：檢視是否在測試過程中存在雜訊或偏誤。應早於 AB Test，或在測試當下區隔一些流量來進行。
5. 進行測試：同時間進行測試，一次只變動一個項目（單變量），測試受眾必須完全隨機。
6. 檢視顯著性：檢視測試結果在統計學上是否有「顯著」的差別。以上述例子來說，1% 的點閱率可能在統計學上是沒有顯著差別的。
7. 決定是否採用新方案

短處

1. AB Test 不能套用在需要長時間測試的項目。 因為過程中可能會有更多的環境因素變化，造成實驗的不準確。
2. 必須是可量化的項目，譬如點閱率、成本、購買次數等。 在無法量化的情況下，很難去比較孰優孰劣。