Day 251#數據分析#轉換優化#電商

A/B 測試規劃器:開測之前,先算這題要跑幾天才有答案|AI101 Day 251

A/B 測試開了才發現流量不夠,跑一個月兩條線還在拉鋸,是很多小品牌的日常。A/B 測試規劃器在開測之前,用每日訪客數、目前轉換率、最小可偵測提升和信心水準,算出每組樣本、總計樣本與測試天數,超過 90 天會提示怎麼調整,再依你要測的標題、主圖、價格、文案或 CTA 給測試方向,讓你先知道這題值不值得測。

📖 約 6 分鐘閱讀2,657 字2026/11/17

主圖要拍白底還是情境照,這題我被問過很多次。最近一次是一個自家烘焙咖啡豆的品牌主,他說想做 A/B 測試,兩張圖各放一半流量,跑一個禮拜看哪張賣得好。我沒先回答哪張比較好,先跟他要三個數字:這個商品頁一天大概多少人看、現在的轉換率多少、兩張圖要差多少他才覺得值得換。他回我一天 300 人左右、轉換率 1.5%,差距的話「有差個 10% 就很好了」。我把這幾個數字填進 A/B 測試規劃器,測試天數那格跳出 722 天,紅字。

他第一個反應是工具壞了。沒壞,是 1.5% 的轉換率要看出 10% 的相對提升,也就是從 1.5% 變成 1.65%,兩組各要十萬多人才分得出來,一天 300 人要跑將近兩年。把差距改成 30%,天數降到 88 天,工具判定可以執行,可是 88 天會一路跨過雙 12 跟年底,數據很難乾淨。最後他決定主圖先不測,把力氣留給改動比較大的東西。

這種坑很常見:兩種標題各放一半流量,跑了快一個月,兩條線一直交錯,最後誰也沒贏。事後補算才知道,那個流量要分出想看的差距得跑好幾個月,測試沒有失敗,是一開始就沒算過該不該這樣測。我的經驗是,多數人卡住不是因為不會判讀,是開測之前沒算。這支工具就是開測之前用的;測完要判斷算不算贏,再交給 AI101 Day 186 的 A/B 測試結果解讀器,一前一後剛好接起來。

這個工具能做什麼

左邊是「測試參數」,一共五項。第一項是測試目標,五選一:商品標題、商品主圖、商品價格、文案描述、CTA按鈕。接著三個數字欄:每日訪客數(填商品頁日均流量)、目前轉換率(下單或加購率,單位是 %)、最小可偵測提升(你希望偵測出多少 % 的差異)。最後是信心水準,三個按鈕:90% 標註快速驗證、95% 標註業界標準、99% 標註高度確信。檢定力不用選,固定 80%,會寫在結果下方的計算參數裡。

這裡最容易填錯的是最小可偵測提升,它是相對提升,不是百分點。目前轉換率 2.5%、填 20%,意思是要看出 2.5% 變成 3.0% 的差距,結果頁的「目標 CVR」會直接顯示 3.00%,「最小效果量 (MDE)」會顯示 0.500%,填完對一下就不會搞混。

數字填齊,右邊即時算出四張卡:每組樣本、總計樣本(A 加 B 兩組)、測試天數、目標 CVR,不用按按鈕。往下有一條測試時間軸,把天數切成暖身期、測試期、分析期。暖身期大約是測試天數的前 15%,用來確認追蹤正常、排除異常流量;測試期提醒你持續收數據、不要提前看結果下結論;分析期是測完後的三天,檢查顯著性、決定要不要採用勝出的版本。

再往下是可行性評估。天數在 90 天以下顯示「可執行」,超過 90 天會變成「需調整」,並列出四個方向:把最小可偵測提升提高到 30% 到 50%、把信心水準降到 90%、透過廣告導流增加日訪客、改測價格或主圖這種影響比較大的目標。最下面是依你選的測試目標給的四條測試建議,例如選商品價格,會出現尾數效應($999 vs $990)、原價劃線這些方向;另外有一組 A/B 測試黃金法則:一次只測一個變數、不要偷看結果、避開特殊時段、記錄一切。整份計畫可以按「複製計畫」帶走,計算用的公式也印在頁面上,想自己驗算的人看得到。

不確定怎麼填,可以先按「載入範例」:商品標題、每日 500 人、轉換率 2.5%、提升 20%、信心水準 95%,算出來每組 16,794 人、總共 33,588 人、要跑 68 天。光是範例就要兩個多月,這件事本身就很值得想一想。工具要先免費登入,純計算,不消耗 AI 額度。

為什麼這件事值得做好

我覺得多數小品牌的 A/B 測試,問題不在判讀,在根本沒先算過流量夠不夠。商品頁一天幾百人、轉換率落在 1% 到 3%,這樣的條件要分出 10% 的差距,規劃器算出來動輒半年以上。沒算就開測,跑一兩週看哪邊高就換,換掉的其實是雜訊,然後團隊會把「情境照比較好」當成已經驗證過的結論,下一季整批商品都照著拍。

第二個代價是機會成本。測試期間有一半的流量放在可能比較差的版本上,測得越久,這筆成本越高。一個跑不完的測試等於一直在付錢,卻永遠拿不到答案。

第三,這張表會逼你把差距跟流量放在一起看。同樣是一天 300 人、轉換率 1.5%,最小可偵測提升填 10% 要 722 天,填 20% 要 189 天,填 30% 要 88 天,填 50% 剩 35 天。差距要求放寬一點,天數不是少一點,是整個量級往下掉。這也是為什麼我會勸小流量的店先別測按鈕顏色這種細節,我的經驗是這類改動的差距多半不大,流量撐不起來;要測就測價格呈現、主圖風格、整段文案的切角,這種有機會差到三成以上的改動。

幾個實際建議

第一,每日訪客數填「這個頁面」的流量,不是全站。全站一天三千人,單一商品頁可能只有三百,填錯會讓天數少算一個量級。目前轉換率也要先講好是下單還是加購,而且要跟測試期間追蹤的指標是同一個,不然算出來的樣本數對不上你最後要看的數字。

第二,最小可偵測提升當成生意問題來想,不是統計問題。問自己:差多少,我才願意花錢重拍、重做頁面?答案是 30% 就填 30%,不要為了看起來嚴謹填 5%。天數跳紅字的時候,我會先照工具的建議換一個影響比較大的測試目標,或用廣告把流量拉上來,把信心水準降到 90% 放在最後,因為那等於接受比較高的誤判機率。

第三,把天數排進日曆再開。測試天數加上分析期的三天,往後數一遍,看有沒有撞到大促。現在離雙 12 不到一個月,一個要跑 40 天的測試今天開,中間一定會撞到檔期,黃金法則寫的避開特殊時段就是這個意思。我自己的習慣是把天數補到滿整週,讓平日跟週末的流量都進得來。

第四,開測前按「複製計畫」,把測試目標、目前轉換率、最小可偵測提升、預估天數貼進團隊群組或 Notion。這等於先把規則寫好,中途有人想偷看、想提早喊贏,翻出來對一下就好。跑完再把兩組的訪客數和轉換數拿去 A/B 測試結果解讀器判讀,前後的標準才會一致。

小結

A/B 測試最常見的浪費,不是測輸,是測了一個從一開始就不可能有答案的題目。開測前花一分鐘填五個欄位,你會知道這個測試要多少人、要跑幾天、值不值得跑。天數跳紅字也是好消息,它幫你省下一個月的空轉,把流量留給真的會有差的改動。

這篇有幫助嗎?

立即使用:https://ecom.atmarketing.tw/ab-planner

立即實際體驗 A/B 測試規劃器|開測之前先算要跑幾天

加入 AI101 挑戰平台,解鎖這個工具並拿到實用範本與教學。

❓ 常見問題

最小可偵測提升要怎麼填?

它是相對提升,不是百分點。目前轉換率 2.5%、填 20%,代表要偵測出 2.5% 變成 3.0% 的差距,結果頁的目標 CVR 會顯示 3.00%。填得越小,需要的樣本越多,建議填「差這麼多我才願意改版」的幅度。

測試天數超過 90 天怎麼辦?

可行性評估會變成「需調整」,並列出四個方向:把最小可偵測提升提高到 30% 到 50%、信心水準降到 90%、用廣告導流增加每日訪客,或改測價格、主圖這類影響比較大的目標。改完數字會即時重算。

這個工具會幫我判斷測試結果誰贏嗎?

不會,它是開測之前的規劃工具,算的是樣本數、測試天數和可行性,檢定力固定 80%。測完要判斷差距算不算顯著,把兩組的訪客數與轉換數拿到 AI101 的 A/B 測試結果解讀器。工具要免費登入,純計算不耗 AI 額度。

同分類的其他指南