全國電子音樂交流中心

江苏快三遗漏号码天数:科普 | 萌新求教,A/B測試……怎么玩?

云測數據2020-03-05 12:52:55

江苏快三开奖跨度查询 www.mhsslm.com.cn 譯按:在美國,AB測試的重要性早已深入人心,而在國內,許多產品和運營的同學還在保持觀望,處于想要了解,卻又不知道如何入手的階段。最近,我們翻譯了一篇較為成熟的入門指導,希望可以作為新手教程引導你更多的理解這個工具。


如果,你想嘗試這個工具,可以從文末的活動通告中進一步了解。



A/B測試是一個絕妙的方法:它能為你的業務找到最佳的在線促銷策略和營銷戰略。不管是網頁編輯還是電子郵件營銷(EDM),亦或是應用商店中的搜索廣告,各種內容都能交給它來測試。并且,A/B測試帶來的優勢足以抵消做測試所花費的額外時間。


一個精心策劃的A/B測試可以在市場運營工作的有效性方面發揮巨大的作用。探尋促銷活動中最有效的驅動因素,然后將它們結合起來,顯然可以使市場運營工作更有利可圖,更有把握成功成功。


如何策劃一個A/B測試?




在規劃A / B測試時,首先需要弄清楚你想要測試的內容是什么。如果你要測試某個H5頁面的轉化能力,就需要考慮網頁上所有與銷售相關的元素,然后找出你要測試的具體變量。具體,是指什么?且往下看。


你也可能正在測試你的活動廣告或營銷電子郵件:為了使你在做活動宣傳時更加高效,你需要對活動文案、圖片選擇、排版設計等進行A/B測試以查看哪個方案能帶來更多轉化。EDM也是一樣。假設給你的潛在用戶列表發送兩個版本的EDM,然后通過收集反饋來判斷哪一個版本能帶來更多的轉化,那么你在下一次搞EDM的時候就可以只發送這個效果好的版本了。


當你清楚地知道你將要測試什么,你就可以列出所有要測試的變量。例如,如果要測試行為召喚(Call to Action),則可以列出:

行為召喚的位置;

使用的文字;

按鈕顏色或與其他元素之間的間距;

A/B測試是一個過程。在做出最終決定或最終更改之前,常常需要進行多次的A/B測試。


需要確保的是,在開始測試前你就應當對你所要探尋的結果有一個清晰的思路:必須表現的更好。你可以把當下已有的成果(就好比是“原版本”)當做你的對比標準。當你有了新的想法——姑且叫點子A和點子B——不知道該怎么取舍,那就在A和B之間做個測試。但你必須確認,無論哪一個新點子在測試中表現得出色,都需要比你當前已有的成果(沒有加入新點子的原版本)更好才行。當然,最好是把幾個版本:沒有改變的原版、加入點子A的版本A和加入點子B的版本B放在一起測試。


需要注意的是,各個測試需要同時運行,以規避時間變化引起的差異。由于你無法預計一個變量在今明兩天之間發生的改變,因此你不能在今天測試版本A而明天測試版本B。相反,在同一時刻下,你需要將流量分開來觀察不同版本的表現。這一點,目前的第三方A/B測試工具都能做到。


用A/B測試改變你的預算



精確的A/B測試可以對你的預算產生巨大的影響。通過發起受控制的測試和收集各類經驗數據,你可以確定哪些營銷策略對公司或產品最有效。


例如,眼下有兩個版本,可能你和你的團隊都覺得版本A應該發揮的比B好,可是當你通過測試發現一個小小的差異使得版本B比“我覺得ok”的版本A多了二,三,甚至四倍的增長時,沒有測試就貿然決定使用什么版本的想法似乎就顯得有點荒唐了。


譯按:關于這種依靠“我覺得ok”的想法來拍腦瓜決定版本的事兒,這里有個經典案例:

《這樣更新竟然降低了42%的下載量?》


如果有證據支持某個版本有效,而另一個版本不起作用,那么要做出決策毫無疑問會更加容易。并且這意味著你可以從一開始就選定更有效的方案從而大幅度消減預算。你唯一需要注意的就是要經常進行測試,因為任何事物的有效性都會隨時間而變化。


需要測試的事兒


你幾乎可以測試元素中的所有內容:標題,行為號召,圖像等。只要你能改變它,你就能測試她。但這并不意味著你應當花費數月時間來測試每一件小事。相反,專注于那些最有可能產生重大影響的事情。因為如果你寄希望于事無巨細都用A/B測試來制定出一個最完美的版本,那將會耗費難以計數的時間。


在編輯的網頁、網站上,這可能包括:

標題;

你的行為召喚(Call to Action);

與銷售工作直接相關的任何圖形圖像;

文案或產品說明;

在一封電子郵件中,需要測試的事兒同上面差不多。在廣告中,特別是應用商店中的搜索廣告中,受到篇幅限制只能放上更少的內容,因此測試可能集中在主標題或價格上。


測試不同的優惠也很重要。這有一個前提:確保你有方法讓每個人總是被提供相同的促銷。例如,如果A組提供免費禮物,并向B組提供折扣,那么你要使A組總是包含相同的訪問者,B組也是如此。


給測試點兒時間


A/B測試并不是一蹴而就的。根據你所能獲得的流量,你所需要的測試時間可能從幾天到數周不等。


測試時間不足可能意味著不準確的結果,因為你缺少足夠大的樣本容量來保證統計學的準確性。但測試時間太長也可能會產生不可信的結果,因為隨著測試時間增長,不可控因素會越來越多從而影響實驗。故而,你或者你的數據分析師應當了解任何可能影響測試結果的內容,以便當查看結果時可以對出現的統計異常做出解釋。當然,針對無法解釋的異變,重新進行A/B測試是完全可以的——這可能需要再花費幾周時間來得到正確的反饋,但是考慮到A / B測試可能對您的預算造成的影響,再次測試是值得的。切記,一次只測試一個變量,并給每個測試足夠的時間運行。


譯按:當然。并不是所有情境都允許你這么搞。如果你發現,由于流量不夠多,做完各個測試將要耗費過多的時間,那么我們推薦你試試流量分層機制。關注我們并回復“流量分層”即可了解這一機制。


可否同時測試多個變量?


這個問題有兩種理解。


第一。假設你只想測試你的標題,但是你有三個點子。在這種情況下,運行單次測試并將您的訪問者(或電子郵件中的收件人)分為三組而不是兩組是合理的,并且這仍然被視為A/B測試。這可能需要額外的幾天來運行測試,以便收集足夠的數據來保證結果的準確性。


譯按:實際上,AB測試并不意味著一個實驗一定就只能測試兩個版本。對于大部分App而言,由于流量和時間的限制,無法慢慢給大量變量挨個兒做實驗。因此在提高指標(比如轉化率、增長、點擊率等等)這一目標面前,直接同時測試多個版本以找到做的最好的版本才是常見的方案。


如果想嘗試一下的話,可以翻到文末,通過活動通告了解更多。


第二。一次測試一個以上的元素——比如標題和按鈕——那么這就是一個多變量測試,運行更復雜。有很多資源用于多變量測試,但是在談論A/B測試時將不會介紹。


譯者:作者的話到這里就結束了,但是這并不代表我們沒有辦法解決多變量同時測試的問題。實際上,使用同層互斥能力,這將輕松解決。在 揭開Testin A/B測試流量層的神秘面紗》一文中,我們就結合情境詳細分析了處理辦法,點擊上面的這個標題,即可查看。


來源 |?Kissmetrics Blog

?

作者 |?Kissmetrics官方


譯者 | 一顆糯米


原標題 | 《A Beginner’s Guide To A/B Testing: An Introduction


關于我們


Testin A/B測試——Testin的又一力作,是業界首家提供可視化測試、實時數據處理和私有化部署能力的A/B測試產品。作為數據驅動增長的堅定實行者,Testin A/B測試秉承“客戶價值第一”的Testin公司理念,在保障客戶數據準確性與客戶數據實時性方面遠超同行。


—活動通告—

云測數據公眾號正式上線

現在關注公眾號(點擊文章頂部的“云測數據”或者長按底部二維碼以后選擇“掃描圖中二維碼”即可關注)并回復“我要申請”,點開鏈接,在彈出的表單中完整填寫、提交并成功通過審核即可獲得價值 10000 元的Testin A/B測試30天免費試用資格一份。


關注獲取更多A/B測試干貨

云測數據 | 讓我們從數據運營實戰開始

微信號 : testindata

郵箱:[email protected]

地址:北京市朝陽區酒仙路52號東方科技園4號樓云測大廈