Sample Size Calculator: A/B Test ของคุณต้องการผู้เข้าชมกี่คนกันแน่?

ทีมที่รัน experiment แทบทุกทีมต้องเคยเจอกับดักเดียวกัน: ทดสอบไปได้สี่วัน variant B กำลังนำ p-value แตะต่ำกว่า 0.05 ชั่วขณะหนึ่ง แล้วมีคนประกาศว่าชนะแล้ว การหยุด A/B test ทันทีที่มัน "ดูเหมือน significant" เป็นวิธีที่แน่นอนที่สุดวิธีหนึ่งในการส่งมอบสัญญาณรบกวน (noise) ขึ้น production ผู้ชนะที่คุณฉลองมักเป็นแค่ความสุ่มในช่วงต้น และ lift นั้นจะเลือนหายไปอย่างเงียบ ๆ ในสัปดาห์ถัดมา

ทางแก้ฟังดูไม่หวือหวาแต่ทรงพลัง: กำหนดจำนวนผู้เข้าชมที่แต่ละ variant ต้องการ ก่อน เริ่มทดสอบ แล้วปล่อยให้ทดสอบไปจนถึงตัวเลขนั้น ตัวเลขนี้ขึ้นอยู่กับ baseline conversion rate ของคุณ lift เล็กที่สุดที่คุณสนใจจะตรวจจับ และความเสี่ยงที่คุณยอมรับได้หากตัดสินผิด เครื่องมือ Sample Size Calculator ฟรีจะแปลงค่าเหล่านี้เป็น sample size ต่อ variant ที่ชัดเจนภายในไม่กี่วินาที โดยทำงานทั้งหมดในเบราว์เซอร์ของคุณ

บทความนี้จะพาไปดูสี่ input ที่กำหนดผลการคำนวณ พร้อมตัวอย่างการคำนวณแบบละเอียดที่คุณใช้ตรวจสอบได้ และแนวปฏิบัติที่แยก experiment ที่เชื่อถือได้ออกจากการโยนเหรียญที่แพงที่สุดในชีวิต

ทำไมต้องใช้ Sample Size Calculator?

• ป้องกันชัยชนะก่อนเวลาอันควรที่แท้จริงคือ noise การหยุดทดสอบเร็วเพราะดูเหมือน significant ทำให้อัตรา false positive พุ่งสูงอย่างมาก การรู้ sample size ที่ต้องการล่วงหน้าให้เส้นชัยที่คงที่ ให้ข้อมูลตัดสินผลแทนความกระตือรือร้น
• บอกตั้งแต่ต้นว่า experiment นี้ทำได้จริงหรือไม่ ถ้าการตรวจจับ lift แบบ relative 10% ต้องใช้ผู้เข้าชม 210,000 คนต่อ variant แต่หน้าเว็บคุณมี traffic แค่ 4,000 ต่อเดือน การทดสอบจะกินเวลาหลายปี เรียนรู้เรื่องนี้ตอนวางแผนถูกกว่าเรียนรู้หลังทดสอบไปสามสัปดาห์เสมอ
• เปลี่ยนคำถาม "จะใช้เวลานานแค่ไหน" เป็นเรื่องคณิตศาสตร์ หาร sample size ที่ต้องการด้วย traffic ต่อวัน คุณก็ได้ระยะเวลาที่สมจริง ทำให้แผน experiment น่าเชื่อถือขึ้น
• ถ่วงดุลระหว่างความเร็วกับความเสี่ยงอย่างชัดเจน significance level และ power ช่วยให้คุณระบุล่วงหน้าว่ายอมรับการเปิดตัวสิ่งที่ไม่ได้ผลบ่อยแค่ไหน และเสี่ยงพลาดการปรับปรุงที่เกิดขึ้นจริงบ่อยแค่ไหน
• ไม่ต้องเดาแบบกล่องดำ หลายแพลตฟอร์มซ่อนคณิตศาสตร์ไว้ การคำนวณ sample size เองด้วยเครื่องมือโปร่งใสทำให้การวางแผนยึดกับสถิติจริง
• ข้อมูลสำคัญเป็นส่วนตัว เครื่องมือทำงาน 100% ฝั่ง client ค่า conversion rate ของคุณไม่เคยออกจากเบราว์เซอร์

ฟีเจอร์หลัก

สามจุดที่ทำให้เครื่องมือนี้ใช้งานจริงได้ดี ประการแรก switch ระหว่าง relative/absolute MDE สะท้อนวิธีที่ทีมพูดจริง: product manager พูดว่า "lift 10%" ส่วน analyst พูดว่า "0.3 percentage points" ซึ่งหมายถึงเป้าหมายเดียวกัน ประการที่สอง preset significance ครอบคลุมระดับที่ใช้ในคู่มือ A/B testing เกือบทุกฉบับ จึงแทบไม่ต้องเปิด z-table ประการที่สาม ทุกอย่างอัปเดตสดขณะพิมพ์ ลองเล่นแบบ "ถ้าสนใจแค่ lift ใหญ่ล่ะ?" ใช้เวลาไม่กี่วินาที

วิธีใช้งาน

1. เปิด Sample Size Calculator โหลดทันทีพร้อมค่าเริ่มต้นที่สมเหตุสมผล ไม่ต้องสมัครสมาชิก
2. กรอก baseline conversion rate ใช้อัตราของหน้าหรือ flow ที่คุณกำลังจะทดสอบ วัดจากช่วงเวลาล่าสุดที่เป็นตัวแทนได้จริง
3. ตั้งค่า MDE และเลือกประเภท กรอก lift เล็กที่สุดที่มีความหมายต่อธุรกิจ แล้วเลือก relative (percent lift) หรือ absolute (percentage points)
4. เลือก significance, สมมติฐาน และ power 95% significance, two-sided และ 80% power คือค่าเริ่มต้นมาตรฐาน
5. อ่านค่า sample size ต่อ variant คูณด้วยจำนวน variant ของคุณ (เครื่องมือรองรับมากกว่าสอง) หรือกรอก daily traffic เพื่อดูจำนวนวันที่ควรรันทดสอบ

สี่ Input ที่ตัดสินทุกอย่าง

Baseline conversion rate

นี่คือจุดตั้งต้น: conversion rate ของ control variant ในวันนี้ ค่า baseline สำคัญเพราะการตรวจจับการเปลี่ยนแปลงยิ่งยากขึ้นเมื่ออัตราเข้าใกล้ขั้วสุด การดัน signup rate 2% ขึ้นอีกเศษเสี้ยวของจุดต้องใช้ผู้เข้าชมมากกว่าการดัน add-to-cart rate 40% ด้วยจำนวนเท่ากันมาก ควรวัด baseline จากหน้าและกลุ่มผู้ชมที่จะทดสอบจริง ไม่ใช่ค่าเฉลี่ยทั้งเว็บ

Minimum detectable effect (MDE)

MDE คือ lift จริงที่เล็กที่สุดที่คุณต้องการให้การทดสอบตรวจจับได้ และแสดงได้สองวิธี สมมติ baseline ของคุณคือ 3% และคุณอยากตรวจจับการดีขึ้นเป็น 3.3% ในเชิง absolute นั่นคือ MDE 0.3 percentage points ในเชิง relative คือ lift 10% เพราะ 3.3 มากกว่า 3.0 อยู่ 10% การทดสอบเดียวกัน sample size เท่ากัน ต่างแค่ภาษา เครื่องมือรับได้ทั้งสองแบบ กรอกแบบไหนก็ได้ที่ทีมคุณใช้พูด

MDE เป็น input ที่มีน้ำหนักที่สุด เพราะ sample size แปรผันตาม อินเวอร์สกำลังสอง ของขนาด effect ลด MDE ครึ่งหนึ่งแล้วต้องใช้ผู้เข้าชมประมาณสี่เท่า ในตัวอย่างด้านล่าง การลด relative MDE จาก 10% เหลือ 5% ดันความต้องการจากราว 53,200 ขึ้นไปราว 207,900 ผู้เข้าชมต่อ variant นี่คือเหตุผลที่ "อยากตรวจจับทุกอย่าง" ไม่ใช่กลยุทธ์: MDE เล็ก ๆ เป็นของหรูสำหรับเว็บที่ traffic สูงมากเท่านั้น

Significance level

Significance level (alpha) คือความอดทนต่อ false positive ของคุณ นั่นคือการประกาศว่าชนะทั้งที่ variant จริง ๆ เท่ากัน ที่ 95% significance คุณยอมรับความเสี่ยงผิดพลาดแบบนี้ 5% เรื่อง one-sided กับ two-sided ก็สำคัญ: การทดสอบ two-sided ป้องกัน lift ทั้งสองทิศทางและเป็นค่าเริ่มต้นที่ปลอดภัย ส่วน one-sided ช่วยลด sample size ได้เล็กน้อยเมื่อคุณสนใจแค่การดีขึ้นทางเดียวจริง ๆ เท่านั้น ถ้าไม่มีเหตุผลเฉพาะเจาะจงให้ใช้ two-sided

Statistical power

Power คือความน่าจะเป็นที่จะตรวจจับ lift ที่เกิดขึ้นจริง ซึ่งเป็นด้านตรงข้ามของ alpha ที่ 80% power การปรับปรุงที่แท้จริงหนึ่งในห้าจะหลุดรอดไปโดยไม่ถูกพบ Power แพงกว่า alpha น้อยกว่า: การเพิ่มจาก 80% เป็น 90% เพิ่มผู้เข้าชมราว 30% ต่อ variant ซึ่งมักคุ้มค่าสำหรับการตัดสินใจที่มีผลระยะยาว

ตัวอย่างการคำนวณเต็มรูปแบบ

สมมติหน้า checkout ของคุณ convert ที่ 3% และคุณต้องการตรวจจับ lift แบบ relative 10% (จาก 3.0% เป็น 3.3% หรือ absolute 0.3 percentage points) ด้วย 95% significance สมมติฐาน two-sided และ 80% power การป้อนค่าเหล่านี้ให้เครื่องมือได้ผลราว 53,200 ผู้เข้าชมต่อ variant หรือประมาณ 106,400 สำหรับ A/B test ธรรมดา ถ้ามีผู้เข้าชม 2,000 คนต่อวันต่อ variant ให้วางแผนราวสี่สัปดาห์ ลองเปลี่ยน MDE เป็น lift แบบ relative 20% ความต้องการจะยุบลงเหลือราว 13,900 — effect เป้าหมายสี่เท่า ใช้ traffic เพียงหนึ่งในสี่

สามข้อควรระวังที่เครื่องมือแก้ไม่ได้

• Novelty effects ผู้เข้าชมช่วงต้นตอบสนองต่อ "การมีอะไรเปลี่ยน" ไม่ใช่คุณภาพของการเปลี่ยน รันให้ครบรอบสัปดาห์เต็มเพื่อให้ผู้ใช้ที่กลับมาถูกนับด้วย
• Peeking เช็ก significance ทุกวันแล้วหยุดทันทีที่ต่ำกว่า 0.05 ทำให้ false positive พุ่งสูงอย่างรุนแรง sample size ที่คำนวณไว้คือคำมั่นสัญญา
• Multiple comparisons ทดสอบห้า metric หก variant ย่อมเพิ่มโอกาสโชคลาง ตัดสินใจเลือก primary metric เดียวก่อนเปิดทดสอบ

กรณีใช้งานจริง

วางแผน product experiment

ก่อน sprint จะลงมือ redesign ให้ลองเลขก่อน: baseline conversion, lift ที่จะคุ้มค่า cost ด้านวิศวกรรม และ traffic ของคุณ ถ้า sample size ที่ต้องการแปลว่าทดสอบสองเดือน ให้ลดขอบเขตการเปลี่ยนแปลงหรือไปทดสอบบนหน้า traffic สูงก่อน การวางแผน sample size เปลี่ยนการทำ experimentation จากการหวังให้เป็นแผนงาน

ทดสอบ subject line อีเมล

ทีมอีเมลอยู่ได้ด้วย open rate และการดีขึ้นแบบ relative 10% จาก open rate 22% มีความหมายเชิงพาณิชย์จริง กรอก baseline และ target lift แล้วเครื่องมือจะบอกว่าต้องใช้ผู้รับกี่คนต่อ variant ซึ่งมักเป็นตัวเลขที่สบายมือสำหรับ list ที่มากกว่าไม่กี่พัน นั่นคือเหตุผลที่การทดสอบ subject เป็น experiment ที่ให้ผลตอบแทนสูงที่สุดชนิดหนึ่ง

ทดสอบราคาและแพ็กเกจ

การเปลี่ยนราคามักให้การขยับแบบ percentage points ที่น้อยแต่ผลต่อรายได้ใหญ่ การผสมแบบนี้ — MDE ต่ำ เดิมพันสูง — คือจุดที่การวางแผนอย่างเข้มงวดคุ้มค่าที่สุด คำนวณ sample size ก่อน ถ้าไปไม่ถึง ลองทดสอบ packaging หรือการนำเสนอก่อนราคาตรง ๆ

Landing page การตลาด

Landing page จากโฆษณาได้ traffic แบบเป็นคลื่นตาม campaign การรู้ความต้องการต่อ variant ล่วงหน้าบอกคุณว่าต้องสะสมยอดเข้าชมกี่ครั้งก่อนประกาศผู้ชนะ ป้องกันรูปแบบคลาสสิกของ "การชนะ" ของ variant ใน launch week ที่ดีผิดปกติ

แนวปฏิบัติที่ดีที่สุด

• กำหนด sample size ก่อนเริ่มทดสอบ และจดไว้ เส้นชัยที่ประกาศล่วงหน้าคือเกราะที่แข็งแกร่งที่สุดต่อการใช้เหตุผลตามใจปรารถนา
• อดทนต่อการแอบดู (peeking) ถ้าผู้บริหารต้องการดูผลระหว่างทาง ให้ใช้ sequential testing ที่ถูกต้อง ไม่ใช่เช็ก p-value ดิบ
• รันให้ครบวงรอบธุรกิจ สุดสัปดาห์ วันเงินเดือนออก และ launch spike ล้วนบิดเบือนการทดสอบสั้น ๆ มุ่งอย่างน้อยหนึ่งสัปดาห์เต็ม ถ้าได้สองสัปดาห์ยิ่งดี
• ผูกมัดกับ primary metric เดียว metric รองไว้ใช้อธิบาย ไม่ใช่ไว้เลือกเก็บชัยชนะ
• ใช้ baseline ที่เป็นจริง อัตราที่วัดจากหน้าและกลุ่มผู้ชมเดียวกันดีกว่าค่าเฉลี่ยทั้งเว็บเสมอ
• เมื่อ traffic น้อย ให้เลือกตรวจจับ effect ที่ใหญ่ขึ้น MDE แบบ pragmatic ที่ไปถึงจริงดีกว่า MDE ทะเยอทะยานที่ไม่มีวันทำให้จบ

พร้อมวางแผน experiment ถัดไปหรือยัง?

เปิด Sample Size Calculator กรอกสี่ตัวเลข แล้วรู้ทันทีว่า A/B test ถัดไปของคุณต้องการอะไร ฟรี รวดเร็ว และทำงานทั้งหมดในเบราว์เซอร์ ไม่ต้องมีบัญชี ไม่มีข้อมูลออกจากอุปกรณ์ของคุณ แล้วลงลึกต่อด้วย Statistics Calculator สำหรับสรุปข้อมูลเชิงพรรณนา หรือ T-Test Calculator เมื่อถึงเวลาวิเคราะห์ experiment ที่จบแล้ว

เครื่องมือที่เกี่ยวข้องที่คุณอาจสนใจ:

• Percentage Calculator — คำนวณ lift, การเปลี่ยนแปลงแบบ relative และผลต่างแบบ percentage points
• T-Test Calculator — ประเมินว่าการทดสอบที่จบแล้วถึงจุด significance หรือไม่
• Statistics Calculator — ค่าเฉลี่ย, variance และ standard deviation สำหรับสำรวจข้อมูลดิบ

ขอให้ lift ของคุณเป็นของจริงทุกครั้ง

คำถามที่พบบ่อย

ถ: ควรเลือก MDE เท่าไรดีสำหรับ A/B test ของฉัน?

ตอบ: เลือก lift เล็กที่สุดที่จะเปลี่ยนการตัดสินใจของคุณจริง ๆ ถ้าเฉพาะการดีขึ้นแบบ relative 15% เท่านั้นที่คุ้มค่าด้านวิศวกรรม ก็ใช้ 15% ค่าที่เล็กลงจะเพิ่ม sample size ที่ต้องการตามความสัมพันธ์อินเวอร์สกำลังสอง และอาจทำให้ทดสอบไม่สำเร็จเสียก่อน

ถ: ทำไมการลด MDE ครึ่งหนึ่งทำให้ sample size เพิ่มราวสี่เท่า?

ตอบ: sample size ที่ต้องการแปรผันตรงกับหนึ่งหารด้วยขนาด effect กำลังสอง การลด effect ที่ต้องการตรวจจับครึ่งหนึ่งทำให้ตัวหารเหลือหนึ่งในสี่ ผู้เข้าชมต่อ variant จึงเพิ่มประมาณสี่เท่า

ถ: ควรใช้ one-sided หรือ two-sided test?

ตอบ: two-sided เป็นค่าเริ่มต้นมาตรฐานเพราะตรวจจับ effect ได้ทั้งสองทิศทางและตรงกับวิธีที่แพลตฟอร์มส่วนใหญ่รายงานผล ใช้ one-sided เฉพาะเมื่อคุณไม่สนใจ effect ทางลบจริง ๆ และวิธีวิเคราะห์ของคุณรองรับ

ถ: เครื่องมือคิดบัญชีหลาย variant ให้ไหม?

ตอบ: ได้ คุณระบุ variant ได้มากกว่าสอง และเครื่องมือจะปรับการคำนวณตามจำนวนการเปรียบเทียบที่เพิ่มขึ้นก่อนรายงาน sample size ต่อ variant

ถ: ข้อมูลของฉันถูกอัปโหลดไปเซิร์ฟเวอร์หรือเปล่า?

ตอบ: ไม่ เครื่องมือทำงาน 100% ฝั่ง client ในเบราว์เซอร์ ค่า baseline rate, ตัวเลข traffic และการตั้งค่าทั้งหมดไม่เคยออกจากอุปกรณ์ของคุณ