A/B 테스트 실습

2008년, 오바마 대선 캠페인 팀은 기부 페이지의 버튼 문구를 A/B 테스트했습니다. 'Sign Up' 대신 'Learn More'로 바꾸자 전환율이 40.6% 상승 — 추가 기부금 6,000만 달러를 모았습니다.

핵심 개념은 통계적 유의성입니다. p-value가 0.05 미만이면 '이 차이가 우연일 확률이 5% 미만'이라는 뜻입니다. 즉, 95% 이상 확신할 수 있을 때 '유의하다'고 판단합니다.

A/B 테스트는 단순히 두 버전을 비교하는 것이 아닙니다. 가설 수립부터 결론 도출까지 과학적 실험 설계를 따라야 의미 있는 결과를 얻을 수 있습니다.

실험 설계에서 가장 흔한 실수는 표본 크기 부족과 너무 많은 변수를 동시에 변경하는 것입니다. 한 번에 하나만 바꿔야 인과관계를 확인할 수 있습니다.

직접 슬라이더를 조작하며 A/B 테스트의 통계적 유의성을 체험해보세요. 전환율 차이가 클수록, 표본이 클수록 결과가 유의해집니다.

슬라이더를 움직여 대조군과 실험군의 전환율 차이, 표본 크기에 따른 유의성 변화를 직접 확인해보세요.

Booking.com은 세계에서 A/B 테스트를 가장 많이 하는 기업 중 하나입니다. 연간 25,000건 이상의 실험을 진행하며, 사이트의 거의 모든 요소를 테스트합니다.

Booking.com의 철학은 '모든 것을 테스트하라'입니다. 버튼 색상, 문구, 레이아웃, 리뷰 표시 방식, 긴급성 메시지('3명이 보고 있습니다') — 모두 A/B 테스트를 거쳐 적용됩니다. '이 방에 지금 5명이 보고 있습니다'라는 문구 하나가 전환율을 유의미하게 올린다는 것을 데이터로 증명했습니다.

A/B 테스트에서 p-value < 0.05의 의미로 가장 정확한 것은?

A/B 테스트에서는 한 번에 여러 변수를 동시에 바꿔야 효율적이다.

Booking.com은 연간 약 ______건의 A/B 테스트를 진행하며, 데이터 기반 실험 문화를 핵심 경쟁력으로 삼고 있다.