서비스 기획 업무, AB Test

 AB Test
임의로 놔눠진 두 집단에게 서로 다른 UI/UX를 제시하고,
두 집단 중 어떤 집단이 더 높은 성과를 보이는지 정량적으로 평가하는 방식

그동안 AB Test에 관해서는 정말 많이 들어 봤었다. 그냥 어렴풋이 개념은 알고 있었는데, 실제로 어떻게 기업이 적용시키는지 어떻게 실험을 하는지는 몰랐다. 이번 강의에서는 AB Test에 대해 자세히 공부하면서 많이 배울 수 있었는데, 앞으로 나도 서비스를 운영해볼 때 꼭 해보고 싶다

 

# AB test 하는 이유 

1. 급변하는 시장에서, 정답은 아무도 모른다.

2. 쉽고 빠르게 테스트 할 수 있는 환경에서 경험있는 개인에게 의지하는 것은 너무 위험, 너무 비효율적

3. 최고의 인재가 모인 구글, 마이크로소프트 에서도 실험의 10~30% 만이 긍정적인 결과

즉, AB TEST를 통해 가설이 맞는게 절반도 되지 않는다는 점, 전환율 확인하는것이 중요하다는 점!!

 

#AB TEST 진행 프로세스

1. 목표 설정 :  단순히 사용개선 이렇게 목표를 설정하면 안된다. 반드시 테스트의 목표를 구체화!

                       목표를 설정한다면 그에 맞는 지표를 설정한다. 

                        ex) 서비스 가입자를 늘리고 싶으면, 서비스 가입 전환율, 버튼 클릭 인원을 늘리고 싶다면 클릭전환율

                        지표를 설정할때는 분모, 분자를 명확히 해야한다! 이게 어떤건지에 따라 결과가 천차 만별!

2. 가설 수립 : 목표와 지표를 설정했다면, 어떤일을 해야 지표가 개선 될 수 있을지에 대한 가설을 수립한다.

                      가설이 목표와 얼라인 되는지 반드시 확인!!!

                      AB Test 시 모든 가설 결과는 꼭꼭 기록하기

 

3. 실험 설계 : 지표 설정

               - 지표 종류 : 합계 , 평균, 중앙값( 가장 자주 쓰는 평균의 함정에 빠지지 않도록)

                                    비율 : 결제완료 횟수, 결제페이지 진입 횟수 등

               - 지표 설정 : 민감도와 강건성

                                    너무 민감하게 반응하는, 아무 변화가 없는데도 들쑬날쑥한 지표는 강건성이 낮아 적절한 지표X

               - 타켓 유저 : 어떤 유저 대상으로 실험을 수행할건지. 보통 신규기능 추가, 기존 기능 개선시 사용 하기에

                                   대조군 : 기존상태 / 실험군 : 개선상태

                             - 실험군의 모수 설정 : 많은 유저가 사용하고 있는 서비스라면, 실험의 부작용을 최소화하기 위해 

                                                                 실험군을 5~10%로 설정하는 경우 많음

                                                                  반면 초기 스타트업이면 50% 가량 진행하기도.

                             - 샘플 사이즈 : 샘플수가 많을수록 결과 신뢰도 올라감. 다양한 계산기로 쉽게 계산 가능

Sample size calculator

 

         - Unit of Diversion (어떻게 나눌것인지) : A와 B 집단이 랜덤이 되도록, 보통 ID, 특정 EVENT 행동에 따라 구분

         - Unit of Analysis : Test를 통해 영향을 주고자 하는 최소단위, 지표의 분모가 회원수라면 분석단위는 회원으로!!

         - Duration : 보통 기간이 길수록 정확도는 상승/ 그러나 주말, 명절같은 이벤트 기간이 껴있다면 주의!

         - Variation : 어떤것을 다르게 보여줄지 / 둘의 차이가 너무 복합적이면 유의미한 해석이 어려움

4. 실험 진행 : AB test가 분기별로 잘 이뤄지고 있는지 파악하기

5. 결과 분석 : 통계적 유의성 확인! 보통 p-value로 많이 본다.

A/B testing statistical significance calculator - VWO

 

여러 사이트를 직접 보고 설명을 들으며 공부하니 더욱 좋았다.

통계학을 전공하며 A/B test는 한번도 실습 해본적이 없는데 사이드 프로젝트를 하면서

꼭꼭 이런 UI/UX UT를 통해 좋은 결과를 만들어보고 싶다.

 

 

이번 과제 너무 힘듬