[YAPP 5주차] UT, 어떤 목적과 방법으로 해야 잘 할 수 있을까? (메이즈활용기)

 

1차 데브캠 - UT진행 (2023.12.02)

 
YAPP 1주 차부터 UT가 진행되는 4주 차까지는 거의 한 달간, 매일 새벽 2-3시에 자면서 울팀 디자이너와 회의를 했다.. 한 달이라는 시간이 길어 보이지만 막상 기획을 제대로 하려니 너무 빠듯했던 거 같은데 YAPP에서 이런 데드라인을 명시해 놓아서 꾸역꾸역 마칠 수 있었다. 강제적으로 마쳐야 하니 이만큼 할 수 있던 거 같기도 하고..! 그런데.. UT를 이렇게 각 잡고 하는 건 처음이어서, UT가 뭐고 어떻게 해야 잘할 수 있는 건지 먼저 알아보았다.

---

1.  UT 왜 해야 하나?

 

UT 목표 : 핵심 기능을 잘 수행하는지 알아본다

 
UT는 Userability Test로 사용자가 우리 서비스를 '어떻게' 쓰는지를 관찰하는 것이다. 한마디로, '사용성'에 주목적을 두고 진행하는 조사란 것. 당시 우리 서비스의 전체 와이어프레임이 나온 것도 아니었고, 디자인도 전부 다 나온 게 아니라서 어떤 사용성을 조사해야하는지 고민이 많았다. 그래도 UT인데,, 완벽하게 만들고 실험을 해봐야 하는 게 아닌가라고 생각했지만, 디자인이 완전히 나오기 전 이여도 충분히 진행이 가능하기 때문에 너무 부담 갖지 않기로 하고 진행된 부분까지만 UT를 해보기로 했다.
 
그래서 화면을 기획할 때 가장 와이어프레임에서 고민을 많이 했던 화면과  진짜 이게 사용자들이 쓸 때 막힘없이 잘 쓸 수 있을까? 의문이 들었던 화면을 위주로 UT 방향을 잡았다. 최종적으로 화면과 기능은 땔 수 없는 관계라, 우리의 핵심 MVP기능을 잘 수행하는지 메이즈를 활용해 검증해 보기로 했다.
 

2. UT 진행과정

YAPP에는 총 6개의 팀이 있어서 각 팀당 진행자(PM, 디자이너) 2명 , 관찰자 3명은 자리에 있고 나머지 사람들은 다른 팀들을 돌아다니며 UT를 체험했다. 나는 PM으로 UT를 진행해야 하기 때문에 어떻게 진행해야 사람들이 참여를 잘할 수 있도록 할까에 고민을 많이 했다. (나도 UT체험해보고 싶더라...)
 

YAPP에서 제시한 UT 진행방법

 
먼저 우리 서비스를 처음 볼 참여자에게 무턱대고 '~~ 이거 해보세요'라고 하는 건 아닌 거 같다는 생각이 들어, 따로 자료를 준비해 서비스에 대한 소개와 우리 서비스의 어떤 고객인지 배경을 알려주고 UT를 진행하도록 했다( 친구와 함께 같을 때 '내가 적는 입장'에서 사용성이 좋은지를 알아보기 위해 UT 참여자들에게 먼저 배경을 설명함)
 
또, 메이즈 툴에서는 퀘스트에 따라 유저가 수행할 수 있으나, 퀘스트 화면이 전환되면 퀘스트 내용을 기억하기에 어렵고, 화면 전환 후에도 퀘스트가 바텀시트로 우리 화면을 가리기도 해서, 따로 자료로 정리해 갔다. 우리 서비스는 여행경비 기록이 가장 중요한 기능이기에 이 기능을 중점적으로 검증하기로 하여1) 여행생성, 2) 공동경비추가, 3) 지출추가 총 3가지 기능을 최종적으로 관찰하기로 했으며, 각 화면당 세부 퀘스트를 만들어 진행했다.
 
 

3. UT 준비자료

내가 준비한 자료는 아래와 같은데, UT참여자들에게 나누어 주었고, 각 퀘스트당 1~7점 사이에 점수를 매겨달라고 했다. (메이즈에서도 충분히 가능한데, 한 번 더 점수를 적어달라고 부탁함) 
 

(좌) 준비해갔던 자료 (우) 메이즈에 입력한 퀘스트

 

4. UT 진행모습

UT 참여자들과 이를 관찰하는 우리팀원들!

 

내가 진행했던 UT과정을 정리하면 아래와 같다.
1단계)  UT참여자에게 서비스소개와 어떤 상황에서 지금 서비스를 이용하는 건지 각인
2단계) 퀘스트 별로 잘 수행하는지 관찰한다
3단계) 퀘스트 수행을 끝낸 후 각 퀘스트 별로 의견을 받는다
4단계) UT를 바탕으로 화면설계를 수정한다

 

---

5. 메이즈 활용기

 

메이즈 툴을 활용하기 위해 우리는 UT할 화면의 디자인을 어느정도 진행했다. 아래와 같이 퀘스트를 만들어서 UT를 만들었는데, 무료 버전이 피그마가 무거우면 많이 오류가 나기 때문에 핸드폰으로 하는 것 보다 차라리 노트북에서 메이즈를 통해 UT 하길 추천한다..! 

실제 우리팀 메이즈 UT

 
 

 

6. UT 결과분석

각 퀘스트 별로 UT를 어떻게 수행했는지, 메이즈에서 결과를 보여주는데, 결과 보는 재미 + 아 어떡하지 란 멘붕이 함께 왔다ㅎ

• Driect Success :  유저가 미션을 설계대로 성공한 비율
•  Mission unfinished : 유저가 미션을 실패한 비율
•  Misclick rate : 유저가 설계대로 버튼을 누르지 않고 다른 UI를 누른 비율  → Direct Success랑 함께 봐야 함!
• Avg duration : 미션에 걸린 시간 평균

 
위 내용을 바탕으로 분석을 해보면, , 27프로의 성공비율과 절반 가까지 다른 버튼을 눌렀기 때문에 좋은 UX가 아니라고 판단할 수 있으나(ㅜㅜ)
 

실제로 유저들이 준 결과는 456점에 많이 분포되어 있어서 엄청 나쁜 정도는 아닌 거 같다고 생각했다.
 

 
좀 더 자세히 살펴보기 위해 View Path heatmaps을 통해 히트맵을 확인해 보니, 생각보다 우리가 설계한 위의 버튼만큼 밑에 여행 카드에서도 많은 터치가 있었다. 처음 우리 서비스를 쓰는 유저에게 혼란을 주었던 거 같음.. 차라리 등록된 여행이 없는 화면을 보여줬으면 더 좋았을 UI였을 거 같기도..?

---

7. 2차 UT

UT 1차 데브캠 세션 이후.. 와프도 변경, 디자인도 변경해서 디자이너 세션에서 다시 UT를 진행했다. 그러나, 우리가 1차 UT때에도 받은 같은 피드백을 2차 UT때에도 듣게 되어 절망적..(ㅜㅜ)
 
(2023.12 기준) 현재는 2차 UT피드백을 바탕으로 다시 디자인을 변경하였는데, 3차 UT는 진행하지 않기로 했다. 개발이 들어가서, UT로 디자인이 계속 변경되는 이슈도 일정상 어렵기도 해서..!ㅜㅜ 이대로 출시를 계획하고 있으며,  UT가 정말 중요하구나를 많이 알게 된 시간이었다!

1,2차 UT의 흔적

 
 

-이상 디자인은 어렵고 돌고 돈 UT 끗

 
 

참고자료

Maze로 UT 진행하기 [결과편]