먼 곳에 사는 사용자를 조사하는 방법

2017. 8. 10. 07:50UI 가벼운 이야기
Seungyoon Lee

사용자의 경험을 디자인하는 과정에서 가장 기본적이고도 중요한 단계는, 사용자가 제품을 사용하며 가지는 생각을 알아보고, 그 환경을 관찰함으로써, 우리의 사용자가 정말 무엇을 원하고 있는지를 파악하는 것입니다.

사용자 조사를 할 때에는 사용자를 초대해서 장시간 이야기를 들어보고, 사용자의 집을 방문하기도 하며, 혹은 사용자의 자동차를 같이 타면서 평소 운전습관을 관찰해 보기도 합니다. 사용자가 있는 곳이면 어디든 찾아가는데요, 국내에서는 제주도에 거주하는 사용자도 어렵지 않게 찾아가 조사를 진행하곤 하지요.


Intro

외국의 사용자를 조사하는 경우는 어떨까요?
이전 글, ‘해외 사용자 조사 가이드’에서는 pxd 연구원들이 직접 해외에 가서 현지 사용자를 방문하는 과정에 대해 소개했습니다.

해외사용자 조사

해외에 사는 사용자를 만나야 하는 경우에, 해외출장이다!!!라는 왠지 신나는 기분에 앞서 걱정되는 점은 바로 시간과 비용입니다.
해외 사용자 조사의 경우, 최대한 시간과 비용을 낭비하지 않게 하기 위하여 서베이나 다이어리 스터디를 통해서 사전 조사를 더욱 철저히 하기도 하고, 또 부지런한 출장 스케줄로 시간과 비용을 낭비하지 않으려 애씁니다. 아침부터 부지런히 조사를 진행한 후 늦은 밤까지 랩업을 하는 해외출장이 전혀 낭만적이지 않고, 여기가 캘리포니아가 아니라 그냥 서울이었으면 좋겠다...는 생각이 들기 시작할 때쯤, 좀 더 효율적인 방법은 없을까? 하는 생각이 듭니다.

서론이 길었습니다만, 이번 글은 이렇게 연구자와 거리가 먼 곳에 사는 사용자를 조사해야 하는 경우의 사용자 조사를 하는 방법을 소개하려 합니다.



미국에 사는 10대 사용자 조사하기

최근에 진행한 ALIVE 앱의 사용성 평가를 예로 들어 설명하려 합니다. pxd와 협력관계에 있는 ALIVE는 각종 효과와 함께 사진/동영상을 편집할 수 있는 앱입니다.

ALIVE Movie Maker & Music Video Editor 스크린 샷



조사 방법 결정하기

ALIVE의 주 사용자는 미국에 거주하는 10대 후반 틴에이저입니다. 미국 출장을 가서 10대 사용자를 직접 만나볼 수도 있겠지만, 이번 조사의 목표는 새로운 서비스를 만들어 내는 것보다는 ALIVE의 사용성 개선에 있었기 때문에 직접 사용자를 만나는 것보다는 원격으로 사용자 조사를 진행해 보고자 했습니다.


원격 사용자 조사(Remote User Testing) 준비/실행 과정

원격으로 사용자 조사를 하기로 결정한 후에는, 기존의 사용자 조사와 조금 다른 프로세스를 만나게 됩니다. 적합한 원거리 사용자 조사를 도와주는 tool을 선택하는 것, 또 이 결과를 잘 활용하는 것이 중요합니다.


원격 사용자 조사 준비 프로세스



원격 사용자 조사의 방법에는 크게 2가지가 있습니다. 모더레이팅이 있는 원격 조사(moderated remote user testing)와 모더레이팅이 없는 원격 조사(unmoderated remote user testing)입니다. 두 가지 방법이 서로 상이한 만큼 결과에 차이가 있기 때문에 방법에 대해서 잘 알고 프로젝트의 목적에 따라 적합한 방법을 선택하는 것이 중요합니다.

원격 사용자 조사 툴 선정하기

먼저 인터넷을 통해 미국의 원격 사용자 조사 툴에 대해 조사를 해 보았습니다.

먼저, 모더레이팅이 있는 원격 조사를 제공하는 회사는 Methinks나 Lookback 등이 있습니다. 이들은 화상 통화와 같은 소프트웨어 시스템을 이용하여 연구자와 사용자가 직접 대화할 수 있게 해 줍니다. 이때 인터뷰의 모더레이터는 연구자 스스로가 될 수도 있고, 이 툴을 제공하는 회사에서 모더레이팅을 진행하기도 합니다.

모더레이팅이 있는 원격 조사 모델



미국에서는 모더레이팅이 없는 원격 조사 툴이 더 많이 발달되어 있었습니다. 가장 규모가 크고 많은 서비스를 제공하는 회사로는 UserZoom, UserTesting, TryMyUI 등이 있습니다. 이들은 사용자들이 스스로 조사를 가능하게끔 합니다. 주 서비스는 모더레이팅 없이 사용자 스스로 테스트를 진행하고 그 과정을 모두 녹화하여 연구자에게 전달하는 것입니다. 연구자는 사용자들에게 사용자 조사를 위한 태스크와 질문지를 배포하고 사용자들은 그 task scenario에 따라서 think aloud 방식으로 테스트를 진행하는 구조입니다.


모더레이팅이 없는 원격 조사 모델



사전 조사를 진행해 보니 두 부류의 조사 툴이 서로 다른 장점이 있었습니다.

사실 사용자 조사에서 가장 중요한 역할이 바로 모더레이터라는 사실을 잘 아실 겁니다. 사용자가 쉽게 답하지 못하고 어떻게 말해야 할지 모르는 바를 자연스럽게 이끌어 낼 수 있도록 하는 사람이 바로 모더레이터입니다. 그런데 기능의 편리함에 대한 사용성 조사라면? 그럼 모더레이팅 없이 ‘편하다/불편하다, 쉽다/어렵다에 대한 질문으로 해결할 수 있지 않을까’라는 생각이 들었습니다.

사용성에 대한 조사일 때(사용자의 성향이나 태도의 파악이 중요한 프로젝트라면 당연히 모더레이터가 있는 쪽을 선택했을 겁니다.) 모더레이터가 있는 경우, 없는 경우, 이 둘 사이에 어떤 차이가 있을까... 궁금해서 양쪽 툴을 모두 이용해 테스트를 진행하기로 했고, 최종적으로 위에서 나열한 회사 중 Methinks와 UserTesting을 선정했습니다.

Methinks : 모더레이터의 후속 질문을 통해 심도 있는 인터뷰 가능

Methinks는 연구자인 pxd가 직접 사용자와 인터뷰하며 필요한 사항을 뽑아낼 수 있다는 장점이 있습니다만, 이번 경우에는 미국의 10대와 대화가 통할 수 있는 모더레이터가 필요했기 때문에 pxd에서는 task scenario를 제공하고, Methinks에서 모더레이팅을 진행했습니다.

Methinks 사용자 테스트



예상했던 바와 같이, 모더레이터가 있는 인터뷰는 상황에 대해서 더 깊게 이야기할 수 있는 계기가 되었습니다. 예를 들어, 어떤 task의 결과에 어려웠다는 답변을 했다면, ‘왜 그렇게 생각했는지?’라는 후속 질문을 통해, 사용자가 어려움을 느낀 이유가 글자가 작아서인지, 위치의 문제인지, 혹은 문화적인 차이인지 등에 대한 해답을 얻을 수가 있습니다.

단, 한 명의 인터뷰를 할 때 소요 시간이 예상보다 오래 걸린다는 단점이 있습니다. 처음 저희는 사용자 조사에 걸리는 시간이 15-20분이라고 계획했습니다. 그런데, 일단 사용자의 스마트폰을 컴퓨터에 연결하는 등 조사 환경을 조성하는데 예상치 못한 시간이 소요되었습니다. 또한 계획에 없던 후속 질문을 할 수밖에 없기 때문에 계획 보다 10-20분의 인터뷰 시간이 소요되었습니다.

UserTesting : 24시간 안에 많은 사용자의 인터뷰 가능

UserTesting에 프로젝트를 등록하고 리크루팅을 위한 screener와 task scenario를 입력하면 조건에 맞는 사용자들이 테스트를 진행하게 됩니다. 저희는 만 하루가 채 되기 전에 모든 사용자의 비디오를 받아 볼 수 있었습니다. 연구에 필요한 수만큼의 사용자가 저희 프로젝트에 어플라이 했다는 것을 실시간으로 알 수 있었고, 그 중 한 명이 중간에 조사를 포기했다는 사실을 알 수 있었습니다. 이내 다른 사용자로 교체되어 다시 조사를 진행한다는 사실을 알게 되었고 24시간 이내에 모든 비디오를 확인할 수 있었습니다.

UserTesting 사용자 테스트



굉장히 빠른 시간 안에 비디오를 받아 볼 수 있었기 때문에, 빠른 결과가 필요한 경우에는 무척 도움이 될 것 같습니다. 많은 사용자를 조사할 필요가 있다면 더더욱 큰 장점일 것입니다.

다만, 모더레이터가 있는 조사와 달리 만족/불만족에 대한 이유를 명확하게 파악하기 어려운 점은 큰 아쉬운 점으로 남았습니다.


모더레이터가 있는/없는 원격 조사 툴 비교하기

위의 프로젝트를 통해 주로 비교할 수 있었던 내용을 아래 표로 비교해 봤습니다.



프로젝트의 성격을 고려하자

모더레이터가 있는 조사인 경우, 조사의 범위가 매우 넓습니다. 앱 사용 행태를 조사하는 것과 같이 스크린을 기반으로 하는 매체 외에도 스크린 쉐어링을 통해 집안 구석구석을 관찰한다던지, 청소기를 보관하고 사용하는 모습을 관찰하고 질문해 볼 수도 있습니다. 반면, 모더레이터가 없는 조사는 짧은 시간에 많은 사용자를 조사하여 데이터를 수집하기 쉽습니다. 조사하고자 하는 바가 매우 명확할 때, 유용하게 사용할 수 있습니다. 단, 사용자의 응답 수준이 매우 다를 수 있기 때문에 task scenario를 단순하고 명확하게 설정하는 것이 중요합니다.

연구자의 역할

해외 사용자 조사인 경우, 영어를 아무리 잘 하더라도 그 나라의 문화에 대해서 잘 모르면 대화가 잘 이어지지 않는 경우가 많습니다. 모더레이터를 연구자 측에서 진행하는 경우에는 사용자의 언어로 이야기할 수 있는 언어 조력자와 함께 하는 것이 중요합니다.

이번 조사에서는 미국의 10대가 사용하는 줄임말 혹은 속어를 이해하기 힘들 것이라 예상하여 해외 모더레이터가 별도로 인터뷰를 진행했습니다. 아마, 아무리 영어를 잘하는 분과 함께 하더라도 10대가 사용하는 앱, 그들이 사용하는 언어를 몰랐다면 자연스럽게 인터뷰를 진행하기 어려웠을 것입니다. 이와 같이 프로젝트 상황에 따라 운영의 묘를 찾는 것이 중요합니다.
반면 모더레이팅이 없는 조사인 경우에는 연구자가 생각하는 task를 쉽고 명확하게 번역할 수 있다면 큰 무리 없이 진행이 가능합니다.

No-show 주의

온라인으로 진행되는 조사인 만큼 노쇼(no-show)의 비율도 높습니다. 이번 조사에서도 2건 정도 노쇼 혹은 중도 포기 사용자가 발생했었는데요, 그만큼 여유롭게 리크루팅을 요청하고 샘플을 확보하는 것이 필요합니다. 또한, 모더레이터가 없는 조사인 경우에는 조사의 품질을 보면서 조사를 끝낼 수가 없으므로, 연구에 필요한 샘플보다 더 많은 샘플 조사를 하는 것이 필요합니다.


마치며...

이 과정을 통해서, 원격 사용자 조사의 여러 방법을 알게 되었지만, 이를 가지고 실제로 연구한 경험이 많지는 않기에 위에서 언급한 정보와 비교의 한계가 있음을 먼저 밝힙니다.

단, 전 세계적으로 서비스 출시 전 예상 사용자들을 대상으로 프로토타이핑 테스트를 하는 경우가 점차 늘어나고 있다는 점은 주지할만합니다. 원격 사용자 조사 서비스를 제공하는 회사들은 이제 InVision이나 Axure 같은 프로토타이핑 툴과 함께 프로토타이핑 검증 서비스를 점차 확대하고 있습니다. 국내 기업에서도 해외향 서비스를 출시하기 전에 사전 검증을 위한 테스트를 하는 경우가 많아지고 있는 추세입니다.

이런 조사 방법이 어떤 규모와 성격의 프로젝트에 적합한지는 좀 더 두고 봐야겠습니다만, 해외 사용자를 위한 서비스를 계획하고 있다면, 충분히 고려해 볼만한 방법인 것 같습니다.
끝으로, 이 조사에 대한 ALIVE의 반응을 소개하며, 이 글을 마칩니다.


pxd를 통해 다양한 해외 사용자 조사 방법을 경험할 수 있어서 좋았고, 사용자의 생생한 보이스를 얻을 수 있어 매우 유익했습니다.

적은 비용으로 미국 시장에 대한 인사이트를 갖게 된 것이 가장 좋았습니다.
간단한 앱 사용성 테스트 정도는 사내에서 직접 원격 테스트를 시도해 볼 수도 있겠다… 하는 용기가 생겼습니다.


* 프로젝트 과정을 공유할 수 있게 도움을 주신 ALIVE, Inc.에 감사드립니다.



Reference
Remote Usability Tests: Moderated and Unmoderated https://www.nngroup.com/articles/remote-usability-tests
Remote Usability Testing: Thinking Outside the Lab http://www.uxmatters.com/mt/archives/2014/04/remote-usability-testing-thinking-outside-the-lab.php
ALIVE https://alive-story.com
Methinks https://www.methinks.io/#
UserTesting https://www.usertesting.com
[참고##조사 방법##]