UX리서치: 임팩트 관리하기

왜 임팩트인가  

우리가 하는 이 리서치가 조직에 정말 도움이 되는 건가? 치열하게 몰두했던 리서치의 결과물이 조직 안에서 어떻게 쓰이고 있을까? 팀 회고에 자주 등장하는 주제입니다. 올해는 ‘어떻게 하면 리서치의 임팩트를 파악하고 트래킹’ 할 수 있을까… 달리 말하면, 어떻게 하면 내가 리서치를 잘 해내고 있는지 확인해 볼 수 있을까...라는 고민을 본격적으로 해보려고 마음을 먹었는데요, 그 고민의 과정을 공유해 보려고 합니다. 

먼저 이해를 돕기 위해 리서치팀이 어떻게 일하고 있는지 알려드리려고 합니다. 현재 피엑스디 UX 리서치팀의 업무는 ‘선행 리서치(Foundational)’ 리서치와 ‘프로덕트(Evaluative) 리서치’로 구분되어 있습니다. 선행 리서치팀은 최신 트렌드와 기술을 통해 미래 유저 시나리오를 만들어 내는 역할, 프로덕트 리서치팀은 프로덕트 기획부터 개발까지 모든 여정에서 프로덕트 팀의 사용자 이해를 도와 보다 나은 사용 경험을 제공하도록 하는 역할을 하고 있습니다.

 

누구에게 영향을 미쳐야 할까 

'팀장의 탄생'의 저자, 줄리 주오는 최근 리서치 임팩트에 관한 포스팅에서 임팩트의 사전적 정의는 '사람, 물건, 행동이 다른 사람에 미치는 영향(the effect or influence of one person, thing, or action, on another.)'이라고 했습니다. 그는 이 문장에서 두 단어에 주목해야 한다고 했는데요, 첫 번째는 'effect,' 즉 영향입니다. 이 영향력은 우리가 눈으로 볼 수 있는 결과물에 기인해야 합니다. 즉, 측정 가능해야 합니다. 두 번째는 'another,' 즉 다른 사람입니다. 여기서 다른 사람은 막연하지 않고 누구인지 구체적으로 설명되어야 합니다. 요약하면 영향을 미쳐야 하는 조직 내 대상이 분명하게 정의되어야 하고, 그 영향력을 측정할 방법 또한 명확해야 한다는 것입니다.

돌이켜 보니 그간 내가 진행한 리서치가 누구에게 영향을 줘야 하는지에 대해서는 명확하게 정의하려고 하지는 않았던 것 같았습니다. 프로젝트를 진행할 때 늘 프로덕트 PM과 같은 직접적인 이해관계자와 협업하기 때문에 굳이 대상을 명확하게 할 필요성을 못느끼기도 했었고요. 

내 리서치가 영향을 주어야 할 이해관계자가 프로덕트와 직접적인 연관이 있는가, 간접적인 연관이 있는가, 어떤 기능에 특화된 사람인가 아니면 서비스의 에코시스템을 아우르는 사람인가 등을 사전에 명확하게 하는 것이 필요합니다. 이런 과정을 통해 리서치 프로젝트가 미쳐야 할 영향력의 범위를 가늠해 볼 수 있을 것입니다. 

예를 들어 프로덕트의 사용성 평가를 할 때는 기능에 직접적으로 관련 있는 이해관계자만 바라보고 리서치를 진행하는 경우가 많습니다. 이 때 사용성 평가의 임팩트를 프로덕트의 에코시스템과 간접적인 이해관계자까지 넓혀 생각해 본다면, 사용성 평가의 아웃풋의 범위가 좀 더 확장될 수도 있습니다.

 

리서치 목표에 따른 임팩트 측정 방법

영향을 미쳐야 할 대상을 정의한 이후에는, 바로 어떤 임팩트가 있었는지 물어보면 될 것입니다. 그런데 간단해 보이는 이 일이 그리 쉽게 착착 되지는 않습니다. 인하우스의 리서치 프로젝트가 임팩트 있다고 인정받기 위해서는 리서치 결과가 프로덕트 디자인이나 비즈니스 수익의 변화로 이어져야 한다는 것은 어렴풋이 알고 있지만 이를 증명하는 것은 어렵다는 것이지요.  

구글의 UX 리서처, 타오 동은 “UX 리서치 임팩트의 3단계”에서 임팩트를 측정하기 어려운 이유를 다음의 두 가지 관점으로 설명합니다. 우선, 리서치 종료 후 리서치의 결과가 실현되기까지는 일정 시간이 필요합니다. 이 과정에서 임팩트를 측정하는 업무가 잊혀질 수도 있고, 프로덕트를 개발하는 과정에서 리서치 결과뿐 아니라 다른 외부 요인이 개입되어 발전되는 경우도 많아 순수하게 리서치의 영향력을 밝히기 어려울 수 있습니다. 특히 선행 리서치인 경우 더 많은 시간이 필요할 것입니다. 두 번째로 리서치 팀은 프로덕트팀의 개발 과정에서 긴밀하게 관여하기 어려운 경우가 많습니다. 타오 동은 'control'라는 단어를 썼는데요, 특히 리서치팀이 프로덕트 팀에 속하지 않은 독립 조직인 경우 더욱 관여 수준이 낮을 것입니다. 타오 동은 이 두 가지 요인, 임팩트가 드러나기까지 걸리는 시간과 리서처의 관여도에 따라 리서치의 종류를 3단계로 구분합니다.

출처: 'UX 리서치 임팩트의 3단계(Three levels of UX research impact)'

 

1단계: 질문에 대한 답을 구하는 리서치  

임팩트가 드러나기까지 걸리는 시간은 짧고, 리서처의 관여도는 높은 경우입니다. 보통 프로덕트 팀의 명확한 질문에 대한 즉각적인 답을 구하기 위해 리서치가 실행됩니다. 보통 리서치 직후 또는 보고서 작성 후 이해관계자가 질문에 대한 답을 얻었는지, 그 답이 얼마나 만족스러웠는지를 통해 어느 수준의 임팩트가 있었는지 파악해 볼 수 있습니다. 

 

2단계: 조직의 주요 의사결정을 도와주는 리서치

임팩트가 드러나기까지 걸리는 시간과 리서처의 관여도 모두 중간인 경우입니다. 이 경우 리서치는 조직의 주요 의사결정, 즉 디자인, 개발, 프로덕트 매니지먼트, 마케팅, 운영 등 프로덕트에 관련된 모든 것에 영향을 미치게 됩니다. 그러나 빠른 시간 내에 그 영향력을 확인하기는 어렵습니다. 여러 이해관계를 해결하느라 리서치 인사이트의 적용이 늦어지거나 리서치의 대상 프로덕트 외에 더 넓은 범위에 리서치 인사이트가 적용될 수도 있기 때문입니다. 

3단계: 사용자 가치를 만들어 내는 리서치 

임팩트가 드러나기까지 걸리는 시간은 길고, 리서처의 관여도는 낮은 경우입니다. 임팩트가 드러나는 시간은 몇개월에서 몇 년이 걸릴 수도 있습니다. 대부분의 선행 리서치가 여기에 포함되며 인사이트를 기반으로 비즈니스를 만들거나 사용자 가치를 창출했을 때 임팩트를 확인할 수 있습니다. 오랜 시간 동안 체계적으로 가치를 측정해 나가는 문화를 길러 나가는 것이 필요합니다. 

 

임팩트 측정을 위한 요소들

임팩트에 대한 이해를 했다면, 팀에서 임팩트를 관리하기 위한 프로토콜을 준비해 두는 것이 필요합니다. 이 프로토콜은 트래킹이 필요한 항목과 리서치의 수준에 따라 어떤 트래킹이 필요할 할 것인지에 대한 결정을 돕는 프레임워크가 포함됩니다. 

임팩트를 측정하기 위하여 기록해야 하는 항목들을 모아 보아야 했는데요, 검색을 통해 다양한 임팩트 관리 항목을 수집할 수 있었습니다. 

출처: 리서치 임팩트 프레임워크(Framework for demonstrating research impact)

 

출처: UX 리서치의 임팩트 트래킹: 프레임워크(Tracking the impact of UX research: a framework)

 

수집된 항목 중 주요 항목을 나열해 보면 다음과 같습니다. 이 항목들을 바탕으로 내부에서 관리해 나가야 할 임팩트 트래커를 구축해 볼 수 있습니다. 

리서치 관련	리서치명  리서치 방법: 인터뷰, 다이어리, 서베이, 데이터 분석 등  리서치 유형: 앞서 소개했던 타오 동의 3단계 리서치 유형 이해관계자: 리서치와 관련 있는 사람들
임팩트 관련	임팩트 유형: 프로덕트의 변화에 영향을 미쳤는가, 프로덕트 전략에 영향을 미쳤는가, 추가 리서치를 촉진했는가, 인프라를 개발했는가, 조직 내 유저리서치의 영향을 고취시켰는가 등  임팩트 측정 방법: 데이터 비교, 서베이, 인터뷰 등 임팩트 측정 결과 이해관계자 피드백: 인터뷰, 비공식 의견 등의 정성적 피드백   임팩트 범위: 조직 내 어느 수준까지 영향을 미쳤는가, 프로덕트 팀, 조직/회사, 회사를 넘어선 커뮤니티 등

 

임팩트 트래킹 프로토콜 구축 

어떤 리서치를 진행했느냐에 따라 임팩트 측정을 위해 수집해야 하는 항목도 달라질 것입니다. 이제 어떤 리서치를 하는지에 따라 임팩트를 어떻게 측정할 것인지 결정하는 것을 돕는 임팩트 트래킹 프로토콜을 만들어야 할 것입니다. 크게 1. 진행하는 리서치의 종류를 정의하고, 2. 임팩트를 트래킹 하기 위한 방법을 정의, 3. 리서치 종료 후 임팩트 측정, 4. 임팩트 트래커 작성 및 관리하는 과정으로 구성할 수 있습니다.  

진행하고자 하는 리서치의 특성에 응답하며 적합한 임팩트 측정 방법을 파악

 

1. 리서치의 종류 정의 

리서치 팀과 이해관계자가 서로 우리가 지금 어떤 수준의 리서치를 하고 있는지 합의하는 것이 필요합니다. 아래와 같은 질문을 다시 확인해 봅니다. 

• 리서치 결과가 프로덕트/기능/서비스에 곧 반영이 되는지? 
• 이미 출시가 된 프로덕트/기능/서비스를 위한 리서치인지? 
• 이미 트래킹 하고 있는 지표가 있는지?  

 

2. 임팩트 측정 방법 정의  

임팩트를 어떤 방법으로 측정할 것인지 리서치 시작 단계에서 이해관계자와 함께 정의합니다. 아래와 같은 내용을 기준으로 미리 템플릿을 마련해 두고 트래킹할 수 있습니다. 

데이터 확인 페이지에 머문 시간 신규 사용자 유입  재방문자 수 증가  트랜잭션 증가 …	포스트-리서치 서베이 사용자에 대한 이해관계자의 공감 수준 변화  리서치 질문 해결 여부  리서치 인사이트 반영 여부  …
프로덕트/기능/서비스 출시 후 서베이 리서치 인사이트 반영 여부  리서치 인사이트의 중요도/퀄리티 …	반기/연간 서베이 프로덕트/기능/서비스 기획 시 참고했던 리서치 인사이트  리서치 인사이트의 가치  ….

 

3. 리서치 종료 후 임팩트 측정 

리서치가 종료되면 정의했던 템플릿을 검토하고 개별 리서치 내용에 맞춰 임팩트 측정 항목을 고도화 합니다. 

 

4. 임팩트 트래커 작성 및 관리  

임팩트 트래커에 측정 내용을 기록하고 각 리서치별 트래킹 계획에 맞춰 업데이트합니다. 

 

마치며 

여기까지 정리된 내용을 바탕으로 내부에서 관리하려고 하는 임팩트 트래커와 관리 프로토콜을 만들어 보고 있습니다. 고백하자면 리서치 임팩트 관리는 이제 시작하려는 단계입니다. 아마 이 프로세스가 자리를 잡으려면 많은 시행착오가 있을 텐데요, 시간이 지나 의미 있는 레슨을 가지고 다시 이야기를 나눌 수 있으면 좋겠습니다.

 

참고자료

Julie Zhuo LinkedIn post (링크)

Three levels of UX research impact (링크)

Framework for demonstrating research impact (링크)

Tracking the impact of UX research: a framework (링크)