디자이너로서 데이터 해석하고 분석하기

2019. 11. 1. 07:50UI 가벼운 이야기
김성경(bible)

이 글은 Joanna Ngai이 2017년 7월 medium.com에 게재한 글입니다. 피엑스디에서 저자의 허락을 받고 번역, 게시하였으며, 저자의 허락 없이 복사하여 사용하는 것은 절대 안 됩니다.

원문 링크 : https://uxdesign.cc/designing-with-data-ed721ffa008e / 번역 : 김성경, pxd Innovation Group 1, 주임연구원

통계가 엄청난 양의 데이터를 요약하고 우리가 그것을 이해할 수 있도록 돕는 것처럼, 우리가 겪는 복잡한 현실에서는 본능이 그러한 역할을 한다. 그렇기 때문에 사람들이 사용하고 싶어 하고 좋아하는 상품은 통계와 본능 두 가지로 인해 만들어진다. - Barden kowitz

 

많은 기술 회사에서 디자인과 데이터는 밀접하게 연관되어 있습니다. 디자이너는 끊임없는 데이터의 흐름 속에서 일하며 데이터 분석가 또는 엔지니어 팀에 의존해 수백 개의 지표를 반복적으로 분석하며 데이터를 모니터링 합니다.

여전히 디자이너의 직감은 가치 있지만, 데이터 분석은 서비스를 이해하는 데 도움을 줄 수 있고 이해관계자들이 디자인 결정에 만족하도록 도와줄 수 있습니다.

데이터를 다루는 UX 디자이너로서 몇 가지 명심해야 할 것들을 소개하겠습니다.

 

Novelty effect (신규성 영향)

새로운 기술이 처음 도입되었을 때 학습 또는 성취 등 실질적인 향상이 아닌 새로운 기술에 대한 관심 증가로 인해 능력이 향상되는 경향을 말합니다. 데이터 분석의 경우 새로운 툴을 출시했을 때 그 결과는 매우 긍정적일 수 있습니다. (인간은 낯선 대상을 인식했을 때 더 집중하게 됩니다. 무언가 새롭고 낯선 대상이 있으면 관심을 두고 보게 되지만 어느 정도 적응하면 그 대상은 관심을 끌지 못하죠. 디자인이 계속해서 새로움을 추구하게 되는 또 다른 이유입니다. : 역자 덧붙임) 

Tip : 초기에는 단순히 새롭다는 이유로 더 좋은 결과가 나타날 수 있기 때문에 '믿기 어려울 만큼 좋은' 초기의 결과는 경계해야 합니다.

 

Regression toward the mean (평균으로의 회귀 효과)

확률로 인해 많은 변수가 좌우되는 상황에서 극단적인 결과는 결국 평균에 가까운 결과들로 나타나게 됩니다. 간단히 말해 모든 것은 시간이 지남에 따라 균일해집니다.

Tip : 이 효과를 해결할 방법으로는 1) 대조군을 갖는 것 2) 작은 표본에 의한 결과를 조심하는 것입니다. (대조군이란 실험 조건을 적용하지 않아 실험군의 결과와 자연 상태를 대조해 보기 위해 만든 집단입니다. : 역자 덧붙임

 

Hawthorne effect (호손 효과)

관찰 대상자는 자신이 관찰되고 있다는 것을 인식했을 때 자신들의 행동을 조정, 순화합니다.

Tip : 이를 피하기 위한 방법으로 double-blind study가 있습니다. double-blind study란 참가자도 실험자도 누가 실험의 대상이 되는지 모르게 하는 것입니다. 데이터는 자동 녹음을 통해 수집할 수 있습니다.

 

Confirmation bias (확증편향)

...사람들은 결론이 진실이라고 믿을 때, 그 결론을 지지하는 의견은 흠이 있더라도 믿으려 한다. - Daniel Kahneman, Thinking, Fast and Slow

마감 기한이 촉박하고 자원이 제한적일 때, 결정을 뒷받침하는 '숫자'에만 관심이 있는 사람들이 있을 수 있습니다. 결국, 실험에 많은 시간과 자원을 투자하는 것은 당신이 원하는 특정 결과에 얽매이게 할 수 있습니다.

Tip : 본인과 본인이 속한 팀이 가지고 있는 편견을 알고 있어야 합니다. 데이터 결과를 해석할 때 기존에 존재하는 믿음이나 이론의 확증으로서 새로운 증거를 해석하려는 경향을 말합니다. 

 

Instrumentation effect (계측화)

결과를 바꿀 수 있는 도구, 관측자, 득점자의 변화를 말합니다. (결과 측정에 사용되는 도구의 신뢰도가 부족할 경우 평가 결과에 영향을 미치게 됩니다. : 역자 덧붙임)

Tip : 이 효과를 피할 방법은 없습니다. 실제 실험 전 다양한 브라우저와 장치로 당신의 실험을 테스트해 볼 수 있습니다. 실제 테스트가 진행되기 전 버그나 다른 문제들이 충분히 다루어질 수 있도록 실험의 질적 향상을 위해 다른 사람의 도움을 받아 보세요.

 

A/A test

A/A 테스트는 A/B 테스트와 유사합니다. 단, 두 개의 사용자 그룹에 동일한 경험이 주어지는 것만 제외하고요. (A/A 테스트는 동일한 A를 두 개의 사용자 그룹에 적용하고 각 집단을 비교하여 그 차이, 즉 오차범위가 어느 정도 되는지 확인하는 테스트 방법입니다. A/B 테스트 결과에서 집단을 분리해 생기는 오차 범위를 구해 신뢰도를 알아보고자 할 때, 객관적인 근거 자료로 활용할 수 있습니다. : 역자 덧붙임) 의심이 들 때 테스트의 품질, 데이터 수집 그리고 사용하는 툴의 무결성을 확인하고 손실되거나 변경된 데이터가 없는지 확인하는 것이 좋습니다.

 

Twyman's law

미디어 리서치 분석가 Tony Twyman의 이름을 딴 Twyman의 법칙은 통계가 흥미롭거나 일반적이지 않아 보인다면, 아마도 잘못된 결과일 수도 있다는 것입니다. 앞서 말한 편견, 비정상적인 데이터, 잘못된 설계 혹은 실험 상태 등 수 많은 이유로 인해 데이터의 결과는 왜곡될 수 있습니다.

 

User segmentation (고객 세분화)

고객이 누군지 아는 것도 좋지만, 그들의 행동 방식을 아는 것이 더 좋다. - Jon Miller

당신은 사용자 그룹을 인구 통계(성별, 나이 등) 또는 사용자의 행동(구매 행동, 참여도, 사용자 상태)에 따라 여러 그룹으로 나눌 수 있습니다.

 

Prioritize Key Metrics Over Local Metrics (국부적 지표보다 핵심 지표를 우선시하라)

중요한 것은 핵심지표입니다. 움직이기 쉬운 국부적 지표(클릭 수 등)을 향상하느라 핵심지표를 희생시키지 말아야 합니다. 하나의 예시로 블루 에이프론은 미국 식자재 업계에서 가장 큰 판매지분을 가지고 있지만, 고객 유지율(보유 비율)은 낮습니다. 표면적으로 이 회사는 잘 운영되는 것처럼 보이지만, 고객 이탈과 높은 비용은 회사 순이익에 타격을 줄 것입니다. 

 

Align on the Same Key Metrics (동일한 핵심 지표를 배정하라)

측정해야만 비로소 관리할 수 있다. - Peter Drucker

성공적인 제품 매트릭스에 대해 팀 내부에서 동일한 지표를 사용하고 있다면 그 팀은 올바른 방향으로 업무를 진행할 것입니다.