태터데스크 관리자

도움말
닫기
적용하기   첫페이지 만들기

태터데스크 메시지

저장하였습니다.


'사용성 평가'에 해당되는 글 6건

  1. 2018.05.10 사용성 비교평가 도전기 2편. 정량 평가 by 박재현 (Jaehyun Park)
  2. 2018.04.13 사용성 비교 평가 도전기 1편. 목적과 장점 by 박재현 (Jaehyun Park)
  3. 2017.05.12 프레임웍 단계에서 Task 평가를 하면 좋은 이유 by KAHYUN.
  4. 2016.08.18 중급 UX 디자이너로 성장하기 9편 - 성공적인 사용성 평가 Usability Test by 이 재용
  5. 2011.02.17 혁신적인 UI를 위해 하지 말아야할 7가지 (3) by 이 재용
  6. 2010.10.28 [서평]사용성 평가, 이렇게 하라! (1) by 이 재용
2018.05.10 07:50

사용성 비교평가 도전기 2편. 정량 평가

서론

<사용자 경험 측정>, <알기 쉬운 UX 디자인 평가> 책에 제가 정량평가에 대해 궁금했던 내용이 있어 정리했습니다. 몇 명의 참가자가 필요할지, 어떤 수치가 의미 있다고 판단할지 등을 정리했습니다. 우선 정량 데이터를 활용하면 좋은 점과 유의할 점을 알아보았습니다.


정량 평가 활용의 장점

히트맵 데이터


(1) 현상을 파악하는 데 유용합니다. 로그나 히트맵, 또는 사용자가 만족도를 평가하는 자기보고 데이터 등을 수집할 수 있습니다. 사용자 행동 패턴을 파악할 수 있습니다. 개선해야 할 문제의 우선순위를 매길 수 있습니다. 디지털 맥킨지에서는 UX 정량 데이터를 분석해 비용 대비 가장 효율적인 문제에 집중합니다.

(2) 정량 데이터는 디자인을 설득할 때 의사결정을 뒷받침하는 근거가 될 수 있습니다. 디자인을 구현하는 과정에 마케팅, 개발 분야, 경영 의사결정권자와 협의가 필요합니다. '사람들이 이 기능을 자주 사용하여 상단에 배치하였다' 와 '83%의 사용자가 이 기능을 먼저 클릭하여 상단에 배치했다.'는 같은 이야기입니다. 구체적인 수치를 통해, 의사결정을 도울 수 있습니다.

(3) 정량 데이터는 UX의 투자 대비 수익(returns on investment)을 계산하는 토대가 됩니다. UX Matters에 따르면, 경영진은 종종 기업 소속 UX 팀에 UX의 투자 대비 수익을 계산해달라 요청을 한다고 합니다. 회사의 핵심 성과 지표(KPI)에 연결할 수 있는 UX 측정 지표를 설정하여, ROI 계산에 도움이 될 수 있습니다. 디자인 전후 데이터 측정으로도 성과를 보여줄 수 있습니다.


정량 평가 활용 시 유의할 점

정량 평가 활용할 때 주의가 필요하다는 의견도 있습니다. Jacob Nielson은 정량 평가가 잘못된 결론으로 흐를 위험이 있다 경고합니다. 인사이트보다 숫자를 수집하는 것에 집중하기 쉽다는 것입니다. 정성 평가에서 사용자들이 같은 문제를 자주 겪는 것을 본다면, 굳이 얼마나 많은 사용자가 문제를 겪는지 계산할 필요가 없다는 것이지요. 정량 평가를 위해 정성 평가보다 비교적 참가자가 많이 필요하여, 비용이 더 든다는 단점도 언급하고 있습니다.


본론

(1) 얼마나 많은 참가자가 필요할까?

(사용자 경험 측정 p.151~154 참고)

정량 평가를 하려면, 신뢰도 확보를 위해 참가자를 많이 모집해야 한다는 부담이 있습니다. 사용자 경험 측정의 저자는 '8~10명의 참가자 숫자도 충분한 의미를 지닌다'라고 이야기합니다. 표본 숫자는 사용자의 다양성, 제품이 얼마나 복잡한지, 리서치 목적이 무엇인지, 시간과 비용을 고려해 정합니다. 디자인 초기 단계에 테스트를 빠르게 반복해 디자인을 개선하는 목적인 경우, 6~8명으로 테스트하기를 권합니다. '상당히 다른' 패턴을 보이는 사용자 그룹이 있다면, 그룹당 4명 정도를 권합니다. 디자인 초기에는 소수 사용자에게 주요한 문제를 확인합니다. 이후 완성 단계로 갈수록 더 많은 참여자에게 나머지 문제를 확인하는 게 일반적이라 합니다. 저자는 제품을 평가하는 경우 50~100명의 대표 사용자를 권합니다. 자사, 경쟁사 제품을 넓게 평가하며, 결과가 모집단을 대표하는 것이 중요한 목적이기 때문입니다.


대규모 표본과 대표 사용자를 결합하는 방식

대규모 표본으로 사용성 평가를 하는 경우, 데이터의 신뢰도가 높아진다는 장점이 있습니다. 반면 사용자에 대해 깊이 이해하기 어려울 수 있습니다. 소규모 인원으로 사용성 평가를 진행하면, 사용자의 행동과 태도에 대해 깊이 이해할 수 있습니다. 반면 소수 참가자가 전체를 대표할 수 있는지 의문이 있습니다. 이런 각 평가법의 한계를 고려해, 두 가지 방식을 결합할 수 있습니다. 대규모 사용성 평가를 진행하여 사용자 그룹을 구분합니다. 이후 각 그룹의 대표 사용자를 따로 모집해 깊이 있게 이야기를 듣는 방식입니다.

대규모 표본과 대표 사용자 조사를 결합하는 방식


(2) 어떻게 표본을 선택할 것인가?

(사용자 경험 측정 p.23 참고)

참여자는 연구 결과에 큰 영향을 줍니다. 최대한 실제 사용자에 가까운 참여자를 선정하도록 계획을 세우는 것이 중요합니다. 이를 위해 두 가지 단계를 거칩니다. 첫 단계는 참여자가 연구에 참여할 자격이 있는지 모집 기준을 결정하는 것입니다. 예를 들어, 제품을 많이 사용한 사람과 처음 접하는 사람을 구분해 모집할 수 있습니다. 두 번째는 참여자를 어떻게 나눌 것인가입니다. 뚜렷한 기준으로 참여자를 나눌 것이라면 그룹을 어떻게 구성할지, 각 그룹에 몇 명을 모집할지 고려합니다. 사용성 테스트에서 일반적으로 그룹은 다음과 같이 나눕니다.

  • 해당 분야 지식: 초보, 중급, 전문가
  • 사용 빈도: 매월 방문 횟수 등
  • 경험 기간: 주, 월, 년
  • 인구 통계: 나이, 성별, 거주지
  • 활동: 특정 기능 사용 여부


(3) 중요한 문제, 아닌 문제를 어떻게 구분할까?

(사용자 경험 측정 p.130 참고)

문제를 분류하는 상황

사용성 문제와 단순한 탈선을 구분하는 것은 어려운 부분입니다. 메뉴 명칭이 오해를 불러 잘못된 경로로 많은 시간을 쓴다면, 명백한 사용성 문제입니다. 불명확한 일도 있습니다. 10명 중 1명만 특정 용어에 혼동을 느끼거나, 기능을 못 찾아서 헤매는 경우입니다. 사용성 평가팀은 같은 문제가 대규모 표본에서도 일어날 가능성이 있는지 파악해야 합니다. 참여자가 태스크를 진행하는 과정이 논리적으로 타당한지 확인합니다. 행동이나 생각에 일관성이 있는지도 확인해야 합니다. 논리적으로 타당하다면 소수가 겪더라도 사용성 문제라 할 수 있습니다. 행동에 일관성이 없어 참여자가 왜 그런 행동을 했는지 설명할 수 없다면 우연히 발생한 문제로 처리할 것입니다.


(4) 유의미한 수치를 어떻게 구분할까?

신뢰 구간 없이 도표에 표시하는 경우

사용성 평가로 다양한 결과 값을 얻습니다. 예를 들어, 각 기능에 만족도를 평가합니다. 이때, 3번이 가장 만족도가 높고 5번이 만족도가 낮다는 것을 알 수 있습니다. 가장 높고 낮은 점수라고 유의미하다 볼 수 있을까요? 신뢰 구간을 표시하여 유의미한 수치가 무엇인지 판단합니다. 엑셀 도표 기능에서 오차 막대를 추가하면, 도표에 신뢰 구간을 표시할 수 있습니다. 신뢰도를 설정해서 각 점수에 해당하는 신뢰 구간을 구합니다. 오차 막대를 신뢰 구간으로 설정하면 다음과 같은 도표를 얻습니다.

신뢰 구간을 표시하는 경우

예시는 90%의 신뢰도로 신뢰 구간을 설정한 경우입니다. 3번과 5번에서 신뢰 구간이 겹치지 않고 있어, 90%의 신뢰도로 3번 질문과 5번 질문의 만족도에 유의미한 차이가 있다고 말할 수 있습니다.

이렇게 오차 막대를 해석하는 방법에 대표적으로 3가지 방법이 있습니다.

(알기 쉬운 UX 디자인 평가 p.181 참고)

  • 두 평균 사이에 오차 막대가 겹치지 않는다면, 아무 문제 없이 평균들이 정해진 신뢰 수준하에서 통계적으로 유의미하게 다르다고 가정할 수 있다.
  • 두 평균 사이에 오차 막대가 넓게 겹친다면, 아무 문제 없이 그 평균들이 유의하게 다른 것이 아니라고 가정할 수 있다.
  • 두 평균 사이에 오차 막대가 살짝 겹친다면, 그것이 유의미하게 다른지 확인하기 위해 추가적 검정을 할 필요가 있다. (T검정)


결론

UX에서 데이터 활용에 관한 글을 썼습니다. 데이터를 맹신하기보다 정성 자료와 종합하여 의사결정을 돕는 자료로 사용할 수 있습니다. 필요할 때 설득에 근거로 활용할 수도 있겠습니다. 데이터 분석을 위한 데이터보다, 사용자 경험 향상을 위한 데이터 활용을 돕기를 바라며 글을 마무리합니다.



[참고##데이터 분석##]

팀블로그 pxd Story 구독 방법  블로그 글은 각 개인의 생각이며 피엑스디와 다를 수 있습니다.


Trackback 0 Comment 0
Ad Test...
2018.04.13 07:50

사용성 비교 평가 도전기 1편. 목적과 장점

우리 제품이 경쟁 제품과 비교해 어떤 점이 좋을까?
(예시: 음악 감상 앱 Melon vs. Spotify)


1. 들어가며

처음으로 사용성 비교 평가 프로젝트를 하였는데, 제가 개인적으로 궁금했던 것들을 정리해보았습니다. 본문의 내용은 글 하단에 있는 참고 자료를 바탕으로 필요한 부분을 발췌, 요약하여 작성하였습니다.


2. 목적 알기

사용성 비교 평가의 정의

사용성 비교 평가는 경쟁사 대비 자신의 제품이나 서비스가 얼마나 사용하기 편리한지 평가하는 방법입니다. 다른 말로 경쟁력 평가라고도 합니다. 비교 평가는 서비스 전반에 걸쳐 이루어질 수 있습니다. 보고 싶은 기능이나 콘텐츠, 디자인 요소에 초점을 맞춰 이루어질 수 있습니다.


사용성 비교 평가의 목적

사용성 비교 평가도 사용성 평가와 같이, 제품의 사용성을 향상하기 위해 실시하는 것입니다. 특수한 점은 경쟁사 제품을 비교해 봄으로써, 같은 디자인 문제를 경쟁자들은 어떻게 풀고 있는지 알 수 있습니다. 각 제품이 어떤 장, 단점을 가졌는지 알게 됩니다. 이를 통해, 가져가야 할 장점과 피해야 할 단점을 파악하기 위함입니다. 내부 이해관계자에게 제품 사용성을 개선해야 한다는 경각심을 주는 것이 사용성 평가의 중요한 목적 중 하나라는 의견도 있습니다.


사용성 비교 평가의 장점

1. 사용자가 두 제품을 비교하므로, 의견이 비교적 분명히 드러납니다

사용성 테스트 장면

사용자가 한 개만 사용하고 평가할 때는 중립적으로 이야기할 수 있습니다. 하나의 제품을 써보고 사용자는 “괜찮아요, 불편한 점 없어요.”라고 말할 수 있습니다. 1~5까지 점수로 표시할 때, 3으로 표시하는 상황입니다. 물론, 비교 평가를 해도 그렇게 말하는 사용자가 있습니다. 하지만 사용자도 두 가지를 비교해 봄으로써 장단점을 느끼고 대비해 이야기하는 경향이 있습니다. 실제 테스트를 진행할 때, 두 제품을 다 사용한 뒤 차이를 비교해서 느낀 점을 공유 달라는 질문에 유용한 답이 많이 나왔습니다.


2. 기준점으로 판단할 수 있는 데이터가 나옵니다

제품 하나를 평가할 때 vs 2개를 비교 평가할 때

예를 들어 볼까요. 제품의 편리성을 평가하고 싶습니다. A사의 편리성 점수가 3.8점이 나왔습니다. 이 제품이 편리한지 객관적으로 판단할 수 있을까요? 한 회사의 현재 데이터만 가지고는 가설을 검증하기 어렵습니다. 비교 평가를 통해, 다른 회사의 점수가 있다면 우리 회사가 비교적 편리하다는 이야기를 할 수 있습니다. 예를 들어, B 회사 점수가 3.5점이라면 우리 회사가 편리성에서는 더 낫다는 결론을 낼 수 있겠지요. 따라서 타 회사 데이터를 통해 기준점을 세우고, 사용자의 정성 보이스, 전문가 의견을 종합하면, 어떤 이유에서 이런 결론이 나왔는지 종합적으로 판단할 수 있겠습니다.


사용성 비교 평가를 하는 시점

제품 생애 주기 기준, 사용성 비교 평가 시점


다음은 사용성 비교 평가가 유용하게 사용되는 시점입니다. 주로 시장 선, 후발주자가 제품 개선 전, 후 과정에 사용합니다.

  • 시장에 새로 제품을 출시/제품에 변화를 준 후, 객관적 검증이 필요할 때
  • 다음 제품을 출시하기 위한 인사이트를 도출하고자 할 때
  • 시장 점유율이 정체되거나 떨어질 때, 원인을 파악하고자 할 때 (포커스 그룹 인터뷰와 병행)
  • 디자인에 대한 일관된 평가 기준이 부족할 때, 일관된 평가 기준을 도출하기 위해 (평가 프레임 설계와 병행)


3. 실행하기

평가의 목적 세우기

목적이 분명할수록 유용하고 정확한 결과를 얻게 됩니다. 목적이 불분명한 상황에서 자사와 경쟁사 제품의 모든 기능을 보려고 하면 테스트 시간이 길어집니다. Nielson Norman 그룹에 따르면 테스트 시간이 90분 이상으로 길어질 때 테스트 참가자 집중력이 감소합니다 (1명 테스트 기준). 따라서, 더욱 유용한 결과를 위해 평가하고자 하는 기능과 목표를 구체적으로 설정해 사용자 시간을 최대한 활용하는 것이 좋겠습니다. 가능하다면 측정 가능한 지표를 세우는 것도 좋습니다.

‘우리 제품이 경쟁사 대비 사용하기 편한지 알아보고 싶다'는 좋은 출발점이 될 수 있습니다. 하지만 추상적인 목표이므로 구체화할 필요가 있습니다. 어떤 사용자 그룹이 특별히 걱정되나요? 제품의 어떤 기능이 가장 사용하기 어려운지 나열해보면 도움이 됩니다. 어떤 과업(task)을 설계하면 예상되는 문제점을 확인할 수 있을지, 어떤 방법으로 사용자의 어려움을 측정할 수 있는지 정리해 봅니다.


전문가 평가, 사용자 평가

사용성 비교 평가 시에, 전문가 평가와 사용자 평가를 병행하는 경우가 많습니다. 전문가가 보는 관점과 사용자가 보는 관점이 다르기 때문입니다. 두 평가 방식이 각각 어떤 장점이 있을까요.


1. 전문가 평가

휴리스틱 기준

전문가는 주로 디자인 가이드라인, 휴리스틱 가이드, 전문가의 과거 경험에 비추어 제품의 사용성을 진단합니다. 전문가는 기업이나 제품에 중립적이고, 타겟 사용자가 아닐 때 객관적인 평가를 할 수 있습니다. 전문가는 비즈니스 도메인, 사용성, UX에서의 충분한 경력을 고려합니다. 전문가 평가는 사용성 가이드라인을 벗어나거나 기준을 어긋나는 것을 발견할 때 유용합니다. 사용자들은 이런 문제를 ‘설명할 수 없지만 불편하다’고 느낍니다. 하지만 적당한 단어를 찾지 못하거나, 자신감 있게 이게 문제라고 말하지 못하기도 합니다. 전문가는 빠른 시간에 전문 용어와 기준을 들어 사용자가 설명하기 어려워하는 문제를 진단합니다.


2. 사용성 평가 (사용자 평가)

사용자 평가를 통해, 사용할 때 실제로 겪을 수 있는 문제를 알 수 있습니다. 전문가나 디자이너가 예상하지 못했던, 사용자로서 발생하는 문제점을 알게 됩니다. 의견을 들으면서 진행하는 경우, 사용자의 니즈, 불편한 점, 감정, 제품에 기대하는 것을 복합적으로 이해하게 됩니다. 사용자 평가에서 우리가 고쳐야 할 더 깊이 있고 ‘심각한’ 문제가 발견됩니다.


3. 팁

UX Matters 컬럼에서 9명의 사용성 및 UX 리서치 전문가들이 모여 전문가 평가와 사용자 평가 활용 팁을 공유합니다. Infragiastics의 UX Director, Tobias는 사용성 평가를 하기 전에, 전문가 평가를 통해 쉽게 발견할 수 있는 사용성 문제를 우선 해결한 뒤에 사용성 평가를 진행할 것을 권하고 있습니다. 전문가 평가를 통해, 디자인 가이드라인을 벗어나는 문제를 정리합니다. 이후 정말 찾아내기 어렵지만, 우리에게 실제로 가장 중요한, 사용자로서의 사용성 문제에 시간과 비용을 집중할 것을 권합니다. Tobias는 두 방법을 상호 보완적으로 사용함으로써, 비용 대비 높은 효율로 디자인 문제를 해결할 수 있다 이야기합니다.


4. 집중하기

‘승자’에 집착하지 않는 것

사용성 비교평가에서 주의할 점은 중요한 목적에 집중하는 것입니다. 목적은 사용성 개선입니다. 비교 평가는 주로 정량 평가를 병행합니다. 점수로 승패가 나오기 때문에, 결과 자체가 목적인 것처럼 느껴지기 쉽습니다. 학교 다닐 때, 점수를 잘 받기 위해 공부하는 식입니다. 점수 자체보다는, 이 테스트 결과를 통해 앞으로는 어떤 전략을 취할 것인지, 어떤 갭을 채울 것인지에 집중합니다. 설령, 자사가 높은 점수를 얻었다고 해도 수치를 평균 내 비교한 값일 뿐입니다. 자사와 경쟁사 제품을 사용하며 평가한 사용자의 행동, 의견을 종합해 보아, 도움이 되는 방향을 잡아야 하겠습니다.


다음은 사용성 비교평가 후 질문해보면 좋을 것입니다.

  • 경쟁자의 가장 큰 강점은 무엇인가?
  • 전체적으로 보이는 경향성은 없는지?
  • 경쟁사가 창의적으로 문제를 해결한 때도 있는지?
  • 콘텐츠나 기능에서 채울 수 있는 틈이 있는지?


5. 맺음말

이번 글에서는 사용성 비교 평가는 어떤 장점이 있고, 어떻게 수행하는지 살펴보았습니다. 이번 프로젝트는 2개의 제품을 60명 이상의 사용자를 대상으로 진행하여 풍부한 데이터를 얻었습니다. 점수 값의 원인을 찾기 위해 사용자 보이스를 분석하는 과정이 재미있었습니다. 다음 글에서는 사용성 평가에서 정량 데이터 활용하는 방법을 소개하려 합니다.



[참고##사용성 평가##]

팀블로그 pxd Story 구독 방법  블로그 글은 각 개인의 생각이며 피엑스디와 다를 수 있습니다.


Trackback 0 Comment 0
Ad Test...
2017.05.12 07:50

프레임웍 단계에서 Task 평가를 하면 좋은 이유

이미 출시된 서비스의 문제점을 파악하여 새로운 시안을 고민할 때 UT(Usability Test)를 진행하곤 합니다. As-is 서비스의 사용성을 평가한 적은 많지만 To-be 서비스의 사용성 평가는 일정에 쫓기다 보면 진행하기 어려운 경우가 많습니다. 최근 참여했던 프로젝트에서 운 좋게도 기획한 To-be 시안 평가를 진행할 기회가 있었습니다. 보통 프레임웍 선호도를 조사할 때 프린트된 시안을 가지고 A,B안의 선호도 조사를 진행하지만 이번에는 간단한 메인 Task도 평가해보기로 했습니다. 프레임웍 단계에서 Task 평가를 진행하니 프린트된 화면을 통해 듣는 이야기와 다른 사용자의 이야기를 들을 수 있었습니다. 이번 포스팅에서는 프레임웍 단계에서 Task를 평가를 진행하며 깨달은 몇 가지를 공유하고자 합니다.



직접 사용할 사용자의 적극적인 의견을 들을 수 있는 기회

테스트는 먼저 프린트된 프레임웍 시안 화면을 통해 As-is 화면에서 To-be 화면이 어떻게 바뀌었는지 파악한 다음 프로토타입으로 각 시안 별 Task를 수행하는 방식으로 진행되었습니다. 사용자가 프린트된 시안을 볼 때에는 '이 영역이 커서 좋아요.' '메뉴가 잘 보여서 좋아요.' 등 화면에서 어떤 영역이 잘 보이는지, 메뉴가 잘 보이는지 등 화면에서 보이는 기능과 정보 위주로 답변을 해주었습니다. 그런데 Task 평가를 수행 후, '알림 영역에서 문제를 바로 해결할 수 있었으면 좋겠어요.' '이 Task에서는 이 영역은 필요 없을 것 같아요.' 등 화면에서 더 개선되었으면 하는 기능과 불필요한 기능에 대해 이야기를 해주었습니다. 프린트된 화면으로만 인터뷰할 때보다 풍부한 의견을 많이 수집할 수 있었습니다. 사용자는 전문가가 아니기 때문에 프린트된 화면을 볼 때는 화면에 보이는 부분에 대해 평가를 할 수밖에 없습니다. 이때 Task 평가를 같이 진행하면 To-be 화면에서 더 개선되면 좋을 화면에 사용자의 생생한 의견을 수집하기 좋은 환경을 제공합니다.

정지된 화면을 볼 때는 메뉴 위치 등 화면 내의 기능에 대한 평가가 이루어지지만, Task 수행 시 Task와 화면을 연관 지어 평가하게 됩니다.



서비스가 운영되는 맥락을 고려해 시안을 낼 수 있는 기회

As-is의 화면은 한 화면 내에 필요한 기능과 정보가 모두 표시되어 초보자가 사용하기에는 복잡한 느낌이 있었습니다. To-be 화면은 복잡해 보이는 부분을 개선하고자 하여, 2가지의 프레임웍 시안을 냈습니다. A안은 정보가 간략하게 변화하는 시안이었고, B안은 안정적인 레이아웃을 유지하는 시안이었습니다. 정보량을 봤을 때 A안이 더 간략한 정보로 구성되어 A,B안 중 A안이 B안보다 낫다고 생각했습니다. 하지만 막상 UT를 진행하니 B안을 선호하는 사용자가 많았습니다. 사용자가 B안을 선택한 가장 큰 이유는 A안은 변화가 일어나기 때문에 '안정성'이 가장 중요한 해당 서비스에서 사용하기 불안하다는 것이었습니다.

프레임웍을 설계하다 보면 화면에서의 사용성, 정보의 간결성을 중심으로 생각하게 됩니다. 하지만 서비스가 운영되는 환경에 따라 사용성보다는 안정성이 우선시 될 수 있는 것입니다. 프레임웍을 디자인할 때 '작은 변화'라고 생각했던 부분이 사용자에게는 시안을 선택하지 않은 1순위의 이유가 될 수 있었습니다. UT를 통해 서비스가 사용되는 환경을 고려해 서비스가 어느 부분에 중점을 두어야 하는지 확인할 수 있었습니다.

작은 변화라고 생각했던 인터랙션이 불안정한 시스템 운영 환경에서는 크리티컬한 요소가 될 수 있습니다.



고민했던 아이디어를 사용자의 시선에서 검증할 수 있는 기회

사용자에게 아무리 몰입해도 실제 사용자일 수는 없는 것 같습니다. 인터뷰에서 언급되지는 않았지만, 사용자가 더 편리하게 사용할 수 있도록 필요한 기능들을 추가했습니다. 특정 직업군이 사용하는 서비스이기 때문에, 인터뷰에서 언급되지 않은 기능을 추가하거나 As-is 서비스 용어를 바꾸면서 실제 사용자도 정말 쉽다고 생각하는지, 이 정도의 용어는 써도 괜찮은지 확신이 서지 않았습니다. Task 평가를 진행하니, 실제 서비스 사용에 몰입한 사용자를 통해 새로운 기능, 용어를 검증할 수 있었습니다.


디테일한 부분까지 설계할 수 있는 기회

프레임웍을 프로토타입으로 만드는 것은 사용자를 위한 디자인을 하는 것뿐 아니라 디자이너에게도 설계한 화면들을 돌아보는 기회를 제공합니다. 메인 화면 중심으로 화면을 설계한 후 설계서 작업에 들어가면 화면 이동이 어색하거나 다른 화면들과 이질적인 화면이 생기는 경우가 종종 있습니다. Task 평가를 위해 설계한 프레임웍을 연결 지어서 보고, 필요한 화면을 이미 설계한 화면과 비교하면서 작업하니 분절된 화면들이 하나의 서비스로 느껴지며 실제 구현시 어색한 부분은 없는지 확인할 수 있었습니다.

스케치에서 Task 별로 화면을 설계해보면 메인 프로세스에서 필요한 화면 중 빠진 것이 없는지 파악하기 쉽습니다.



마치며...

프레임웍이지만 실제 서비스를 사용하듯 테스트에 몰입하는 사용자를 보며 그동안 서비스가 사용자를 만나려면 화면의 완성도가 높아야 한다는 편견(적어도 색은 입혀야 되지 않을까?)을 깨게 되었습니다. 물론 최소한의 완성도는 필요합니다. Low-fidelity 툴을 사용하다 보니 제한된 인터랙션으로 프로토타입을 제작할 수밖에 없었습니다. 그러다 보니 화면 선택 시 매끄럽게 진행되지 않은 부분이 있었습니다. 사용자가 화면 평가 시 인터랙션 요소가 bias가 된 것 같아 만약 인터랙션이 원만했다면.. 하는 아쉬움이 남습니다.

또, 사용자는 To-be 화면을 처음 마주하기 때문에 Task와 관련 없는 기능들도 어떻게 바뀌었는지 궁금해합니다. 제작기간이 충분해서 2depth 메뉴 화면들까지 설계했다면 보다 실제 서비스를 사용하는 몰입감을 제공했을 것입니다. 일정이 빠듯한 양산 프로젝트에서 프레임웍을 가지고 UT를 진행하기는 쉽지 않습니다. UT를 진행하기 어려운 상황이라면 디자이너가 스스로 프레임웍이 잘 설계되었는지 판단하기 위한 용도로써 플로우를 한눈에 볼 수 있는 프로토타입을 만들어 보는 것을 추천합니다.

[참고##사용성 평가##]


팀블로그 pxd Story 구독 방법  블로그 글은 각 개인의 생각이며 피엑스디와 다를 수 있습니다.


Trackback 0 Comment 0
Ad Test...
2016.08.18 07:45

중급 UX 디자이너로 성장하기 9편 - 성공적인 사용성 평가 Usability Test

사용성 평가를 성공적으로 하려면 어떻게 해야할까?


정답: 그냥 하면 된다. 왜냐하면 모든 사용성 평가는 성공하기 때문이다.


좀 극단적으로 이야기했지만 (이 시리즈는 언제나 자극적인 문구로 시선을 끄는 것을 목표로 한다는 점은 이제 독자들도 알 듯) 중급 디자이너라면 이런 질문을 해 보아야 한다.



왜 모든 사용성 평가는 성공할까?


물론 회사에서 돈 들여 만들었는데, 평가에서 성공하지 않는다면 매우 곤란하다. 만든 사람이 평가하는 구조, 혹은 만든 사람에게 고용된 사람이 평가를 하는 구조에서 난데없이 실패 평가를 내리기란 어렵다. 하지만 이런 정치적인 이유를 지적하려는 건 아니다. 그렇다면 왜 많은 사용성 평가가 성공적일까?


그 이유는, 대개의 사용성 평가에서 사람들은, 자신이 보려는 것을 보기 때문이다.


예를 들어 특정 화면에서 메뉴의 활용성을 높이기 위해 특정 메뉴를 더 잘 보이게 만들었고, 그것을 가지고 사용성 평가를 하면 당연히 메뉴가 잘 보이니까 활용성이 높아질 것이다. 바보가 아닌 다음에야, 특정 A 목적으로 개선을 하고, 그 A 를 가지고 테스트를 했다면 적든 많든 무언가 개선된 것 결과가 나올 확률이 99%인 것이고, 그렇게 나오지 않았다면 이상한 일이다.


그렇다면 이렇게 계속 A 목적에 이어, B를 위해, C를 위해 개선하고 평가하고 개선하고 평가한다면 마침내 우리 제품은 우주 극강의 편리한 제품이 되겠네? 왜냐하면 A 목적으로 개선했을 떄, 평가해 보면 성공적, 그 뒤 B 목적 개선 후 평가 결과도 성공적, C 목적 개선 결과도 성공적, 이렇게 계속 성공적이기만 할테니까 말이다. 


하지만 현실은 그렇지 않다. 왜냐하면 대개 B를 개선한 결과는 성공적이지만, 이렇게 할 경우 앞의 A를 훼손할 수가 있기 때문이다. 또 C를 개선해서 평가하면 분명 C는 개선된 걸로 나오지만 그렇게 함으로서 B나 A 가 훼손될 수 있기 때문이다. 이것이 늘 성공적인 사용성 평가 결과를 가지고도 전체적으로 제품의 사용성은 개선되지 않는 것에 대한 현실의 함정이다.


예를 들어 '햄버거 메뉴 논란'을 다시 생각해 보자. 햄버거 메뉴의 가장 치명적인 문제는 메뉴가 무엇이 있는지 보여주지 않기 때문에 메뉴를 찾고 메뉴를 네비게이션 하기 어렵다는 점이다. 


닐슨노만 그룹의 햄버거 메뉴에 대한 사용성 평가에서도, 데스크탑이나 모바일에서나 햄버거 스타일의 숨겨진 메뉴는 치명적인 사용성 문제를 갖고 있었다.

Hamburger Menus and Hidden Navigation Hurt UX Metrics


그렇다면 우리 모두 햄버거 메뉴를 버려야 하나?


사이트의 목적에 따라 다를 수는 있지만 어떤 사이트, 어떤 앱에서는 사람들이 다소 메뉴를 찾기 쉽지 않더라도 포기할 수 없는 시각적 아이덴터티가 있을 수 있다. 그런 이유로 햄버거를 도입한 사이트에서 '쉬운 메뉴 네비게이션'이란 목적으로 햄버거 메뉴를 없애고 모든 메뉴를 다 꺼내 놓은 개선을 한 뒤, 사용성 평가를 한다면, 그 평가 결과는 '매우 우수'하게 나올 것이다. 그러나, 그와 동시에 그 사이트의 개성 강한 시각적 아이덴터티를 잃게 될 수 있고, 이는 쉬운 메뉴 네비게이션에서 얻는 경영적 이익보다 훨씬 더 큰 손실로 이어질 수도 있다.

그러나 이러한 '손실'은 '쉬운 메뉴 네비게이션'을 측정하는 사용성 평가에서는 측정되지 않는다. 무엇을 얻었는지에 주목하고, 무엇을 잃었는지는 부각되지 않기 때문에, 모든 사용성 평가는 성공적인 결과로 끝난다.



그럼 어떻게 사용성 평가를 해야 하나?

UserFocus의 David Travis는 그의 글에서, 다음과 같은 네 가지 사용성 평가의 원칙을 이야기하고 있다.


4 forgotten principles of usability testing


- 테스트 사용자를 선택할 때, 데모그래픽이 아닌 행동 패턴에 따라 선택하라

- 사업에서, 또 사용자에게 가장 중요한 업무를 중심으로 테스트하라

- 사람들이 무어라 말하는지 듣지말고, 어떤 행동을 하는지에 집중하라

- 사용자에게 인터페이스를 다시 디자인해 보라고 요청하지 마라


특히 이 중에서, 두 번째와 세 번째가 지금 이 글에서 하고 싶은 이야기와 연결이 된다. 


중급 UX 디자이너는 사용성 평가에서 항상 우리 사업의 가장 중요한 부분, 또 우리 사용자에게 가장 중요한 부분을 테스트해야하고, 또 다른 목적의 사용성 평가를 하더라도, 위의 부분이 훼손되지 않았는지, 즉 C를 이루면서 A나 B가 훼손되지 않았는지 살펴 보아야 한다.

모든 것이 다 좋은 UX란 없고, 대개 무언가를 개선하면 무언가는 나빠지는 법이다. 특정한 비즈니스 목적, 사용자의 목표에 맞도록 최적화하는 것은 이러한 무언가를 서로 조절하는 일인데, 하나의 평가 결과를 보고, 그것만 생각해서는 중급 디자이너가 될 수 없다.


특히 특정 기능을 고쳤을 때 사람들이 '좋아요'라고 말하는 건 당연하기 때문에, 그들이 일상생활 속에서 이것을 썼더라면, 어떤 반응을 보였을 지를 아는 것이 중요한데, 그들의 행동을 유심히 관찰하는 것 만이 이것을 아는 방법이다. 얼마전에도 대대적인 개편을 한 UX가 사람들이 싫어하는 바람에 욕을 먹고 있다는 뉴스를 보면서, '왜 그 사람들은 사용자 평가를 안 했을까?'라고 궁금해한다면, 그건 초급 디자이너의 질문이다.


중급 디자이너라면 이렇게 물어야 한다. "분명 사용자 평가에서는 성공적으로 나왔을텐데 왜 실제 상황에서 사용자들은 최악의 평가를 내렸을까?" 


그리고 그에 대한 답은 이미 위에 썼다.


모든 사용성 평가는 성공하기 때문이다.

[참고##사용성 평가##]


팀블로그 pxd Story 구독 방법  블로그 글은 각 개인의 생각이며 피엑스디와 다를 수 있습니다.


Trackback 0 Comment 0
Ad Test...
2011.02.17 21:44

혁신적인 UI를 위해 하지 말아야할 7가지

원래 발표는 2008년 HCI 학회에서 했었고, 수정한 발표를 2010년 11월 8일 UXEYE(UX Symposium)에서 진행하였는데, 그 동영상이 얼마전에 공유되었기에 알려드립니다.

동영상 강의는
http://id.kaist.ac.kr/ux2010/
에서 보실 수 있고,

동영상 강의가 아니라 단순하게 슬라이드 셰어(음성 포함)로 보고 싶으시면,
http://www.slideshare.net/arangyi/2010-uxeye-ui-7
에서 보시면 됩니다.

참고로, 제 강의 말고 UX Symposium 전반에 관한 내용을 다룬 블로그들은 저희가 한 번 정리한 바 있습니다.
http://story.pxd.co.kr/323

또한, 사진 공유입니다.
http://www.flickr.com/photos/39269063@N00/sets/72157625400005948/

[참고##컨퍼런스발표##]

팀블로그 pxd Story 구독 방법  블로그 글은 각 개인의 생각이며 피엑스디와 다를 수 있습니다.


Trackback 1 Comment 3
Ad Test...
2010.10.28 21:44

[서평]사용성 평가, 이렇게 하라!

사용성 평가 이렇게 하라
(Rocket surgery made easy : the do-it-yourself guide to finding and fix
)
스티브 크룩 Steve Krug 번역:이지현,이춘희

상식이 통하는 웹사이트가 성공한다(Don't make me think!)의 저자 스티브 크룩의 신간을 번역한 이 책은 앞의 책에서 보여줬던 저자 특유의 명쾌함이 그대로 살아 있으면서도, 직접 사용성 평가를 해야하는 많은 사람들에게 큰 도움을 줄 것으로 보인다. 번역도 매우 매끄럽게 잘 되었다.

90년대에 UI 혹은 HCI 업계는 지나치게 사용성 평가 중심으로 치우쳐져 있었다. 더군다나 초기에 전문가를 자처한 사람들이나 회사들이 UI = UT라고 생각하며 서비스를 남발한 나머지 대부분의 고객 회사들은 사용성 평가가 UI의 전부라고 생각하면서 프로젝트를 의뢰했는데, 결과는 너무나도 뻔한 내용만 나오는 실망의 과정을 반복했다. 그도 당연한 것이, 고객은 그 문제에 대해 몇 년간 고민한 전문가이고, 서비스를 제공하는 에이전시나 학교는 이제 막 학부나 대학원 졸업한 신입사원 레벨의 사람들이 책 몇 권 읽은 것을 가지고 UT를 진행하여 발견한 내용이니, 자기들에겐 신기할지 몰라도 고객들에겐 너무나 당연한 내용이었던 것이다. 2002년 UI 회사를 설립하고 대기업 담당자들을 만날 때마다 듣는 말이 '우리 이미 UI (=UT) 해봤는데 별거 없더라. 관심없다' 이런 내용이었다. 이렇게 사람들의 UT에 대한 거부감은 늘어만 갔다.


이 책에서는 누구나 쉽게 할 수 있는 UT를 주장한다. 그러면서 '아마추어가 직접 테스트를 하더라도 사용성이 더 나빠진 경우는 없다'라고 주장한다. 맞는 말이다. 하지만 아마추어가 '전문가인척 하면서' 진행하는 사용자 테스트는 그 방법론 자체에 대한 신뢰를 떨어뜨린다. 업계 전체를 어렵게 만든다. 그런 부정적인 인식을 제거하면서 사업을 해 왔기에 더욱 절실하다. 예를 들어 우리가 어떤 방법(저널링)을 쓰겠다고 하면, 고객사에서 '우리 이미 그 방법 해 봤는데 별로 건지는 거 없더라'라고 말한다. 그래도 우리는 한다. 왜냐하면 어떤 방법이든 누가 하는가가 중요하기 때문에. 그래서 이 책이 광범위하게 퍼지는 것이 조금은 걱정이 된다.

그러나, 자기 스스로가 아마추어임을 속이지만 않는다면, 이 책은 너무나도 소중한 책이다. 저자가 오랜 동안 실무를 해 오면서 느낀 점을 모았기 때문에, 아마 이런 업무를 해 온 사람이라면 책을 읽는 내내 고개를 끄덕일 것이다. '미국이라고 별로 다를 게 없군', '우리랑 똑같군', '내가 생각한 거랑 비슷하군' 등등. 또 저자가 오랜 동안 이 내용을 다른 사람들에게 가르치면서 다듬은 내용을 책으로 썼기 때문에 초보자들도 쉽게 배울 수 있을 거라 확신한다. 신간에 FAQ라니...

특히 저자 특유의 명쾌함은 전작에서도 매우 좋아했던 부분인데, 이번에도 유감없이 발휘되었다.

한 달에 한 번의 오전 시간, 우리가 요구하는 모든 것 / 당신이 옳다고 생각하는 때보다 더 일찍 시작하라 / 리쿠르팅은 엄격히 하지 말고, 상대 평가하라. / 관중 스포츠로 만들어라. / 무자비할 정도로 가장 심각한 문제에만 집중하라 / 문제를 고칠 때는 당신이 할 수 있는 최소한만 하라.

일반적으로 업계에 축적된 지혜도 단순하게 풀고 있을 뿐만 아니라, 업계에서는 보통으로 생각하지 않는 파격적인 제안들도 들어 있는데 이 부분이 특히 내 생각과 비슷하다. 아울러 에이전시에 오래 근무한 사람들은 자신이 매우 익숙한 분야라 할지라도, 인하우스의 관점에서 새로운 시각을 제시하기 때문에 읽어볼 만 하다. UT에 대한 중요성은 아무리 강조하여도 모자란데, 이 책이 그런 점을 다시 한 번 사람들에게 상기시키는 계기가 되었으면 한다. 당신이 UT에 대해 실망했다면, 그건 방법론에 문제가 있는게 아니라, 당신에게 UT를 해 준 사람들에게 문제가 있었던 것이다. 그들이 전문가였다면, UT에서 좋은 인사이트를 발견해 줄 수 있었을 것이고, 또 UT가 어떤 한계가 있는가(어떤 목적이라면 UT를 해서는 안 되는가)를 분명히 알려주었을 것이다.

요약하면, 업계에 있는 사람들은 누구나- 에이전시나 인하우스나, 전문가나 아마추어나, 경력자나 신입이나- 읽어야 할 책이라고 본다.

팀블로그 pxd Story 구독 방법  블로그 글은 각 개인의 생각이며 피엑스디와 다를 수 있습니다.


Trackback 1 Comment 1
Ad Test...