사용성 비교 평가 도전기 3편. 관찰과 녹화

들어가면서

사용성 평가를 할 때 중요한 부분이 관찰 및 녹화 세팅입니다. 성공적인 사용성 평가는 사용성 개선으로 이어지는 평가일 것입니다. 개선을 위해서는 추가 비용과 노력이 듭니다. 이해관계자와 의사결정권자가 평가 결과와 제안하는 사항에 동의해야 진행할 수 있습니다. 동의를 얻기 위해서 사람들을 설득하고 공감을 얻어야 하는데요. 백문이 불여일견이라고 합니다. 백번 설명하는 것보다 한번 눈으로 확인하는 것이 효과적일 때가 많습니다. 사용자들이 어려움을 겪는 화면, 표정, 이야기를 직접 관찰하는 것이 효과가 크다는 것입니다. 확인하는 방법으로는 관계자가 평가 현장에 참관해 관찰하거나, 평가를 녹화한 장면을 보는 방법이 있습니다. 

이해관계자가 (클라이언트 등) 참관하는 경우, 평가실과 관찰실을 따로 세팅하는 경우가 많은데요. 제가 참여한 사용성 평가를 예로 들어 어떻게 세팅했는지 이야기해 보겠습니다. 평가실에 모더레이터와 평가 참여자들이 있었습니다. 관찰실에는 모더레이터 이외 팀원과 이해관계자가 있습니다. 평가 참여자는 각각 본인 혹은 테스트 모바일 디바이스로 평가에 참여합니다. 디바이스가 2개 이상인 경우, 와이파이로 디바이스를 스크린 미러링 소프트웨어에 연결시켰습니다. 이렇게 해야 관찰실에 있는 모니터에서 디바이스 화면을 동시에 볼 수 있기 때문입니다. 평가실에 비디오 카메라를 설치해, 관찰실에서 사람들의 모습과 음성을 들을 수 있도록 했습니다. 

참가자의 디바이스와 관찰실의 PC를 연결하려면 미러링 소프트웨어가 필요하고, 상황에 맞는 미러링 소프트웨어를 사용하는 것이 좋습니다. 스크린 미러링은 디바이스의 화면, 음성을 다른 장치에 재현해 보여주는 기술을 의미하는데요. 애플의 AirPlay, 삼성의 SmartView 기능이 대표적입니다. 애플에서 AirPlay를 켜면, Apple TV 와 연결이 가능하지만, PC나 Laptop과 연결하려면 미러링 소프트웨어가 필요합니다. 미러링 소프트웨어 종류가 여러 가지가 있습니다. 비슷한 듯 하지만 기능이나 제약 사항이 조금씩 달라서, 저희 프로젝트에서는 몇 가지 소프트웨어를 테스트해 보고 결정했습니다. 

미러링 소프트웨어를 테스트할 때 확인할 부분

1. 와이파이 연결이 안정적인가?

기본적으로 대부분 미러링 소프트웨어는 와이파이를 통해 디바이스와 연결합니다. 평가실, 관찰실의 와이파이 환경을 테스트해보는 것이 중요합니다. 유의할 점은 업무 시간과 업무 외 시간에 와이파이 트래픽이 다를 수 있습니다. 업무 외 시간(이른 아침, 늦은 밤)에 테스트 할때는 괜찮았는데, 실제 평가 때에 와이파이가 느려서 미러링에 차질이 생기는 상황도 있으니 평가와 유사한 상황에서 테스트를 권합니다. 

2. 다양한 디바이스 연결할 때도 안정적인가?

안드로이드와 아이폰을 섞어서 연결할 경우 속도가 다르거나, 연결이 어려울 수 있습니다. 같은 안드로이드, 아이폰이라고 해도 기종 별로 미러링이 잘 되거나 안되는 경우가 있습니다. 저희는 미리 테스트 참가자의 핸드폰 종류를 받고, 같은 핸드폰으로 연결 테스트를 해보았습니다. 연결이 안되는 핸드폰의 경우 미리 테스트용 핸드폰을 준비했습니다. 

3. 녹화가 안정적인가?

화면 녹화도 중요한 부분인데요. 미러링을 하면서 녹화를 어떻게 할 것인지 테스트해 보는 것이 중요합니다. 미러링 소프트웨어에 녹화 기능이 내장되어 있지만, 화질이 다르고 저장 속도도 다릅니다. 저희는 QuickTime 에 내장된 녹화 기능을 사용했습니다. 이 경우에도 미러링 하면서 녹화를 수행할만큼 PC 성능이 따라주는 지 확인할 필요가 있습니다. 녹화가 불안정할 경우, 카메라로 화면을 직접 녹화하거나 핸드폰에 내장된 녹화 기능을 사용할 수도 있습니다.

미러링 소프트웨어 3가지

1. Reflector 3 

• 연결 가능한 기기: iOS, Android (iOS/Android 기기 동시 연결 가능)
• 연결 방식: Wifi
• 최대 연결 가능 기기 개수: 무제한 (4대 이상 연결 시 튕김 현상 발생)
• 사용 가능 PC: Mac, Windows
• 무료 사용기간: 7일
• 가격: 14.99달러 (1 PC 당, 기간 제한 없음)
• 내장 녹화 기능: 있음 (저장에 시간 오래 걸려서 사용이 어려웠음)
• PC에서 기기 조작: 불가능

Reflector 3 사용했던 방법

1. 모바일 디바이스를 PC와 동일한 와이파이에 연결한다. 

How to Screen Mirror iOS 11

2-1. iOS의 경우, Screen Mirroring > PC로 연결

How to Screen Mirror to Reflector 3 with iOS 11

2-2. Android 5+ 의 경우, Cast Screen 기능으로 연결

How to Screen Mirror to Reflector 3 with Android 5.0+

참고

- iOS 8,9,10 기기 연결하기

- Android 4.4.2+ 기기 연결하기 

2. Mobizen

• 연결 가능한 기기: iOS, Android
• 연결 방식: Wifi, USB
• 사용 가능 PC: Mac, Windows
• 무료 사용 기간: 무제한 (녹화 시 Watermark, 기능에 제한, Android만 연결 가능)
• 가격: 1달에 3000원 (한 계정에 PC 7대 까지 연결)
• 내장 녹화 기능: 있음
• PC에서 기기 조작: 가능

3. AirServer

• 연결 가능 기기: iOS, Android (동시 연결 가능하나, iOS만 연결했을 때 안정적)
• 사용 가능 PC: Mac, Windows, Linux
• 연결 방식: Wifi, USB, Bluetooth (Mac/iOS 연결할 때만, reliable 하지 않음)
• 무료 사용 기간: 14일
• 가격: 개인 19.99달러, 기업 39.99달러
• 내장 녹화 기능: 있음 (비디오 품질 조절 가능)

화면 녹화 방법

1. 직접 화면 촬영

Fast and Affordable Usability Testing for Libraries

가장 안전한 것은 화면을 비디오 카메라/핸드폰 카메라로 직접 녹화하는 것입니다. 용량을 계속 확인해야 하는 번거로움이 있습니다. 디바이스가 1대일 경우 미러링할 필요 없이, 직접 녹화가 편할 수 있습니다. 

2. 스크린 미러링 된 PC 화면 녹화

Mac은 QuickTime Player 에서 스크린 레코드 기능으로 녹화가 가능합니다. Windows는 별도 화면 녹화 소프트웨어를 다운받아 사용하면 됩니다. 

3. 모바일 디바이스 내장 녹화

iOS11: How to enable screen recording without a computer

iOS 11 이상은 자체 스크린 녹화 기능을 사용하면 됩니다. Android 는 Mobizen Screen Recorder App 사용해서 녹화할 수 있습니다. 

글을 마무리하며...

모든 사용성 평가에서 화면 미러링을 할 필요는 없을 것입니다. 이번 프로젝트와 같이 5-6명의 인원을 동시에 관찰해야 하는 경우에 효과적일 것 같습니다. 이 프로젝트에서는 30명 이상 인원 대상으로, 2개 지역 이상에서 사용성 테스트를 진행했는데요. 제한된 시간 안에 30명 이상을 봐야 했기 때문에 동시에 5-6명을 관찰하는 방법을 택했습니다. 제가 프로젝트에 참여하면서 느낀 것은 10명 이상이 넘어가자, 참가자들은 거의 같은 이야기를 반복하는 것입니다. 10명을 보면서 알게된 크고 작은 문제를 반복해서 지적하는 것입니다. 그래서 평가의 효율성이 조금씩 떨어진다는 느낌을 받았습니다. 다음에 기회가 된다면, 10명을 테스트하고, 평가에서 나타난 문제점을 빠르게 해결해 프로토타입으로 구현하고, 다시 10명을 테스트하는 식으로 평가를 진행해보고 싶다는 생각이 들었습니다. 

[사용성 비교 평가 도전기]

사용성 비교 평가 도전기 1편. 목적과 장점

사용성 비교 평가 도전기 2편. 정량 평가

사용성 비교 평가 도전기 3편. 관찰과 녹화

[참고##사용성 평가##]