Byn's Research Note

AI based Mixed Reality, Human-Computer Interaction

↓ My Web CV & Portfolio 자세히보기

카테고리 없음

User Evalutation [1] : 사용자 경험의 측정

JaehyeonByun 2024. 12. 29. 16:07

질적 연구 방법론 -Faster Capital

 

1. 사용자 경험의 측정

 

 

좋은 UX는 사용성을 기반으로 한 배우기 쉬움과 편리함, 유용성과 기능성을 충족하는 쓸모, 감성과 관련된 즐거움과 아름다움을 포함하며, 나아가 사용자에게 의미를 제공하는 경험으로 정의된다. 벤 랄프의 UX 피라미드는 이러한 요소를 체계적으로 정리하며, 특히 최근에는 사용자가 브랜드에 특별한 의미를 부여하는 팬덤 형성과 충성도를 중시하여 브랜드 가치와 사용자 경험의 상승효과를 도모하고 있다. UX 주요 구성 요소는 다음과 같다.

 

- 사용성(Usability): 얼마나 배우기 쉽고 사용하기 편리한 지에 대한 것
- 유용성(Usefulness): 얼마나 쓸모가 있는지에 대한 것
- 감성(Affect): 얼마나 즐겁고 아름다운지에 대한 것

UX를 측정하기 위해서는 사용자의 태도와 행동을 기반으로 주관적, 수행적, 생리적 데이터를 활용할 수 있다. 주관적 데이터는 설문지와 같은 방법으로 사용자가 제품이나 서비스를 사용한 후 직접 평가하는 방식이며, 수행 데이터는 사용자의 상호작용을 관찰하여 태스크 성공 여부, 수행 시간, 에러 등을 측정한다. 생리적 데이터는 사용자의 얼굴 표정, 시선, 동공 반응 등과 같은 생리적 반응을 특수 장비를 통해 수집하는 방법이다. 이러한 데이터들은 사용자 조사 방법을 통해 수집하며, 이를 기반으로 UX 측정 모델의 각 구성 요소를 구체적으로 분석할 수 있다.

 

1) 사용성의 측정

SUS Usablity Test

 

사용성 측정을 위해 설문지를 활용하며 대표적으로 시스템 사용성 척도(SUS)는 10개의 질문을 통해 5점 척도로 사용자가 느낀 사용성을 평가하고, 이를 100점 척도로 환산해 경쟁 서비스나 이전 버전과 비교하거나 강점과 약점을 파악할 수 있다. 이러한 표준화된 설문지는 검증된 설계와 평가 체계를 기반으로 하여 다양한 환경에서 신뢰성과 타당성이 확보되어있다. 또한, SSU, QUIS, CSUQ와 같은 다양한 설문지가 존재하지만, 서비스의 핵심 사용성 속성을 기반으로 설문 항목을 설계하고 이를 평가하는 것이 사용성 진단과 개선에 더 효과적이다.

EEG Cognitive Test

 

수행 데이터는 효과성과 효율성을 측정하는 항목으로 구성되며 효과성사용자가 서비스를 통해 목표를 얼마나 달성했는지 과제 완수 여부나 에러 수로 측정하고, 효율성은 과업 수행에 소요된 시간, 학습 기간, 입력 노력(예: 클릭 횟수) 등으로 평가한다. 이러한 데이터는 사용자의 과업 수행을 관찰하거나 기록 후 분석하여 사용성 문제를 진단하며, 과제 완수 여부와 시간 데이터를 비교해 UI 문제를 파악하거나 ROI 분석으로 UX 개선의 비용 절감 효과를 계산한다. 추가적으로 아이 트래커를 통한 시선 추적과 뇌전도(EEG)를 이용해 시각적 탐색 효율성과 인지적 부담을 정밀하게 분석할 수 있다.

 

- 과제 완수 여부: 사용자가 주어진 과제를 얼마나 효과적으로 완료했는지 측정
- 에러(Error): 과제를 수행하는 동안 사용자가 범한 실수를 측정
- 과제 수행 시간: 과제를 완료하는 데 필요한 시간이 어느 정도인지 측정
- 학습 용이성: 시간이 지남에 따라 사용자의 수행 수준이 어떻게 변했는지를 측정
- 입력 효율성: 웹 사이트의 클릭 횟수나 휴대폰의 버튼 누름 횟수와 같이 사용자가 과제 완료에 들이는 노력의 양을 측정해 산정

 

2. 유용성의 측정

 

유용성은 제품이나 서비스가 실용적인 목적을 달성하는 도구로서 얼마나 기능적 가치를 제공하는지를 의미하며, 주관적 데이터를 통해 측정된다. 예를 들어, 설문 문항으로 ‘이 서비스는 나의 생활에 매우 유용하다’와 같은 진술에 대해 사용자의 동의 정도를 평가하여 유용성을 측정할 수 있다. 이는 새로운 서비스나 기능의 사용자 수용성을 사전에 파악하거나, 출시된 서비스와 그 하위 기능들의 유용성을 평가하는 데 주로 활용된다.

 

3) 감성의 측정

 

감성은 제품이나 서비스를 사용하는 동안 사용자가 느끼는 정서(Emotion)와 심미적 인상(Aesthetic impression)을 포함하며, 주관적 데이터와 생리적 데이터를 통해 측정할 수 있다. 정서는 특정 대상에 대해 단시간에 느끼는 감정으로, 러셀의 감정 차원 모델을 활용해 유쾌함(Valence)과 활동 정도(Arousal)의 교차된 차원으로 표현한다. 설문지로 사용자가 느끼는 정서와 가장 유사한 이미지를 선택하게 하거나, 고객 여정 맵(Customer Journey Map)을 통해 불쾌한 경험을 파악할 수 있다. 또한, 얼굴 표정을 인공지능으로 분석해 특정 감정 반응을 측정하는 방법도 활용된다. 심미적 인상은 외부 자극에 의해 각인되는 감정으로, 단순히 예쁜 것을 넘어 밝음, 고급스러움, 친근함 등 다양한 개념을 포괄한다. 이는 감성 형용사를 기반으로 설계된 설문지를 사용해 5점 또는 7점 척도로 측정하며, 주로 디자인의 기획 방향성이나 컨셉의 적합성을 평가하는 데 사용된다.

 

4) 만족도와 충성도의 측정

CSAT

 

만족도는 사용자가 제품이나 서비스의 높은 사용성, 유용성, 감성을 경험하며 느끼는 종합적인 태도로, 주관적 데이터를 통해 CSAT(Customer Satisfaction Score) 설문 방식으로 측정되며, 5점 척도로 만족도를 평가한다. 충성도는 사용자의 기대를 넘어선 감동을 통해 형성된 브랜드에 대한 애착으로, NPS(Net Promoter Score)를 통해 ‘특정 브랜드를 얼마나 추천하고 싶은가?’라는 질문으로 측정하며, 이는 고객 충성도를 나타내는 대표적인 지표로 사용된다.

 

2. Log Data and User Experience

 

사용자 경험은 주관적 데이터, 수행 데이터, 생리적 데이터 외에도 로그 데이터를 통해 유추할 수 있다. 로그 데이터는 사용자가 제품이나 서비스를 이용하며 발생하는 행동을 기록한 데이터로, 별도의 사용자 조사 없이 얻을 수 있어 시간과 비용 면에서 유리하다. 그러나 행동의 결과만 기록되어 있어 그 이유를 파악하기 어렵다는 한계가 있다. 로그 데이터는 크게 사용 빈도, 사용 시간, 사용 경로로 나뉘며, 각각 사용자 경험 관점에서 해석이 가능하다.

 

사용 빈도는 방문자 수, 방문 빈도, 특정 기능 사용 빈도 등을 나타내며, 대표적인 지표로 월간 방문자 수(MAU)가 있다. 초기에는 주로 유용성과 관련이 깊어 사용자가 원하는 기능을 통해 목적을 달성할 경우 반복 사용이 증가한다. 이후에는 사용성과 감성도 사용 빈도에 영향을 미치며, 사용이 어려운 서비스나 감성적 즐거움을 제공하지 못하는 서비스는 사용자 이탈을 초래할 수 있다.

 

사용 시간은 특정 기능을 얼마나 오래 사용하는지를 나타내며, 사용성과 감성과 연관된다. 사용 시간이 짧으면 효율적이고 사용성이 높다는 것을 의미할 수 있으나, 감성적 즐거움이 부족했을 가능성도 있다. 서비스 속성이 실용적이라면 사용 시간이 짧은 것이 좋은 경험을 제공한 것으로 해석되며, 반대로 영상이나 음악 스트리밍처럼 유희적 속성이 강한 서비스에서는 사용 시간이 길수록 긍정적인 경험을 제공했다고 볼 수 있다. 효율성이 중요한 콘텐츠 탐색 과정 등은 예외적으로 짧은 사용 시간이 더 바람직할 수 있다.

 

사용 경로는 정의된 기능 사용 경로에서 특정 페이지의 이탈률을 분석하여 사용성과 관련된 문제를 파악할 수 있다. 이탈률이 높은 페이지는 사용성이 부족할 가능성이 크므로, 이를 정밀히 분석해 개선함으로써 전체 경험을 향상시킬 수 있다. 로그 데이터는 이러한 측면에서 사용자 경험의 객관적 분석과 개선을 위한 중요한 도구로 활용된다.