PM study

Photo by Luke Chesser on Unsplash

저는 UIUX를 처음 공부할 때, 내가 만든 서비스가 실제로 사람들에게 어떻게 받아들여지는지 너무 궁금했습니다. 그래서 처음으로 설문과 인터뷰를 통한 사용자 조사를 직접 진행해봤는데요. 막상 해보니 "어떤 질문을 해야 하지?", "몇 명에게 물어봐야 하지?", "이 데이터로 뭘 결정할 수 있지?"라는 의문이 끊이지 않았습니다. 그 경험이 이 글을 쓰게 된 출발점입니다.

기획자와 PM에게 설문 설계와 정량 조사는 단순한 조사 기술이 아닙니다. 의사결정을 숫자로 뒷받침하는 핵심 역량입니다. 이번 글에서는 정량 조사의 개념부터 설문 설계 원칙, NPS·CSAT·CES 지표, 그리고 데이터를 기획에 연결하는 방법까지 처음 배우는 분도 이해할 수 있도록 꼼꼼하게 정리했습니다.

이 글은 리서치 설계와 가설 수립 가이드의 후속편이기도 합니다. 가설을 세웠다면 이제는 그것을 검증할 차례입니다.

1. 정량 조사란 무엇인가? — 숫자로 패턴을 찾는 방법

정량 조사(Quantitative Research)는 수치로 측정 가능한 데이터를 대규모로 수집·분석해 패턴과 경향을 파악하는 방법입니다. 쉽게 말해, "이 문제가 얼마나 많은 사람에게 발생하는가?", "사용자들이 얼마나 자주 이 기능을 쓰는가?"처럼 숫자로 대답할 수 있는 질문을 다룹니다.

비유를 들자면, 정성 조사가 "왜 이 음식이 맛있는지" 요리사에게 직접 묻는 것이라면, 정량 조사는 "이 음식을 몇 명이 주문했고, 재구매율은 몇 %인지" 영수증 데이터로 파악하는 것입니다.

정량 조사가 필요한 시점

• 특정 문제가 얼마나 광범위하게 발생하는지 확인할 때
• 정성 조사에서 만든 가설을 검증해야 할 때
• 의사결정의 우선순위를 수치로 정해야 할 때
• 시간 경과에 따른 변화(추이)를 측정할 때

정성 조사 vs 정량 조사 비교

핵심 문장: 정성 조사는 가설을 만들고, 정량 조사는 가설을 검증한다.

2. 설문 설계 원칙 — 좋은 데이터를 얻으려면

저는 처음 설문을 만들 때 가장 큰 실수를 저질렀습니다. 제가 기획하고 있던 서비스에 대해 너무 기대감을 가지고 질문을 설계했는데, 결과적으로 유도 질문이 되어버린 겁니다. 예를 들어 "우리 서비스의 편리한 기능들 중 어떤 부분이 가장 마음에 드셨나요?"라는 질문은 이미 '편리하다'는 전제를 깔고 있어서, 실제로 불편함을 느낀 사용자조차 긍정적인 답변을 하게 만들었습니다. 그 경험 이후로 저는 질문 설계 원칙을 훨씬 꼼꼼히 따지게 됐습니다.

2-1. 조사 목적 명확화 (가장 중요)

설문을 만들기 전에 반드시 다음 세 가지를 먼저 정리해야 합니다. 첫째, 이 조사로 어떤 결정을 내릴 것인가. 둘째, 그 결정을 위해 어떤 데이터가 필요한가. 셋째, 이미 알고 있는 것과 아직 모르는 것은 무엇인가. 목적 없는 설문은 분석할 수 없는 데이터를 만들고, 결국 의사결정에 아무 도움이 되지 않습니다.

2-2. 피해야 할 질문 패턴

2-3. 설문 구성 순서 (권장 흐름)

설문 문항의 순서도 완성률에 큰 영향을 미칩니다. 권장 흐름은 다음과 같습니다. ① 스크리닝 문항으로 조사 대상 여부를 필터링하고, ② 인구통계 및 사용 현황으로 응답자 특성을 파악합니다. ③ 일반 인식/태도로 큰 맥락에서 시작해, ④ 핵심 주제 문항으로 조사 목적에 해당하는 질문을 배치합니다. ⑤ 세부·민감 문항은 뒤쪽에 배치해 이탈을 방지하고, ⑥ 개방형 문항은 선택적으로 마지막에 자유 의견을 수렴합니다.

2-4. 설문 길이와 완성률

원칙: 핵심 결정을 위한 '최소 문항'만 남긴다.

3. NPS·CSAT·CES — 정량 지표 완벽 이해

저도 처음에는 이 세 가지 지표를 헷갈렸는데요, 각각이 측정하는 '시간대'가 다르다고 생각하면 이해하기 훨씬 쉽습니다. NPS는 장기적 관계, CSAT는 즉각적 경험, CES는 과정의 편의성을 측정합니다.

NPS (Net Promoter Score) — 장기 충성도 지표

질문: "이 서비스를 지인에게 추천할 의향이 얼마나 있습니까? (0~10점)"

• 추천자(Promoters): 9~10점
• 중립자(Passives): 7~8점
• 비추천자(Detractors): 0~6점

계산식: NPS = 추천자(%) - 비추천자(%)

예를 들어 100명 응답자 중 추천자가 50명(50%), 비추천자가 20명(20%)이라면 NPS = 50 - 20 = +30점입니다. NPS 0 이상이면 긍정적, +50 이상이면 매우 우수한 수준으로 평가합니다. (Bain & Company, NPS 개발 원문)

CSAT (Customer Satisfaction Score) — 즉각적 만족도 지표

질문: "오늘 경험에 얼마나 만족하셨습니까? (1~5점)"

계산식: CSAT = (4~5점 응답자 수 ÷ 전체 응답자 수) × 100

특정 접점(온보딩, 결제, 고객 상담 등)의 즉각적인 만족도를 측정하는 데 최적화되어 있습니다. NPS가 전반적인 관계를 보는 것이라면, CSAT는 특정 순간을 집중 점검합니다.

CES (Customer Effort Score) — 사용 편의성 지표

질문: "원하는 것을 달성하기 위해 얼마나 많은 노력이 필요했습니까? (1~7점)"

점수가 낮을수록 좋고, 높을수록 사용자가 과도한 노력을 기울였다는 의미입니다. 이탈 원인을 찾거나 UX 개선 포인트를 파악할 때 매우 유용합니다.

저는 테스트 앱의 사용성을 조사할 때 시선 추적 장비를 활용해서 CES 관점에서 분석해 본 경험이 있습니다. 유도를 고려하여 설계한 화면에서 사용자의 시선이 의도한 방향으로 자연스럽게 이동하는지, 그리고 목표 달성까지 얼마나 적은 노력이 드는지를 추적했는데요. 이탈률이 점점 줄어들고 유도가 잘 됐을 때 정말 짜릿했습니다. 수치로 개선이 확인되는 그 순간이 서비스 기획의 보람이라고 생각합니다.

4. 핵심 용어 정리 — 시험·실무 대비 완전 정복

처음 정량 조사를 배울 때 제가 가장 헷갈렸던 부분은 비슷해 보이는 용어들의 차이였습니다. 특히 모집단과 표본, 척도와 리커트 척도 같은 개념들은 한번에 정리해두면 나중에 훨씬 편합니다.

• 모집단(Population): 결과를 일반화하고 싶은 전체 대상 (예: "대한민국 20대 스마트폰 사용자 전체")
• 표본(Sample): 모집단 중 실제로 조사에 참여한 일부 (예: 그 중 500명)
• 대표성(Representativeness): 표본이 모집단 특성을 얼마나 잘 반영하는지. 대표성이 낮으면 결과를 일반화할 수 없습니다.
• 리커트 척도(Likert Scale): "매우 불만족(1점) ~ 매우 만족(5점)"처럼 동의 정도를 단계로 측정하는 도구
• 유도 질문(Leading Question): 특정 답을 유도하는 편향 질문. 저처럼 처음 설문 만들 때 가장 많이 실수하는 부분입니다.
• 응답 편향(Response Bias): 실제 생각과 다르게 응답하는 현상. 대표적으로 사회적으로 바람직한 답변을 하려는 경향이 있습니다.
• 무응답 편향(Non-response Bias): 특정 성향의 사람들이 응답하지 않아 결과가 왜곡되는 현상
• 코호트(Cohort): 특정 기간/경험을 공유하는 사용자 집단. 예: "2025년 1월 가입자 코호트"
• 교차 분석(Cross-tabulation): 두 변수 간의 관계를 표로 비교 분석. 예: "연령대별 기능 선호도 비교"

이처럼 데이터를 어떻게 수집하고 해석하느냐에 따라 결론이 완전히 달라질 수 있기 때문에, 용어 하나하나가 실무에서 실제로 중요하게 쓰입니다. 더 자세한 리서치 방법론은 심층 인터뷰(IDI)와 FGI 완벽 가이드에서 정성 조사와 함께 비교해보시면 도움이 됩니다.

5. 데이터 분석에서 기획 의사결정으로 — 숫자를 액션으로 바꾸는 법

정량 데이터를 수집했다고 해서 기획이 자동으로 좋아지지는 않습니다. 제가 가장 어렵게 느꼈던 부분도 바로 이 지점이었습니다. 사용자마다 기준이 달라서 어떤 수치를 기준점으로 잡아야 할지, 어떤 데이터를 쌓아야 이탈률이나 방향성을 잡을 수 있을지 고민이 많았습니다.

하지만 실제로 앱의 버튼 위치와 화면 구성을 바꾼 후 사용자 참여도가 수치로 올라가는 것을 확인했을 때, 생각지도 못한 지표에서 사용자 니즈를 발견하는 경험을 하게 됐습니다. 그 이후로 저는 데이터를 다각도로 분석하는 것이 기획자와 PM의 가장 중요한 강점이라고 확신하게 됐습니다.

기본 4단계 분석 흐름

데이터 분석은 기술 통계에서 시작합니다. 평균, 중앙값, 분포를 확인해 전반적인 상태를 파악하는 것이 첫 번째입니다. 그 다음은 비교 분석으로, 신규 사용자 vs 기존 사용자처럼 그룹 간 차이를 보는 것입니다. 세 번째는 교차 분석으로 연령대별 기능 선호도처럼 변수 간의 관계를 파악합니다. 마지막으로 추이 분석을 통해 시간에 따른 변화를 측정합니다.

데이터에서 기획으로 연결하는 흐름

수치를 확인했다면 "어디가 가장 문제인가?"를 먼저 파악합니다. 불만족, 이탈, 낮은 점수가 집중되는 지점을 찾는 것입니다. 그 다음은 원인 탐색인데, 정량 결과만으로는 "왜?"를 알기 어렵습니다. 이때 정성 조사(인터뷰, FGI)를 병행해 맥락을 채웁니다. 원인을 파악했다면 "불만족 비율 × 영향도(또는 사용자 규모)"로 우선순위를 정합니다. 마지막으로 현재 수치를 기준점으로 개선 목표치를 설정합니다. 예를 들어 "현재 CSAT 3.2점 → 3개월 내 3.8점 이상"처럼 구체적인 숫자로 목표를 정하는 것입니다.

이 과정을 제대로 이해하고 싶다면 OKR과 KPI 완벽 가이드를 함께 읽어보시길 추천드립니다. 데이터로 만든 목표를 OKR/KPI 체계에 연결하는 방법을 자세히 다루고 있습니다.

6. 정량 조사를 처음 시작하는 기획자에게 — 실전 체크리스트

정량 조사를 처음 시작하는 분들이 가장 많이 하는 실수는 "일단 설문부터 만들고 보자"는 태도입니다. 목적 없이 만든 설문은 나중에 어떻게 분석해야 할지 막막하게 만들고, 결국 서랍 속에서 잠드는 데이터가 됩니다.

설문을 만들기 전에 "이 데이터를 받으면 나는 무엇을 결정할 수 있는가?"라는 질문에 먼저 대답할 수 있어야 합니다. 그 답이 명확하지 않다면 아직 설문을 만들 준비가 되지 않은 것입니다.

또 한 가지 기억할 것은 정량 조사는 단독으로 완결되지 않는다는 점입니다. 숫자는 "무엇이"를 알려주지만, "왜"는 알려주지 않습니다. 정성 조사와 함께 사용할 때 비로소 완전한 인사이트를 얻을 수 있습니다. 이 두 조사를 어떻게 통합적으로 설계하는지에 대해서는 리서치 설계와 가설 수립 가이드에서 자세히 다루고 있습니다.

실전 체크리스트

• ☑ 조사 목적과 이 데이터로 내릴 결정이 명확한가?
• ☑ 모집단과 목표 표본 크기를 설정했는가?
• ☑ 유도 질문, 이중 질문, 모호한 표현이 없는가?
• ☑ 설문 완성률을 고려해 문항 수를 최소화했는가?
• ☑ 파일럿 테스트(소규모 사전 검토)를 진행했는가?
• ☑ 분석 방법(기술통계, 교차분석 등)을 미리 계획했는가?
• ☑ 정량 결과를 보완할 정성 조사 계획이 있는가?

참고 자료

• Bain & Company — Net Promoter System 공식 소개
• Nielsen Norman Group — Quantitative User Research Methods
• Qualtrics — NPS 완전 가이드