정량적 vs 정성적 데이터, 스타트업은 무엇을 먼저 모아야 할까?

Question. 프로토타입으로 가설을 검증하려고 하는데, 정량적 데이터와 정성적 데이터 중 뭘 먼저 모아야 할지 고민돼요. 주변 친구들한테 서베이를 돌려봤는데 별 도움이 안 되는 것 같고요. 어떤 데이터를 어떤 순서로 모아야 의미가 있는 건가요?

카카오도, 애플도 서베이를 잘 하지 않습니다

의외라고 느끼실 수 있습니다. 카카오 UX팀은 서베이를 거의 하지 않는다고 알려져 있습니다. 애플도 마찬가지입니다. 수억 명의 사용자를 가진 회사들이 왜 서베이를 하지 않을까요?

이유는 단순합니다. 사람들은 설문지 위에서 자신의 행동을 정확히 설명하지 못합니다. "이 기능이 있으면 쓰시겠습니까?"라는 질문에 "네"라고 답한 사람이 실제로 쓸 확률은 생각보다 훨씬 낮습니다. 이것은 응답자가 거짓말을 하는 게 아니라, 가상의 상황에서 내리는 판단과 실제 행동 사이에 본질적인 간극이 있기 때문입니다.

(출처: Erika Hall, 『Just Enough Research』, A Book Apart, 2013)

그런데 많은 초기 스타트업이 가장 먼저 하는 것이 서베이입니다. 친구들에게 돌려보고, SNS에 올려보고, 100~200명의 응답을 모아 "정량적 근거"라고 부릅니다. 조금 불편한 이야기를 하자면, 이 데이터는 거의 의미가 없습니다.

왜 소규모 서베이는 '데이터'가 아닌가

전문가들은 정량 조사가 통계적으로 유의미하려면 최소 1만 명 수준의, 정확하게 타겟팅된 표본이 필요하다고 말합니다. 단순히 숫자가 많으면 되는 것도 아닙니다. 표본 오차가 작아야 하고, 리크루팅(응답자 선별)이 정확해야 합니다.

친구 100명에게 "이런 앱 나오면 쓸 것 같아?"라고 물어서 80%가 "좋다"고 답했다면, 이것이 의미하는 것은 무엇일까요? 거의 아무것도 의미하지 않습니다. 응답자가 여러분의 타겟 고객인지도 확인되지 않았고, 친분 관계에서 오는 긍정 편향이 작용했을 가능성이 높으며, 무엇보다 100명이라는 표본은 어떤 통계적 결론도 내리기에 충분하지 않습니다.

그렇다면 초기 스타트업은 데이터를 어떻게 모아야 할까요?

초기에는 정성 조사부터 시작합니다

결론부터 말씀드리면, 정량과 정성 둘 다 필요합니다. 하지만 순서가 있습니다. 초기에는 정성 조사에서 출발하는 것이 훨씬 효과적입니다.

이유는 현실적입니다. 막 시작한 스타트업이 자기 주제에 딱 맞는 정량 데이터를 구할 방법이 거의 없기 때문입니다. 시장에 나와 있는 리서치 자료들은 인구통계학적 트렌드나 산업 전반의 통계이지, "우리 서비스의 잠재 고객 중 몇 퍼센트가 이 문제를 겪고 있는가"에 답해주지 않습니다.

정성 조사는 다릅니다. 타겟 고객 5명을 제대로 인터뷰하면, 서베이 200명보다 깊은 인사이트를 얻을 수 있습니다.

IDEO의 디자인 리서치 방법론에서는 이를 "공감(Empathy)" 단계라고 부릅니다. 고객이 어떤 맥락에서, 어떤 감정으로, 어떤 행동을 하는지를 관찰하고 대화하는 것. 여기서 발견한 패턴이 비즈니스의 출발점이 됩니다.

(출처: IDEO, "The Field Guide to Human-Centered Design", 2015)

구체적으로는 이런 접근이 효과적입니다.

관찰하기 — 고객이 현재 문제를 어떻게 해결하고 있는지를 직접 봅니다. 말로 하는 것과 실제 행동은 다릅니다. Jobs to be Done 프레임워크에서는 "고객이 어떤 '일'을 해결하기 위해 제품을 '고용'하는가"를 관찰하라고 합니다.

인터뷰하기 — 타겟 고객을 선별하여 깊은 대화를 나눕니다. 핵심은 리크루팅입니다. 아무나 인터뷰하는 것이 아니라, 우리 서비스를 가장 절실하게 필요로 할 사람을 정확히 찾아서 이야기를 듣는 것입니다.

패턴 찾기 — 여러 명의 이야기에서 반복되는 불편, 반복되는 행동, 반복되는 표현을 찾습니다. 이 패턴이 가설이 되고, 이 가설을 검증하는 것이 다음 단계입니다.

그렇다면 정량 데이터는 언제 필요한가

정성 조사만으로 끝낼 수 있다면 좋겠지만, 현실은 그렇지 않습니다. 특히 투자자는 정량 데이터를 보고 싶어합니다. 숫자를 통해 "이 팀이 어떻게 분석하고, 어떻게 결론을 내렸는지"를 확인하려는 것입니다.

다만 여기서 오해하지 말아야 할 점이 있습니다. 투자자가 원하는 정량 데이터는 1만 명 규모의 대형 서베이가 아닙니다. 비교 가능하고, 서비스의 진척을 측정할 수 있는 데이터입니다.

Y Combinator의 파트너 Gustaf Alströmer는 이를 이렇게 표현합니다.

"초기 스타트업에게 중요한 지표는 절대적인 숫자가 아니라 변화의 방향이다. 지난주 대비 이번 주의 사용자 행동이 어떻게 달라졌는지를 보여줄 수 있으면 된다." — Gustaf Alströmer, Y Combinator "Startup School" (2019)

예를 들어, MVP를 출시한 뒤 "첫 주 가입자 50명 중 다음 주에도 돌아온 사람이 30명"이라는 데이터. 이것은 소규모이지만, 리텐션이라는 핵심 지표를 측정하고 있고, 비교의 기준선이 됩니다. 다음 주에 기능을 개선했더니 리텐션이 40명이 되었다면 — 이것이 투자자가 보고 싶은 "정량적 검증"입니다.

(출처: Gustaf Alströmer, "How to Set KPIs and Goals", Y Combinator Startup School, 2019)

정리하면, 순서는 이렇습니다

초기 스타트업의 데이터 수집에는 순서가 있습니다.

1단계: 정성 조사로 시작 — 타겟 고객을 직접 관찰하고 인터뷰합니다. Value Proposition 캔버스나 Jobs to be Done 같은 프레임워크를 활용해서 고객의 진짜 문제를 발견합니다. 이 단계에서는 깊이가 중요합니다. 많은 사람에게 얕게 물어보는 것보다, 적은 사람에게 깊이 파고드는 것이 훨씬 낫습니다.

2단계: 가설을 세운다 — 정성 조사에서 발견한 패턴을 가설로 정리합니다. "이 고객군은 이 문제를 이런 방식으로 해결하고 있고, 더 나은 방법이 있다면 전환할 의향이 있다." 이 가설이 명확해야 다음 단계에서 무엇을 측정할지가 정해집니다.

3단계: MVP로 정량 데이터를 쌓는다 — 가설을 검증할 수 있는 최소한의 제품을 만들어 실제 고객에게 내놓습니다. 여기서 나오는 가입률, 재방문율, 전환율 같은 숫자가 의미 있는 정량 데이터입니다. 대규모 서베이보다 소규모 실제 사용 데이터가 훨씬 강력합니다.

4단계: 정성과 정량을 반복한다 — 정량 데이터에서 "무엇이 일어나고 있는지"를 확인하고, 정성 조사로 "왜 그런지"를 파악합니다. 이 순환이 제품을 날카롭게 만듭니다.

갈피를 못 잡겠다고 해서 주변에 서베이를 돌리는 것은 감을 잡기 위한 정도로는 괜찮습니다. 하지만 그것을 데이터라고 부르기는 어렵습니다. 정성 리서치에서 인사이트를 뽑고, 그 인사이트를 기반으로 자신만의 논리와 검증 과정을 밟아가는 것. 그 과정이 훨씬 더 설득력 있는 데이터를 만들어줍니다.

하나쯤 있으면 두려울 게 없는 든든한 내 편이 되어, 함께 고민하겠습니다.

함께 읽으면 좋은 글

• 초기 스타트업의 KPI, 어떻게 설정해야 할까?
• 고객 인터뷰 결과가 제각각일 때 첫 번째 솔루션을 정하는 방법
• 프로덕트 개선, 어떻게 하면 더 빨라질 수 있을까?

---

참고 자료

• Erika Hall, 『Just Enough Research』, A Book Apart, 2013
• IDEO, "The Field Guide to Human-Centered Design", 2015
• Gustaf Alströmer, "How to Set KPIs and Goals", Y Combinator Startup School, 2019