최근에 취업준비 학생들을 위한 멘토링을 진행하면서 이런 질문을 받았습니다.
“데이터를 통해 인사이트를 도출할 때, 어떻게 하면 깊고 좋은 인사이트를 도출할 수 있나요?”
어려운 질문이었습니다. 데이터를 분석하고 인사이트를 도출하는 일을 매일 하고 있지만, ‘좋은’ 인사이트는 어떻게 하면 도출할 수 있는가는 아직도 어려운 질문입니다.
데이터 분석가에게 ‘인사이트’는 매우 중요하게 여겨집니다. 여러 기업의 데이터 분석가 채용공고만 보더라도 인사이트 도출에 대한 역량을 강조하고 있는 것을 알 수 있지요.
도대체 인사이트란 무엇이고, 데이터 분석가는 어떻게 하면 ‘좋은’ 인사이트를 도출할 수 있을까요?
‘인사이트’란 무엇인가?
인사이트를 한국어로 해석하면 ‘통찰’입니다. 상당히 멋진 말이네요. 통찰이라고 하면 마치 궁예의 관심법처럼, 사스케의 사륜안처럼 무언가를 모두 꿰뚫어보는 능력처럼 느껴집니다.
통찰의 사전적 정의는 다음과 같습니다.
통찰(洞察, Insight): 특정 맥락 내에서 특정 원인과 효과를 이해하는 것을 말한다.
즉, 인사이트(통찰)는 어떠한 사건이 발생하였을 때, 그 사건이 일어난 원인을 특정 맥락 속에서 파악하고 그 사건이 미치는 효과를 이해하는 것을 의미합니다.
의미 그대로 각 분야에서 통찰력을 가진 사람은 그 분야에서 어떤 현상이 발견되었을 때, 그에 대한 정확한 원인을 파악할 수 있고 그 결과와 효과를 이해하여 행동할 수 있는 사람입니다.
그렇다면 데이터 분석가가 가져야 할 인사이트는 어떤 것일까요?
데이터 분석가가 가져야 할 ‘인사이트’
이전에 포스팅했던 ‘데이터 분석가는 어떤 일을 하는가’를 통해 데이터 분석가가 어떤 사람이고, 기업 내에서 어떤 일을 하는지 설명하였습니다. 결론적으로 데이터 분석가는 ‘데이터로 비즈니스 문제를 해결하는’ 사람입니다.
그 목적을 달성하기 위해 데이터 분석가는 세 가지 중요한 인사이트를 가져야 합니다.
- 서비스에서 어떤 현상이 일어났을 때, 데이터를 분석하여 정확한 원인을 찾습니다. (인과추론 통찰)
- 분석 결과를 해석하여 정확한 결과를 도출합니다. (통계적 해석을 통한 통찰)
- 결과를 통해 결론을 도출하고 알맞은 액션을 도출합니다. (비즈니스 인사이트)
각 항목들을 자세히 살펴보도록 하겠습니다.
1. 인과추론을 통한 통찰
데이터 분석가의 기본 업무는 “뭐 때문에 이런건가요?”에 대한 해답을 찾는 겁니다. 즉, 본질적으로 ‘인과추론’입니다. 데이터 분석가는 만들어 놓은 지표를 모니터링하다가 현상을 발견하고, 이 현상이 우리 서비스를 위해 계속해서 가져가야 할 중요한 인과관계가 있는지, 아니면 일시적인 마케팅 효과 정도인지를 판단해야 합니다. 이렇듯 어떤 현상에 대한 인과관계를 발견하는 것은 데이터 분석가가 해야할 가장 중요한 일입니다.
흔히 정립된 인과추론의 방법에는 크게 4가지가 있습니다. 이 4가지는 각 추론 방법의 결과가 얼마나 강하게 입증할 수 있는지에 따라 4단계로 나뉩니다.
1) 과학적 실험 (Experiment) - 가장 입증력이 강함
: 원인에 대한 결과를 정확하게 판단하기 위해 나머지 변인들은 모두 통제(Control)하는 것입니다. 학창시절 배웠던 실험군, 대조군이 나오는 과학실험이 이 방식(엄밀히 말하자면 최대한 비슷한 방식)이고, 자연과학 분야에서 진행하는 모든 통제실험은 이와 같은 방법으로 이루어집니다. 하지만 On-line으로 계속 서비스를 하고 있는 앱/웹 서비스에서는 이러한 실험을 진행하기가 사실상 불가능합니다.
2) 통계적 실험 (ex. A/B 테스트)
: 그래서 앱/웹 서비스에서는 이 방법을 가장 많이 사용합니다. Randomized Controlled Trial(RCT, 무작위 통제실험)이라고 불리는 A/B 테스트가 가장 잘 알려진 방법입니다. 과학실험만큼 실험군과 대조군을 완벽하게 통제할 수는 없지만 표본의 수를 많이, 그리고 무작위로 구성하면서 비교적 통제된 실험의 형태를 갖추게 됩니다.
3) 준실험 (Quasi-Experiment)
: A/B 테스트를 진행하기 힘들 때(환경을 갖추기 힘들거나, 윤리적 이슈가 있는 등) 준실험으로 인과추론을 할 수 있습니다. 준실험은 인위적으로 통제된 것이 아닌 ‘자연적으로’ 나뉘었지만 원하는 분석의 결과를 도출할 수 있는 그룹으로 쓰기에 충분할 때에 사용합니다. 실제로 데이터 분석가는 이미 있는 유저들의 로그를 통해 그룹을 나누고 원하는 결과에 대한 인과추론을 위해 이런 분석을 진행합니다.
4) 반사실 (Counterfactual) - 가장 입증력이 약함
: 가장 입증력이 약한 마지막 4단계는 ‘반사실’입니다. 이름에서부터 신뢰가 가지 않는 이 방법은 순수하게 관찰만으로 인과관계를 추정하는 방법입니다. 예를 들어, 어떤 기능이 바로 모든 유저에게 도입되었을 때 그 효과를 측정하기 위해 반사실적(counterfactual) 대조군을 설정하는 것이 여기에 해당합니다. “이 기능이 도입되지 않았으면?”이라는 가정을 가지고 대조군을 만들어야 합니다.
위의 4가지 방법으로 데이터 분석가는 환경과 방법에 맞게 인과추론을 하여 인사이트를 도출할 수 있습니다. 오늘 포스트에서 인과추론에 대한 자세한 이야기를 하기에는 내용이 많기 때문에 다음 포스트에서 인과추론의 각 단계와 방법들에 대해 자세히 다루도록 하겠습니다.
2. 통계적 해석을 통한 통찰
다음으로 데이터 분석가에게 중요한 인사이트는 ‘통계적 해석을 통한 인사이트’입니다. 데이터 분석가는 원하는 데이터를 추출하여 가공하고 분석하고 나면 시각화된 데이터 분석 결과를 손에 쥐게 됩니다. 이제 아름답게 그려진 그 그래프(라인그래프이든 막대그래프이든)를 해석해야 하는 일이 남아있습니다.
그렇기 때문에 데이터 분석가에게 ‘통계 역량’은 반드시 필요합니다. 결과로 나온 그래프에서 상승분이 통계적으로 유의미한 결과인지, 통계값(평균, 중위값 등)으로 볼 때는 두 표본이 차이가 있어보이지만 신뢰구간을 살펴보았을 때 두 그룹의 분포차이가 유의미한지, 결과를 만들어낸 표본의 크기는 충분하며 가설검정을 위한 유의성은 충분히 확인되었는지 등.
통계는 데이터 분석가가 만들어낸 결과에 대한 신뢰성을 높여줄 수 있는 강력한 도구입니다. 데이터 분석가는 통계적 해석을 가지고 정확하고 신뢰성 높은 인사이트를 가져야 합니다.
3. 비즈니스 인사이트
이제 멋지게 데이터를 분석하고 그 결과까지 잘 해석하였습니다. 그리고 화려한 데이터 과학, 통계학 용어를 섞어가며 이 분석의 임팩트에 대해 설명했을 때 함께 일하는 타부서 동료들은 이렇게 반문하게 됩니다. “그래서 이제 어떡하라는 거야?” (실제로 이런 상황을 많이 겪습니다.)
그렇기에 가장 중요한 마지막 인사이트는 ‘비즈니스 인사이트’입니다. 비즈니스 인사이트는 데이터 분석의 결과가 우리 서비스와 사업에 어떤 영향을 줄 수 있고, 어떤 액션을 해야하며, 가져올 임팩트에 대해서 정확하게 알고 있는 것입니다. 흔히 이 역량에 대해 ‘소프트스킬’이며 커뮤니케이션 역량이라고 하지만 반은 맞고 반은 틀리다고 생각합니다. 데이터를 정확하게 이해한다는 것은 그 비즈니스를 정확하게 알고 비즈니스를 성공적으로 이끌기 위해 어떤 것이 가장 필요한지 ‘통찰’을 갖는다는 것이니까요.
비즈니스 인사이트를 얻기 위해서는 어느 정도의 경험도 반드시 필요합니다. 일례로 데이터팀의 팀장님들은 원인과 결과 그리고 임팩트를 가져갈 수 있는 액션에 대해서도 빠른 시간 안에 찾아내는 것을 볼 수 있습니다. (실제로 저희 팀장님의 그런 능력을 볼 때마다 감탄하곤 합니다.) 데이터 분석가는 결국 ‘데이터로 비즈니스 문제를 해결하는’ 사람이기 때문에 비즈니스 인사이트는 데이터 분석가의 성과를 높여주는 가장 중요한 통찰력이 됩니다.
‘결과’와 ‘결론’은 다릅니다. 데이터 분석 스킬과 통계적 해석으로 만들어낸 멋진 ‘결과’로부터 훌륭한 비즈니스 임팩트를 가져올 수 있는 ‘결론’을 도출하는 것이 비즈니스 인사이트입니다.
결론
지금까지 비즈니스를 성공적으로 이끌어가는 데이터 분석가가 가져야 할 3가지 인사이트에 대해서 살펴보았습니다. 데이터 분석가는 첫번째로 원인과 결과의 인과관계를 명확하게 파악할 수 있는 인과추론 통찰을 가져야 하며, 두번째로 통계적 역량을 가지고 분석결과를 해석하여 결과에 대한 신뢰성을 높일 수 있는 통계적 통찰이 필요합니다. 마지막으로 그 결과로부터 올바른 결론을 도출하고 비즈니스 임팩트를 낼 수 있는 비즈니스 인사이트가 필요합니다.
지금까지 하드스킬(코딩, 시각화 등)에 치중하여 공부하였다면 위의 세 가지 인사이트를 가질 수 있도록 각 인사이트의 역량을 길러보세요! 사업과 서비스를 꿰뚫어보는 통찰력을 가진 강력한 데이터 분석가가 될 수 있을 것입니다.
References
- Causal Inference cheat sheet, Towards Data Science
- Ron Kohavi, Diane Tang & Ya Xu, 『A/B 테스트: 신뢰도 높은 온라인 통제 실험』, 에이콘출판사, 2022
* 항상 배우는 중입니다! 위의 글에서 잘못된 내용을 발견하셨다면 댓글 달아주시면 정말 감사하겠습니다 :)
'Data Science' 카테고리의 다른 글
| 데이터 분석가는 어떤 일을 하는가 (0) | 2023.01.19 |
|---|---|
| 속지 말아야 할 통계: 심슨의 역설 (2) | 2022.11.14 |
