[그로스해킹] 잘못된 지표 활용 / 지표활용에서 발생하는 실수

1. Vanity metric (허무지표)

• Vanity metric  vs.  Actionable metric
  • Vanity metric - make you feel good, but they don't offer clear guidance for what to do
    • 보면은 기분 좋은데 의사결정을 하거나 실적을 판단할 수 없는 지표
    • 쉽게 변화시킬 수 있음 (Easily manipulated)
      • 돈을 투자하거나 사용자들에게 노출해서 쉽게 변화 가능
    • 실제로 중요한 숫자들과는 크게 상관없음
    • 이 지표를 다른 사람들에게 얘기하면 열심히 일하는 것처럼 어필할 수 있음
    • 아예 의미가 없는 것은 아니지만 이로 인해 오도되지 않도록 조심해야 함 
    • vanity metric을 측정 / 관리하는 사례는 주변에서 진짜 많이 볼 수 있음 
    • Eg)
      • Download / install / pageview
      • 고객문의 처리건수 / 버그 개수 / 기능개선 스펙 개수
      • 반복적으로 주간보고 혹은 월간보고에 쓰고 있는 데이터들 ..

 

2. Local Optimization

• Global Optimization(전체 최적화)가 아닌 부분 최적화에만 집착하는 경우 잘못된 판단을 내릴 수 있음
• CPC가 50원인 채널과 200원인 채널이 있다면, 광고비를 어떻게 써야할까?
  • 이 내용만 가지고는 결정할 수 없음
  • 클릭의 가치가 서로 다르기 때문 (관심있는 사람만 누를 수 있는 환경의 광고와 인터넷 뉴스 옆에 조그맣게 떠있어서 잘못누르기 쉬운 광고)
    • 광고 집행은 facebook audience 같은 AD-network에다가 하지만, 어떤 매체에 집행되는지, 지면이 어떤 형태인지 알아야 함 
  • 집행하는 광고비 금액이 커지면, CPC는 높아지는 게 일반적
    • 더 많은 사람이 클릭하게 하려고 Targeting 기준이 완화되기 때문
    • 광고매체에서는 기본적으로 최적화를 해주지만, 그 최적화가 내 서비스의 profit 최적화는 아니라는게 함정
    • 구글 비디오 시뮬레이터를 보면 클릭수가 많아지면 단가가 올라가고 적어지면 단가가 내려감
• 넷플릭스 같은 Subscription Service에서 ROAS 판단은?
  • 대부분의 광고 플랫폼에서 ROAS 판단은 전환 윈도우를 7일 혹은 28일 정도로 설정하는게 일반적임 
  • 넷플릭스는 한 번 들어와서 회원이 되면 매달 결제가 발생하는 시스템
    • 넷플릭스는 Lifetime Revenue나 Lifetime Value로 보는 것이 적절할 수 있음
  • 하나하나 기준에 맞춰서 최적화를 잘했다고 해서 전체적으로도 최적화가 잘 됐다고 할 수 없기 때문에 계속해서 확인해줘야 함
• 꼭 광고에만 해당되는 것은 아님
  • 페이스북 손흔들기 기능 
    • 실수로 잘못 누르기 좋음 
    • 잘못 눌러도 누르긴 누르니까 DAU 증가에는 무조건 도움이 된다
    • (이런 비슷한 기능의 경우) 밀고있는 특정 기능의 사용률도 증가된다 
    • DAU 증가와 기능 사용률의 증가는 User Satisfaction이 증가되는지 , Revenue가 증가되는지와는 전혀 다른 이야기임 , 같다고 판단하지 말자 !!

 

3. Simpson's Paradox

• 여러 그룹의 자료를 합했을 때의 결과와 각 그룹을 구분했을 때의 결과가 다른 경우
• 1973년 UC Berkeley 입학 결과
  • 남학생 수가 여학생 수보다 압도적으로 많았음 -> 학교가 부당하게 여학생들을 차별한걸까??
  • 학과별로 쪼개서 보니 남학생의 합격률이 더 높다는 경향성이 보이지 않음
  • 특정 학과에서 합격률이 낮은 것 때문에 전체 여학생 합격률이 매우 낮은 것처럼 보임
• 현실 버전
  • 크로스셀 rate를 높이기 위한 실험을 5번 수행
  • 5번의 실험을 하는 동안 일관성있게 크로스셀 rate이 증가했는데, 그래프로 그려보면 감소하는 것처럼 보임
  • 나라별로 뜯어보면 개선됐지만, 합쳐서 보면 안 좋아진 것처럼 보임

 

 

4. 잘못된 대표값 사용

• 평균 만능주의
  • 소개팅 어플 가입 첫 달에 이탈한 사람이 많음
  • 왜 그만둘까? 성공횟수가 낮아서 나가는지 확인해봄
  • 소개팅 성공횟수 2.3회인 유저들이 떠남.. 왜???
    • 95%의 사용자는 성공횟수가 0회였음
    • 대부분의 사용자는 한 번도 성공하지 못하고 일부 사용자만이 한 달동안 매일 소개팅에 성공함
    • 성공 횟수가 0인 사람들이 나갔던 것
  • 단순 평균을 내면 소개팅 성공횟수가 2.3회로 나옴 => 2.3은 어느 그룹도 대표하지 못하는 값이었던 것
  • 분포를 확인하지 않으면 2.3을 대표값으로 착각하게 됨 
• 이상치를 고려하지 않고 모두 평균을 내버리면 잘못된 값을 대표값으로 설정하게 됨
• 평균이 좋은 대표값인가? -> 정규분포에서는 O
• 분포를 먼저 확인해야 어떤 값을 대표로 쓸 지 결정할 수 있음
  • Mean, Median, Mode ...
• 평균보다 훨씬 Robust한 대표값 -> Median(중앙값)  대체적으로 안정적인 경향이 있음

앤스컴의 4인방

 

• 오른쪽 4개의 그래프 모두 왼쪽의 조건을 만족함
• 요약된 정보만으로는 어떤 형태의 데이터인지 파악할 수 없음 
• EDA 과정에서 데이터 시각화의 중요성 !!
  • 보고서를 예쁘게 쓰는 게 데이터 시각화가 아니다...
  • 어떤 데이터를 대표값으로 쓸 지, 데이터 분석 방식은 어떻게 할 지를 초기에 판단할 수 있음 

 

5. Garbage in Garbage out

• 잘못된 데이터를 넣으면 잘못된 값이 나온다 
• 생각보다 데이터 수집 과정이나 전처리 단계에서 조금만 신경을 덜 쓰면 데이터가 쉽게 garbage가 될 수 있음
• Abraham Wald
  • 생존자 편향
• 현실 버전
  • 부동산, 이사, 청소 서비스를 중개해주는 회사가 있다고 가정
  • 세 가지 서비스 중 하나만 예약하는 사람이 대부분이지만 일부 고객은 2개 이상의 서비스를 사용함
  • 부동산을 예약한 사람에게 언제 이사 서비스를 추천하는게 좋을까? / 이사를 예약한 사람에게 언제 입주 청소 서비스를 추천하는 게 좋을까?

• 부동산을 언제 계약하고 이사는 언제 예약했는지 확인하기
  • 지역별로도 나눠보니 약간 다름 => 지역별로 추천 시기를 다르게 하면 되겠다고 생각할 수 있음

• 하지만 부동산과 이사를 모두 우리 회사에서 계약했다고 생각하면 안 됨
  • 부동산과 이사를 모두 예약한 사람도 있지만, 이사만 예약한 사람도 있음 !!
• 우리 서비스 내에서 부동산을 예약한 사람이 언제 이사를 계약했는지를 확인해야 함