린 분석

• 린 스타트업은 적절한 시기에, 적절한 사고 방식으로, 적절한 것에 초점을 맞추는 것이다.

• OMTM(One Metric That Matters)은 시간이 흐르면서 바뀐다는 사실을 기억하라.

발췌

41p 좋은 지표란 어떤 것인가

• 좋은 지표는 상대적이다

• 이해하기 쉽다, 비율로 표현된다, 행동 방식을 바꾼다...

44p 올바른 지표를 선택하려면 다음 다섯 가지를 염두에 두어야 한다.

• 정성적 지표와 정량적 지표

• 허상 지표와 실질 지표

• 탐색 지표와 보고 지표

• 선행 지표와 후행 지표

• 상관 지표와 인과 지표

46p 실행에 옮길 수 없는 지표는 허상지표다. (...) 어떤 지표를 볼 때마다 스스로에게 "이 정보로 내가 무엇을 할 수 있을까?"를 물어보라. 이 질문에 대답할 수 없다면 그 지표는 그다지 신경 쓸 필요가 없을지도 모른다.

47p 가령 '전체 가입자 수'에 대해 생각해보자. 이것은 허상 지표다. 이 숫자는 시간이 지날수록 증가하며 전형적인 '우상향'그래프를 그린다. 이 지표는 사용자들이 무엇을 하는지, 또는 과연 이들이 우리게에 가치 있는지에 대해 알려주는 바가 전혀 없다. 그저 회원 가입만 하고 영원히 나타나지 않을 수도 있다. ('전체 활동사용자' 지표도 마찬가지) 반면에 '활동사용자 비율'은 흥미로운 실질 지표다. 이 지표는 사용자들의 참여도를 알려주므로 매우 중요하다. 제품을 수정하면 이 지표가 바뀔 것이고, 제품이 좋은 방향으로 바뀌면 이 수치가 증가할 것이다. 이 지표를 기준으로 실험과 학습을 반복해서 제품을 개선시킬 수 있다. (+ '특정 기간 동안 확보한 사용자 수')

48p 주의할 허상 지표 8가지 (책 참고)

53p 선행 지표와 후행 지표

둘 다 유용하지만 사용 목적은 다르다.

• 선행 지표는 미래를 예측하는 데 사용한다. 예를 들어 영업 퍼널의 현재 잠재 고객 수를 보면 앞으로 신규 고객을 얼마나 확보할지 예상할 수 있다. 만약 현재 잠재 고객 수가 너무 적으면 신규 고객이 크게 늘기 힘들 것이다. 잠재 고객 수가 증가하면 신규 고객 수도 증가할 것으로 기대할 수 있다.

• 반면에 특정 기간 동안 이탈한 고객 수를 나타내는 이탈률 같은 후행 지표는 문제가 있다는 것을 알려준다. 그러나 데이터를 수집하고 문제를 파악할 즈음이면 대응하기에 너무 늦으며 이탈한 고객은 쉽게 돌아오지 않는다. 그렇다고 후행 지표에 대해 조치를 취할 수 없는 것은 아니지만 소 읽고 외양간 고치는 격이다. 이미 일부 고객을 놓친 것이다.

• (스타트업 초기에는 현재 지표 값이 미래와 어떤 관련이 있는지 알 수 있을 정도로 데이터가 충분하지 않다. 그렇기에 이때는 후행 지표를 측정해야 한다. 이 시기에는 후행 지표도 유용)

• 선행 지표가 유용하려면 일정 기간 코호트 분석을 하고 여러 고객군을 비교할 수 있어야 한다

• 고객지원 부서에 걸려온 전화 건수 추적은 이탈률의 선행 지표가 될 수 있다. 즉, 불만이 증가하고 있으면 제품이나 서비스 사용을 중지하는 고객이 많아질 가능성이 높다. 또한 선행 지수로서 고객 불만 건수는 현황을 파악하고 왜 고객의 불만이 점점 많아지는지 이해하고 이런 이슈를 처리하는 데 도움이 될 수 있다.

54p 무엇이든 지표가 될 수 있다. 기업용 소프트웨어 회사에서 분기별 신제품 선주문 물량은 영업 성과의 후행 지표다. 반대로 양질의 영업 기회는 영업 성과를 미리 예측할 수 있기 때문에 선행 지표다. 회사 안에서 어떤 부서의 후행 지표가 다른 부서의 선행 지표가 될 수 있다. (예시는 본문에) ⇒ 한 지표가 후행/선행 지표가 될 수 있고 부서에 따라 선행/후행 지표가 될 수 있음 ⇒ 후행 지표는 일이 벌어진 후에야 알 수 있음. 문제를 정확히 지적해 주지만 문제를 알게 되었을 때는 손실을 되돌리기에 늦음. 선행 지표는 앞으로 일어날 일을 보여주므로 개선 주기를 단축시키고 시간과 비용을 줄여줌.

55p 보통 인과관계는 단순한 일대일 관계가 아니다. 많은 요소가 복합적으로 작용해서 어떤 일이 발생한다. (...) 여러분은 여러개의 독립지표를 찾을 수 있고 이 각각의 지표는 종속 지표가 왜 그렇게 움직이는지 부분적으로 '설명'해 줄 것이다. 물론 부분적인 인과관계라도 도움이 된다. 여러분의 사업에서 인과관계를 입증하려면 상관관계를 찾고 그 다음 변수를 통제하면서 차이를 측정하는 실험을 해야 한다.

75p 수학에서 극대값은 어떤 범위 안에서 함수의 최대 값이다. (...) 단지 특정 범위 안에서 가장 크다는 말이다. (...) 최적화란 특정 함수의 최저 값 또는 최고 값을 구하는 것이다. 기계가 어떤 것을 위한 최적의 조건을 찾아줄 수는 있지만 기계가 인식하는 제한조건과 문제 영역 안에서만 가능하다. ⇒ 데이터로 최적화하는 것은 국지적임

누군가 바퀴 세 개를 주면서 가장 안정적인 최상의 탈것을 만들라고 했다면, 배치 끝에 세발자전거 비슷한 구조를 만들 것이고 이것은 바퀴 세 개로 만들 수 있는 최적의 구조. 데이터 주도적인 최적화는 "바퀴 네 개를 사용하면 훨씬 좋을 거야!"라고 말하지 못함. 수학은 기존 시스템의 최적화에 뛰어나고 인간은 새로운 시스템을 찾는 데 뛰어남. ⇒ 정량적 데이터는 가설의 테스트에는 큰 도움이 되지만 사람이 개입하지 않은 채 정량적 데이터만 가지고는 새로운 가설을 만들지 못함

78p 린 스타트업. 학습에 초점

93p 가장 중요한 한 가지 지표

• OMTM(One Metric That Matters)은 시간이 흐르면서 바뀐다는 사실을 기억하라. 사용자 확보-고객 전환에 초점을 두는 단계라면 OMTM은 가장 효과적인 채널이나 활동사용자 전환율 등과 관련된 지표일 것이다. 사용자 유지에 초점을 두고 있다면 이탈률이 가장 중요하고, 가격 정책, 기능, 고객지원 서비스 개선 등을 실험해 볼 수 있다. OMTM은 사업 단계에 따라 바뀌는데 어떤 경우는 아주 빠르게 바뀌기도 한다.

100p OMTM을 최적화 하면 그 지표를 죄어서 거기에 대해 최고의 결과를 얻을 수 있게 할 뿐만 아니라 그 다음에는 어디에 주력해야 할 지도 알려준다. (삑삑이 장난감처럼 어떤 곳을 꽉 쥐면 다른 곳이 불록 튀어나오는 현상에 비유했음) (...) 현재 OMTM이 무엇이든 OMTM은 바뀐다고 생각하라. 그리고 OMTM이 바뀌면 다음에 필요한 데이터가 무엇인지 알게 된다.

…

🔗 같이 읽으면 좋을 아티클 https://uxdesign.cc/moving-from-being-data-driven-to-data-informed-f325b55917e3