임팩트가 가장 큰 일이 1순위가 되지 않는다 — 데이터 드리븐 실습 한 바퀴

앞 편은 값을 세는 기준을 정하는 데까지 왔다. 전환율을 보겠다고 정한 뒤에도 분모와 분자를 사용자의 행동으로 옮겨 적어야 비로소 값이 만들어진다는 것이었다.

다만 지표를 정의하는 자리는 일의 출발점이 아니다. 그 앞에 목표를 세우는 단계가 있고 뒤에 결과를 되짚는 단계가 있으며, 사이에는 할 일을 줄 세우고 남을 설득하고 만들 것을 넘기는 일이 들어간다. 이 편은 그 여덟 단계를 가상 프로젝트 하나로 끝까지 따라간다. 지표의 정의는 앞 편이 끝냈으므로 여기서는 다시 설명하지 않고, 그 값으로 무엇을 정했는지만 본다.

설정은 이렇다. 직장인에게 멘토를 연결해 주는 플랫폼이 있고, 그곳의 목적조직 PO 로 일한다.

⚠️ 이 여덟 칸을 한 덩어리로 요약하면 이 편이 말하려는 것이 사라진다. 합쳐 놓으면 「데이터를 보고 정했다」는 한 문장만 남는데, 정작 다음 프로젝트에서 쓰이는 것은 어느 단계에서 무엇을 보았는가다. 그래서 아래는 단계를 하나씩 끊어서 본다.

목표는 팀 안과 밖에서 서로 다른 일을 한다

첫 단계는 팀이 어디로 갈지를 적는 것이다. 목표를 적어 두는 이유는 흔히 동기부여로 설명되지만, 실제로 하는 일은 둘이고 그 둘의 대상이 다르다.

목표는 최소한이지만 강력한 가이드다. 세부를 다 적지 않기 때문에 최소한이고, 적히지 않은 것을 판단할 때도 기준이 되기 때문에 강력하다. 이 성질을 세 층으로 나눠 적는 방식이 널리 쓰인다.

세 층이 나뉘어 있는 것이 중요하다. Key Results 는 달성 여부를 판정하고, Initiatives 는 그 판정을 움직이려는 시도다. 둘을 섞어 적으면 시도를 마친 것과 목표에 닿은 것이 구분되지 않는다. 하위 지표로 만족도를 나란히 걸어 둔 것도 같은 이유인데, 등록 수만 세면 수가 늘어난 대신 무엇이 나빠졌는지 보이지 않는다.

할 일은 데이터가 있느냐 없느냐로 갈린다

Initiatives 를 채우는 방법은 하나가 아니다. 손에 정량 데이터가 있는지에 따라 갈린다.

두 갈래는 순서가 있는 것이지 우열이 있는 것이 아니다. 정량이 있으면 어느 구간이 문제인지 바로 좁혀지고, 없으면 문제를 좁히기 전에 사용자가 누구인지부터 정해야 한다. 데이터를 나누는 두 축과 각각의 한계는 앞 편이 다뤘다.

이 프로젝트에서는 퍼널 전환율이 이미 기록되고 있었으므로 첫 갈래를 쓴다. 등록을 시작한 사용자 20,000명 가운데 완료한 사람이 5,000명이었다. 25%가 완료했다는 말은 75%가 도중에 떠났다는 말과 같은 뜻인데, 뒤엣것으로 적어야 손댈 자리가 보인다.

우선순위를 금액으로 바꾸면 줄이 선다

할 일 셋이 모였고 셋 다 그럴듯하다. 여기서 필요한 것은 셋을 한 축 위에 올려 비교하는 방법이다.

PM 과 PO 에게 좋은 제품은 사업의 목표를 주어진 자원 안에서 달성하는 제품이다. 최소 비용과 최대 효과는 함께 물어야 한다.

판단의 축은 셋이다. 사업에 미치는 영향, 성공에 대한 확신, 그리고 드는 시간과 사람이다. 첫 축을 재는 흔한 방법이 개선된 전환율을 금액으로 환산하는 것이다.

같은 계산을 나머지 둘에도 적용하면 셋이 금액으로 줄을 선다. 퍼널 최적화가 1억, 자동 매칭이 5,000만원, 혜택 제공이 2,000만원이다. 환산의 값어치는 정확도가 아니라 비교 가능성에 있다. 1인당 가치 1만원은 가정이고 그 가정이 틀리면 세 값이 함께 틀리는데, 셋의 순서는 그대로 남는다.

⚠️ 다만 이 표는 배포 후 전환율을 50%로 이미 가정하고 있다. 그 값은 아직 아무도 재지 않았으므로, 여기서 나온 1억원은 관측이 아니라 기대치다. 뒤에 나올 성과 분석이 하는 일이 바로 이 가정을 실제 값으로 바꾸는 것이다.

임팩트가 가장 큰 일이 1순위가 아니다

금액만으로 순서를 정하면 놓치는 것이 있다. 세 축 가운데 하나만 쓴 셈이기 때문이다. 나머지 둘을 함께 곱하는 방식이 널리 쓰이는데, 각 축을 10점 만점으로 매기고 세 점수를 곱한다.

셋을 매겨 곱하면 순서가 이렇게 나온다.

자동 매칭은 임팩트가 8로 두 번째인데 최종 순위는 꼴찌다. 만드는 데 3~6달이 걸린다는 판단이 Ease 1점으로 들어가면서 곱이 무너졌기 때문이다. 금액만 보고 정했다면 이 항목이 2순위로 올라갔을 것이고, 반년을 쓴 뒤에야 그동안 퍼널을 고쳤으면 얻었을 것이 드러났을 것이다.

⇒ 곱하기를 쓰는 이유가 여기 있다. 세 점수를 더하면 한 축이 낮아도 나머지 둘이 메워 주지만, 곱하면 한 축이 무너진 항목은 끝까지 올라오지 못한다. 어느 쪽이 옳다기보다, 자원이 한정된 상황에서는 「전부 잘해야 한다」는 판정이 실제 상황에 가깝다.

Confidence 축을 따로 두는 것도 같은 성질이다. 임팩트가 커도 확신이 낮으면 뒤로 밀리는데, 이 구조가 있어야 왜 더 큰 것을 하지 않았는가라는 물음에 답할 근거가 남는다. 층을 세워 무엇이 무엇을 움직이는지 미리 적어 두는 방식은 편2가 다뤘다.

설득할 사람이 셋인데 문서는 하나여야 한다

순서가 정해지면 그것을 남에게 넘겨야 한다. 넘길 대상은 한 종류가 아니다.

세 대상에게 각각 다른 말을 하면 세 갈래로 갈라진 이야기가 남는다. 그래서 한 문서에 네 항목을 적고 그것을 공개된 자리에 둔다.

공개된 자리에 두는 것이 항목만큼 중요하다. 문서가 특정한 사람에게만 전달되면 그 결정에 참여하지 않은 조직은 나중에 결과만 통보받게 되고, 그때는 이미 되돌릴 수 없다. 공개해 두면 배포 전에 반론이 들어올 수 있는데, 배포 전의 반론은 비용이지만 배포 후의 반론은 손실이다.

가설은 세 갈래에서 모은다

문서가 통과되면 만들 것을 구체화한다. 여기서 필요한 준비물은 결론이 아니라 최대한 많은 가설이다. 가설은 세 갈래에서 나온다.

세 갈래는 서로를 검증한다. 자료 조사로 얻은 안은 다른 서비스에서 통했다는 것까지만 말하고, 현장 조사는 우리 사용자가 실제로 어디서 막히는지를 말하며, 정량 분석은 그 안이 얼마나 크게 움직이는지를 말한다. 하나만으로 정하면 나머지 둘이 답했을 물음이 빈칸으로 남는다.

단계를 줄이는 것이 전환율을 열 배로 만든다

정량 분석이 이 프로젝트에서 가장 크게 갈린 자리다. 기존 경로와 개선안을 나란히 놓으면 이렇게 된다.

각 단계의 전환율은 곱해진다. 기존 경로에서 마지막 완료율 25%는 개선안과 같은데, 그 앞에 붙은 두 단계가 10%와 25%로 곱해지면서 최종값이 열 배 차이가 났다. 금액으로는 월 500만원과 5,000만원이다.

⇒ 손댈 곳을 고를 때 마지막 구간만 보지 않는 이유가 이것이다. 완료율 25%를 30%로 올리는 일은 어렵고 얻는 것은 2.5%에서 3%로 가는 것뿐인데, 앞의 두 단계를 없애는 일은 같은 완료율로 열 배를 얻는다.

같은 계산이 화면 안의 배치를 정할 때도 쓰인다. 안내를 어디에 띄울지 정하려고 후보 세 곳의 방문자 수와 예상 전환을 재면, 방문자 47,400명인 자리가 7,441건, 16,860명인 자리가 2,647건, 6,870명인 자리가 1,079건으로 나온다. 모수가 큰 자리가 이긴다. 전환율이 조금 낮아도 곱해지는 값이 크기 때문이다.

볼 것을 정하면 기록할 것이 역산된다

성공 지표를 정했다고 해서 그 값을 볼 수 있게 되는 것은 아니다. 지표를 만들려면 무엇을 기록해야 하는지를 거꾸로 짚어야 한다.

전환율 한 줄을 보려면 기록이 셋 필요하다. 분모가 될 시작과 분자가 될 완료를 각각 세야 하고, 그 사이의 클릭이 있어야 어디서 끊겼는지 갈린다. 이 역산을 배포 전에 해 두지 않으면 배포 뒤에는 아무리 기다려도 값이 만들어지지 않는다. 기록되지 않은 행동은 지나간 뒤에 되살릴 수 없다.

같은 성공에도 세 가지 결말이 있다

배포한 뒤 충분한 데이터가 쌓이면 결과를 읽는다. 여기서 하는 일은 두 가지인데, 성공 지표에 닿았는지 판정하는 것과 다음에 쓸 교훈을 남기는 것이다. 뒤엣것이 자주 빠지지만 실제로 축적되는 것은 그쪽이다.

세 번째가 이 편에서 가장 중요한 칸이다. 성공 지표만 보면 이 결과는 성공이고, 실제로 그렇게 보고되면 아무도 되돌리지 않는다. 등록 수가 늘어난 대신 맞지 않는 멘토가 늘어난 상태일 수 있는데, 그것은 몇 달 뒤에 이탈로 드러난다.

⚠️ 그래서 만족도 같은 지표는 배포 뒤에 찾아보는 것이 아니라 배포 전에 성공 지표와 나란히 정의해 둔다. 뒤에 찾으면 「성공했는데 굳이 왜」라는 물음을 먼저 통과해야 하고, 그 물음은 대개 이긴다. 값이 올랐을 때 함께 봐야 할 것을 미리 적어 두는 일은 개인의 습관이 아니라 조직이 갖추는 장치에 가깝다.

읽은 결과는 네 항목으로 남긴다. 요약, 지표 결과, 임팩트 결과, 그리고 교훈이다. 앞의 셋은 이 프로젝트를 닫는 데 쓰이고 마지막 하나만 다음 프로젝트로 넘어간다. 이 문서도 요구사항 문서와 같은 이유로 공개된 자리에 둔다.

이 편이 쓴 용어

지도편의 용어표가 이 편 몫으로 미뤄 둔 낱말들이다. 거기 적힌 풀이가 시리즈 전체를 향한 것이라면, 아래는 한 바퀴를 도는 동안 그 말이 실제로 무슨 일을 했는지를 적는다.

목표를 세우고 지표를 사슬로 잇는 층위는 편2가, 그 사슬의 칸에 들어갈 값을 어떻게 정의하는지는 편3이 다뤘다. 이 편은 그 둘을 실제 순서대로 굴려 본 것이다.

정리

세 가지가 남는다.

첫째, 우선순위는 한 축으로 정해지지 않는다. 금액으로 환산하면 비교는 가능해지지만 그것은 세 축 가운데 하나다. 임팩트가 두 번째로 큰 일이 걸리는 시간 때문에 꼴찌가 되는 자리가 실제로 생기고, 곱해서 판정할 때만 그 자리가 드러난다.

둘째, 배포 전에 정해 두지 않으면 배포 후에는 만들 수 없는 것이 있다. 기록되지 않은 행동에서 지표를 되살릴 수 없고, 미리 걸어 두지 않은 하위 지표는 성공한 뒤에 꺼내기 어렵다. 이 둘은 늦게 깨닫는 종류가 아니라 늦으면 끝나는 종류다.

셋째, 단계마다 무엇을 보았는지가 남아야 한 바퀴가 자산이 된다. 여덟 단계를 「데이터를 보고 정했다」로 요약하면 다음 프로젝트에서 쓸 것이 남지 않는다. 성과 분석 문서에서 네 항목 가운데 교훈만 다음으로 넘어가는 것도 같은 이유다.

한 바퀴를 돌리는 데 필요한 것은 여기까지다. 그런데 이 과정은 혼자 하는 일이 아니었다. 목표를 나누고 우선순위를 다투고 문서로 넘기는 상대가 계속 있었는데, 그 상대가 어떻게 묶여 있는지는 아직 다루지 않았다. 다음 편은 그 묶음, 곧 팀 자체를 본다.