주니어 PM의 유효 결제 증대 프로젝트

*일부 내용은 공개 가능한 범위 내에서 실제 현황과 데이터를 바탕으로 재구성되었습니다.

1. 문제 상황: 일부 모임의 결제 대비 취소율 100% 초과 현상

서비스 운영 중 일부 인기 모임에서 결제 대비 취소율이 100%를 초과하는 현상이 발견되었습니다. 이 문제는 비즈니스에 부정적인 영향을 미치는 문제라고 판단하여 이를 해결하기 위해 원인을 분석하였습니다.

 

2. 원인 분석: 노출된 마감 모임이 초래한 악순환

문제 원인을 분석하기 위해 먼저 일반적인 모임의 평균적인 결제 대비 취소율을 확인한 후, 평균값을 10% 이상 초과하는 모임에 대해 상세한 결제 취소 사유를 조사했습니다.
 
조사 결과 결제 취소 사유의 90% 이상이 '마감'으로 인한 거절 때문인 것으로 나타났습니다.
 
서비스 구조상 호스트가 모임을 오픈할 때 모임 진행에 필요한 최소 인원과 최대 인원을 설정하게 되어 있으며, 호스트가 설정한 최대 인원에 도달하면 자동으로 모임 모집이 마감되고 리스트에서 비노출 상태로 전환 됩니다.
그러나 일부 호스트들은 모임을 계속 노출시키기 위해 실제 정원보다 더 큰 최대 인원을 설정했고, 모집이 마감되었음에도 불구하고 신청자들에게 이를 안내하며 신청을 거절했습니다.
 
이 과정에서 실제로는 마감된 모임이 잔여 자리가 얼마 남지 않은 인기 있는 모임으로 판단되어 모임 리스트에 계속 노출되었고, 이를 알지 못한 참가자들의 신청과 결제 취소가 반복적으로 발생하는 문제가 생겼던 것입니다. 
 
이러한 문제가 유저 및 비즈니스에 직접적으로 미치는 영향은 다음과 같습니다.

1. 적합한 모임 탐색의 어려움: 마감된 모임이 상단에 노출되어 있으면, 유저가 실제로 참가할 수 있는 모임을 찾는 데 어려움을 겪을 수 있습니다. 
2. 유효 결제 건수 감소: 마감된 모임이 노출되면 실제로 결제가 이루어져야 할 '모집중인 모임'들이 덜 노출됩니다. 이는 전체적인 유효 결제 건수의 감소로 이어져, 매출 감소를 초래할 수 있습니다.
3. 사용자 경험 저하로 인한 이탈: 반복적으로 불만족스러운 경험을 한 참가자들은 부정적인 피드백을 남기거나, 주변에 추천하지 않을 가능성이 큽니다. 이는 서비스의 전반적인 브랜드 이미지에 부정적인 영향을 미치며, 장기적으로 리텐션에도 부정적인 영향을 미칠 수 있습니다.

 

3. 가설 설정: 마감된 모임에 대한 노출 패널티의 효과

이 문제를 해결하기 위해 마감된 모임에 노출 패널티를 적용하면 해당 모임에 대한 신청이 감소하고 결제 취소가 줄어들고, 유효한 모임이 더 노출되며 유효 결제가 증가할 것이라는 가설을 세웠습니다. 이 가설은 마감된 모임이 상단에 노출되는 문제를 해결하고, 실제로 신청이 필요한 모임이 더 잘 노출되도록 하려는 목적에서 출발했습니다.
 

4. 솔루션: 취소 패턴 기반 노출 패널티 적용

*공개 가능한 범위 내에서 재구성하여 기재

문제 해결을 위한 솔루션으로, 우리는 연속적인 취소가 발생한 모임에 대해 노출 패널티를 적용하기로 결정했습니다. 이때, 마감 모임을 정의하기 위해 특정 시점의 스냅샷 데이터를 바탕으로 비정상적인 취소 패턴이 발생한 경우를 기준으로 삼았습니다.

 

이러한 기준을 설정한 이유는 다음과 같습니다:
신청 및 취소 패턴을 분석한 결과, 마감된 모임에서 발생하는 취소는 대부분 호스트가 특정 인원을 승인한 이후 집중되었습니다.
즉, 일정 수의 신청자가 승인된 이후 남아 있는 소수의 자리를 두고 취소가 연속적으로 발생하는 패턴이 나타났습니다. 이러한 연속적인 취소는 실제로 모임이 마감되었음을 반영하며, 추가 신청이 발생하더라도 취소될 가능성이 매우 높음을 의미합니다.
 
이러한 경우를 마감 모임으로 정의하여 일부 리스트 탐색 지면에서 노출되지 않도록 하고, 호스트의 개인 프로필 페이지에서만 기존과 같이 확인할 수 있도록 조정되었습니다. 
 

5. 우려 사항 및 대응 계획

솔루션을 설계하는 과정에서, 몇 가지 우려되는 점도 제기되었습니다.
그 중 하나는 마감된 모임이 대체로 인기 있는 모임이라는 점입니다. 이런 모임에 대해 노출을 제한할 경우, 이들 모임에 대한 신청 자체가 발생하지 않을 수 있다는 우려가 있었습니다. 마감된 모임이 더 이상 눈에 띄지 않게 된 후 다른 모임의 탐색 및 신청 자체를 포기할 가능성이 있다는 것입니다.
 
그러나, 논의 끝에 이러한 결과도 충분히 유의미한 인사이트를 제공할 수 있을 것이라 판단했습니다.
예를 들어 마감된 모임의 노출이 오히려 활성도에 긍정적인 영향을 미치고 있었다는 사실을 알게 되거나, 노출 제한이 더 많은 모임의 신청률에 미치는 영향을 분석함으로써 향후 노출 알고리즘을 더욱 정교하게 조정할 수 있는 기회를 얻게 될 수 있을 것이라 기대했습니다.
 
이에 따라 우리는 실험 중단 기준을 설정하고 빠르게 실험을 진행하기로 결정했습니다.
 

6. 실험 중단 기준 설정

실험을 진행하면서 앞선 우려 사항에 대응하기 위해 가드레일 지표를 설정했습니다. 

1. 활성 유저 대비 주간 신청 수 지표가 평균 대비 10% 이상 감소할 경우
2. 전체 모임 신청 수가 거절 감소 폭과 동일한 수준으로 감소할 경우
3. 주간 활성 사용자 수가 5% 이상 감소할 경우

두 지표 중 한 가지라도 확인될 경우 실험을 중단하고, 노출 패널티의 영향을 재평가한 후 필요에 따라 알고리즘을 조정하거나 다른 접근 방법을 적용할 계획이었습니다.
이러한 접근 방식을 통해, 우리는 문제를 해결하면서도 서비스 전체의 품질을 유지하기 위해 신중하게 대응할 수 있었습니다.
 

7. 실험 결과: 유효 결제 증대 및 신청/취소 패턴의 일부 개선

이 솔루션 적용 후 걱정했던 활성 유저 대비 신청률과 조회 수의 감소는 발생하지 않았으며, 마감된 모임으로 인한 신청 및 취소가 38% 감소했습니다. 이는 마감 모임에 대한 노출 패널티가 유효하게 작동했음을 보여줍니다. 그러나 주목할 점은, 마감된 모임에서 반복적인 신청 및 취소가 여전히 발생했다는 것입니다.
 
Amplitude를 통해 해당 모임에 신청한 유저의 여정을 확인해본 결과, 리스트에서 노출이 제한된 모임임에도 불구하고 유저들이 모임장의 프로필 페이지로 직접 진입하여 해당 모임을 신청하는 경향이 있다는 인사이트를 얻었습니다.
이러한 결과는 유저들이 단순히 리스트에 노출된 모임만을 탐색하는 것이 아니라, 모임장에 대한 관심을 바탕으로 직접 탐색하는 행동 패턴을 보인다는 것을 의미합니다.
 

8. 인사이트

1) 모임장 브랜딩과 탐색 기능 강화의 필요성

이번 프로젝트를 통해, 유저들이 모임장에 대한 관심을 바탕으로 프로필 페이지를 탐색하며 모임을 신청하는 경향을 파악할 수 있었습니다. 이는 단순히 모임 리스트의 노출만이 아니라, 모임장 브랜딩 강화가 중요하다는 점을 시사합니다.
 
따라서 앞으로는 모임장 브랜딩을 강화하고, 유저가 모임장을 쉽게 탐색할 수 있는 탐색 지면을 다각화하는 방안을 모색하는 것이 필요하다는 인사이트를 얻게 되었습니다. 이는 서비스의 질을 높이고, 더 많은 유효 결제를 유도할 수 있는 중요한 전략이 될 것입니다.

2) 거절된 유저의 거절 후 여정 개선 필요성

노출 제한을 통해 마감된 모임의 신청을 줄이더라도 여전히 어떤 방식으로든 신청하는 유저들이 존재하며, 거절은 필연적으로 발생하게 됩니다. 이러한 거절 경험을 맞닥뜨린 유저에에게 유사한 다른 모임을 추천해주는 시스템이 필요하다는 것 또한 중요한 인사이트입니다. 거절된 유저가 다시 모임을 찾는 과정을 쉽게 만들어 긍정적인 유저 경험을 제공하면서도 유효한 신청을 늘리는 데 필요한 지면을 효과적으로 확보할 수 있을 것으로 기대됩니다.

이 인사이트들을 바탕으로 우리는 유저 행동 패턴을 더욱 면밀히 분석하고, 모임장 브랜딩을 강화할 수 있는 기능을 도입해 나갈 계획입니다. 
 

9. 결론

이번 프로젝트는 마감된 모임의 노출을 일부 제한하고 유효한 결제를 증대시키기 위해 플랫폼의 활성도를 높이는 중요한 요소인 '인기 모임'의 노출을 제한하는 도전적인 시도를 진행한 것이었습니다. 사용자들이 인기 있는 모임이 많을수록 플랫폼이 더 활성화되어 보인다고 느끼기 때문에 이러한 인기 모임의 노출을 줄이는 것은 큰 도전이었습니다.
 
결과적으로, 인기 모임의 노출을 일부 제한하더라도 유저의 신청 자체에는 큰 영향을 미치지 않는다는 사실을 확인할 수 있었고, 유효 결제 건수를 증가시키는 데 성공했습니다. 또한 필요한 모임에 대한 노출을 확보함으로써, 실제로 신청이 필요한 모임이 더 잘 노출되도록 할 수 있었습니다. 이 과정에서 유저 행동 패턴을 분석하여 모임장 브랜딩 및 탐색 기능 강화의 필요성도 확인했습니다.
 
이번 프로젝트를 통해 얻은 인사이트를 바탕으로 추후 또 다른 프로젝트를 진행할 날을 기대합니다 : )