주니어 PM의 알고리즘 개발기_part 3

이전글)

주니어 PM의 알고리즘 개발기_part 2

 

 

 

 

---

Part 3: 알고리즘 적용과 최종 성과

*일부 내용은 공개 가능한 범위 내에서 실제 현황과 데이터를 바탕으로 재구성되었습니다. 

 

1. POC (Proof of Concept) 단계

이전 글에서 설정한 팩터와 고려 사항들을 바탕으로 초기 알고리즘 설계를 완료했습니다.

이제 이 알고리즘을 테스트하고, 유효성을 평가하며, 각 팩터별 가중치를 적절히 조정할 단계입니다.

 

일간 탐색 시간 및 인당 조회 수 데이터를 참고하여, 유저가 실제로 탐색할 가능성이 높은 상위 40~50개의 모임을 중심으로 유효성을 평가했습니다.

가중치를 조절할 때에는 상위 리스트가 특정 호스트나 특정 카테고리에 편중되지 않고 다양한 모임이 고르게 노출될 수 있도록 조정했습니다. 또한, 무료 소셜링이 지나치게 많이 노출되거나 반대로 거의 노출되지 않는 문제가 없도록, 유료 소셜링과 무료 소셜링의 노출 비율이 적절한 균형을 이루도록 조정했습니다.

---

2. POC 진행 중 발견된 문제

알고리즘 설계를 마치고 실제로 적용해보기 위해 POC(Proof of Concept)를 진행하면서 몇 가지 예상치 못한 문제들이 드러났습니다.

 

문제 1. 인기 호스트의 모임이 연속으로 노출되는 문제

POC를 진행하면서 발견된 첫 번째 문제는 특정 호스트가 오픈한 모임이 연속으로 상단에 노출되는 현상이었습니다.

이는 알고리즘 설계 단계에서 호스트에게 귀속되지 않을 것이라 예상했던 'CVR' 팩터와 '판매율' 팩터, 즉 '인기도'를 평가하는 팩터들이 각 호스트에게 귀속되는 경향이 강했기 때문입니다. 이미 플랫폼 내에서 인기를 끌고 있는 호스트들이 존재했고, 이들 호스트의 모임이 자연스럽게 높은 인기도 점수를 받게 되면서 연속으로 노출되는 상황이 발생했습니다.

이 문제는 특정 호스트가 과도하게 노출됨으로써 다른 모임의 노출 기회를 줄이는 결과를 초래할 수 있었습니다. 이는 알고리즘이 의도한 바와는 반대되는 현상으로, 다양한 모임을 고르게 노출하려는 목표를 저해하는 요소로 작용했습니다.

 

문제2. 무료 모임의 과도한 상단 노출 문제

두 번째 문제는 무료 모임이 상단에 지나치게 많이 노출되는 현상이었습니다.

무료 소셜링은 '잠재 수익' 팩터에서 점수를 받을 수 없기 때문에, 다양한 모임이 고르게 노출될 수 있도록 약간의 추가 점수를 부여했습니다. 그러나 POC 진행 결과 무료 소셜링은 신청의 허들이 낮고 온라인 모임의 비중이 높아 CVR(조회 대비 신청율) 항목에서 높은 점수를 받는 경향이 있었습니다. 이로 인해 유료 모임에 비해 무료 모임이 과도하게 상단에 노출되는 문제가 발생했습니다.

유료:무료 모임의 이상적인 노출 비율을 '상단 50개 내에서 8:1'로 설정했지만, 실제로는 4:6으로 나타나면서 유료 모임의 노출 기회가 상대적으로 줄어드는 결과를 초래했습니다.

이 문제는 잠재 수익이 낮은 무료 모임이 지나치게 많이 노출됨으로써, 플랫폼의 수익성에 부정적인 영향을 미칠 위험이 있었습니다. 또한, 무료 모임은 대개 호스트가 특별히 준비하거나 기획한 모임이 아니라, 비교적 쉽게 열 수 있는 모임인 경우가 많아 알고리즘의 기획 의도와 다르게 매력적인 모임을 찾기 어려워지는 문제도 있었습니다.

 

문제3. CVR (조회 대비 신청) 팩터의 순환 효과 부족 문제

POC를 진행하면서 발견된 세 번째 문제는, CVR(조회 대비 신청율) 팩터가 의도한 대로 모임의 순환을 효과적으로 이끌어내지 못했다는 점입니다.

알고리즘은 상단에 노출된 모임이 높은 조회 수와 함께 신청이 많이 이루어지면 계속 상단에 머물도록 설계되었습니다. 반대로, 조회 대비 신청이 줄어들면 해당 모임이 자연스럽게 순위에서 내려가도록 하여 다른 모임들이 순환되기를 기대했습니다. 그러나 실제로는 상단에 노출된 동일한 모임이 계속해서 유지되는 현상이 발생했습니다.

이 문제의 원인은 유저들이 한 번 클릭하여 신청하지 않은 모임을 다시 조회하지 않는 경향이 있기 때문이였습니다. 모임별 인당 조회 수가 거의 1로 나타나면서 분모인 조회 수가 늘어나지 않았고, 그 결과 모임의 순환이 제대로 이루어지지 않았습니다. 이대로 알고리즘이 적용된다면 유저들이 계속 같은 모임을 모임 리스트 상단에서 보게 되어 탐색에 대한 흥미를 잃게 만들 것이라 판단되었습니다.

---

3. 문제 해결 방안

POC 과정에서 발견된 이러한 문제들을 해결하기 위해 다음과 같은 조치를 진행했습니다.

 

1. 호스트 귀속 팩터를 보완할 수 있는 새로운 요소 도입

특정 호스트의 모임이 연속으로 노출되는 문제를 해결하기 위해, 우리는 ‘모임 시작 시간’ 정보를 새로운 팩터로 추가했습니다. 모임 시작 시간이 가까운 모임에 가중치를 부여함으로써, 호스트와 독립된 기준을 추가로 설정할 수 있었습니다. 이 팩터는 특정 호스트의 인기도에 의존하지 않으면서도, 유저가 참여할 시점에 맞춰 적절한 모임을 추천할 수 있는 방법이었습니다.

이를 통해 특정 호스트의 모임이 모임 리스트 상단을 독점하지 않도록 조정할 수 있었으며, 유저들에게 더욱 다양한 모임을 고르게 노출할 수 있었습니다.

 

2. 무료 모임 추가 점수 제거 및 잠재 수익 팩터 조정

무료 모임이 지나치게 많이 노출되는 문제를 해결하기 위해 무료 모임에 부여되던 추가 점수를 제거했습니다. 대신 잠재 수익 팩터의 가중치를 하향 조정하여 유료 모임과 무료 모임 간의 노출 비율을 적절히 조정했습니다. 이로써 유료:무료 모임의 노출 비율을 8:1 정도로 맞출 수 있게 되었습니다.

이러한 조정은 플랫폼의 수익성 유지뿐만 아니라, 유저가 매력적인 유료 모임과 매력적인 무료 모임을 모두 충분히 발견할 수 있도록 하는 데 중요한 역할을 했습니다.

 

3. '조회 대비 신청율' 팩터를 '노출 대비 신청율'로 변경
리스트 상단에 지속적으로 노출되지만 클릭이 이루어지지 않아 'CVR'의 순환 효과가 제대로 발휘되지 않는 문제를 해결하기 위해, CVR을 '조회 대비 신청율'에서 '노출 대비 신청율'로 변경했습니다.

이 조정으로 특정 모임이 상단에 계속 노출되었으나 신청이 이루어지지 않는다면 자동으로 노출 순위가 하락하게 됩니다. 이러한 변경은 모임 순환을 촉진하고, 유저들이 다양한 모임을 탐색할 수 있도록 하여 탐색 흥미를 높이는 효과를 가져올 것입니다.

---

4. 알고리즘 배포

POC를 통한 모든 조정이 완료된 후, 우리는 최종 알고리즘을 플랫폼에 적용했습니다.

새로운 알고리즘은 실 서버에서도 유저가 참여할 만한 매력적인 모임을 상단에 노출하면서도, 다양한 모임이 골고루 노출될 수 있도록 작동하였습니다. 또한 유료 모임과 무료 모임 간의 균형을 맞춰, 유저에게 제공되는 모임의 다양성과 품질을 동시에 높였습니다.

알고리즘 최종 적용 후 1달간 조회 수 대비 신청 수, 결제 단가, 거래액이 크게 증가했습니다.

7일 평균 최종 거래액 그래프 (*6월 3주차 릴리즈)

*공개 가능한 범위 내에서 실제 데이터를 기반으로 재구성한 데이터입니다.

이러한 데이터는 유저들이 탐색 과정에서 더 빠르게 매력적인 모임을 발견할 수 있었음을 보여주며, 이는 탐색 시간과 피로도가 감소했다는 것을 증명합니다.

결제 단가가 상승한 것은, 기존의 랜덤 로직에서는 무료 모임도 유료 모임과 동일하게 상단에 랜덤으로 노출되었지만 새로운 알고리즘은 매력 있는 유료 모임을 우선적으로 노출하면서도 무료 모임을 일부 함께 보여주도록 설계되었기 때문에 상승한 것으로 확인했습니다. 이러한 변화는 플랫폼 전체의 활성화에도 긍정적인 영향을 미쳤습니다.

---

5. 유저 대상 공지 및 넛지 전략

새로운 알고리즘을 적용한 후, 모임 운영자들이 이 변화에 잘 적응하고 플랫폼에서 기대하는 방식대로 모임을 운영할 수 있도록 로직 관련 공지사항을 제작하여 배포했습니다. 이 공지사항의 목적은 유저들이 알고리즘의 변화를 이해하고, 이를 반영하여 모임을 준비하고 성공적으로 운영할 수 있도록 돕는 데 있었습니다.

 

추가로, 이전에도 알고리즘에 조금만 변화가 생겨도 호스트들이 알고리즘 테스트 모임을 열어보거나 고객센터에 항의하는 일이 발생해 CS 부서가 어려움을 겪는 경우가 많았습니다. 호스트들이 본인의 수익과 직결되는 알고리즘의 변화에 매우 민감하게 반응하기 때문에 이러한 사전 안내와 공지 사항 배포가 꼭 필요했습니다.

 

해당 가이드는 아래 링크에서 확인할 수 있습니다.

[공지] 문토 모임 노출 알고리즘 안내

 

 

실제로 CS 담당 부서에서 전달해 준 유저 반응도 함께 공유합니다.

TF팀에서 알고리즘을 적용하기 전에는 모임 노출 방식에 대한 불만과 건의가 주기적으로 접수되었지만, 이번 알고리즘 배포 이후 이러한 문의가 거의 인입되지 않았습니다.

이전에는 참가 인원이 많은 모임만 나열하거나, 최대 인원 대비 참여 비율을 기준으로 노출하거나, 랜덤으로 모임을 보여주던 방식 등 모든 노출 방식에서 각각의 호스트들이 불만을 제기했었습니다. 그러나 이번에 도입된 알고리즘은 소규모와 대규모, 유/무료 모임 등 다양한 모임을 균형 있게 노출하도록 조정했으며, 유저 행동을 실시간으로 노출 순서에 반영하는 점이 호스트들에게 논리적으로 이해되고, 긍정적으로 받아들여진 것으로 보입니다.

---

6. 알고리즘의 향후 전망

새로운 알고리즘의 적용은 단기적인 성과뿐만 아니라, 장기적으로도 긍정적인 효과를 가져올 것으로 기대됩니다.

유저가 매력적인 모임을 쉽게 찾고 플랫폼에 대한 신뢰를 유지할 수 있게 됨으로써, 장기적인 유저 리텐션이 향상될 것입니다. 또한 다양한 모임이 고르게 노출되면서 플랫폼 전체의 생태계가 더욱 풍부해지고, 수익성도 극대화될 것으로 보입니다.

이 프로젝트는 거래액 증대뿐만 아니라 기존의 단순 나열식 알고리즘을 벗어나 다양한 팩터를 점수화한 알고리즘을 도입했다는 점에서도 큰 의의를 갖고 있습니다.

 

향후에는 알고리즘의 성과를 지속적으로 모니터링하고, 유저 피드백을 반영하여 더욱 정교한 알고리즘으로 발전시킬 계획입니다. 이를 통해 플랫폼이 유저와 호스트 모두에게 더욱 매력적인 공간으로 자리 잡을 수 있도록 노력할 것입니다.

---

7. 결론

이번 3부작 시리즈에서는 소셜링 플랫폼의 알고리즘 개발과 개선 과정을 자세히 다뤘습니다. 문제 정의와 초기 상황 분석, 알고리즘 설계와 문제 해결 과정, 그리고 최종 적용과 성과를 통해 새로운 알고리즘이 어떻게 유저와 호스트 모두에게 긍정적인 영향을 미칠 수 있었는지를 설명했습니다.

 

이 알고리즘 개발 과정은 단순한 기술적 개선이 아니라 유저 경험과 플랫폼 수익성 모두를 고려한 전략적 접근이었으며, 앱 내의 점수화 알고리즘을 도입한 첫 시도였음을 강조하고 싶습니다. 앞으로도 지속적인 개선과 발전을 통해, 더 나은 서비스를 제공할 수 있도록 최선을 다할 것입니다.