넥슨의 라이브 서비스 게임의 성장을 지속하기 위해서는 신규 유저와 복귀 유저의 꾸준한 유입이 필수적입니다. 넥슨은 기존 모바일 중심의 UA 채널을 넘어 새로운 확장 채널로서 CTV를 검토했지만, 단순한 노출이나 클릭 기반의 성과를 넘어 실제 유저 확보에 얼마나 기여하는지를 명확히 확인하고자 했습니다. 특히 넥슨은 광고 성과를 ‘광고가 없었으면 발생하지 않았을 성과’, 즉 순수한 증분 효과를 중심으로 평가하고 있어, 이에 부합하는 검증 방식이 필요했습니다. 그러나 CTV 환경에서는 유저가 여러 환경에 걸쳐 광고에 노출될 수 있어 테스트군과 대조군을 명확히 구분하기 어렵다는 한계가 있었습니다.

여기에 더해, CTV는 가구(IP) 단위로 운영되는 반면 넥슨은 개별 게임 계정 단위로 성과를 측정하고 있어, 이러한 단위의 불일치 또한 정확한 효과 측정을 어렵게 만드는 요인으로 작용했습니다. 그 결과, 보다 엄격하고 정교하게 설계된 테스트 접근 방식이 요구되었습니다.

이러한 과제를 해결하기 위해, 넥슨은 몰로코와 협력해 CTV 환경에 최적화된 정교한 증분 효과 테스트를 설계하고 CTV 광고가 유저 획득에 미치는 순수 효과를 검증했습니다.

1. Ghost Bidding 기반 RCT를 통한 증분 효과 측정

몰로코의 데이터 사이언스 팀은 넥슨과 긴밀히 협업해 Ghost Bidding 기반의 무작위 대조 실험(RCT)을 설계했습니다. 다양한 측정 방식이 존재하지만, RCT는 다른 접근법 대비 더 높은 정확도와 신뢰도를 제공합니다. 테스트 시점에서 CTV 매체에 한해 넥슨에게 이러한 구조화된 CTV 테스트를 지원할 수 있는 매체는 몰로코가 유일했으며,이는 파트너 선정에 있어 중요한 요인이었습니다.

몰로코 시스템은 균등하게 나뉜 실험군과 대조군 모두에 대해 입찰에 참여했지만, 실제 광고는 실험군에만 노출했습니다. 대조군에는 광고를 노출하지 않고, 광고 노출 없이 입찰에만 참여하는 방식인 '고스트 비딩(ghost bidding)’을 적용했습니다. 이를 통해 두 그룹이 동일한 입찰 환경을 경험하도록 하면서, 광고 노출의 순수한 효과만을 분리해 측정할 수 있었습니다.

2. 테스트 설계부터 분석까지, 전 과정에 걸친 긴밀한 협업

몰로코와 넥슨은 테스트 설계부터 운영, 분석까지 긴밀히 협력하며, 통제되고 신뢰할 수 있는 실험 환경을 구축했습니다. 특히 넥슨은 실험군과 대조군 간 오염을 최소화하는 데 집중하는 한편, 자사 측정 방식에 부합하는 테스트 구조를 몰로코와 함께 설계했습니다. 몰로코의 데이터 사이언스 및 그로스 팀은 MMP 연동과 캠페인 운영, 데이터 분석 전반을 지원했으며, 이를 통해 넥슨은 CTV의 실제 증분 효과를 안정적으로 측정하고 신뢰도 있게 평가할 수 있었습니다.

주요 인사이트

• 넥슨은 증분 테스트를 통해 CTV가 모바일 UA를 넘어, 추가적인 신규 유저 유입을 이끄는 효과적인 퍼포먼스 채널임을 확인
• 몰로코와 같이 신뢰할 수 있는 테스트 설계와 실행 역량을 갖춘 파트너가 성과 검증의 핵심

증분 효과 측정이 지속 가능한 성장의 핵심 요소로 자리잡으면서, 이를 정확하게 검증할 수 있는 테스트 설계와 이를 뒷받침할 파트너의 역할이 더욱 중요해지고 있습니다. 몰로코 퍼포먼스 CTV를 통해 실제 증분 효과를 직접 확인해 보세요.