스팀 리뷰 분석 결과 플레이 시간이 길어질수록 만족도가 하락하는 역U형 궤적이 확인되었다. 200시간 이상 플레이한 베테랑 유저층에서 부정적 평가가 급증하는 플레이 시간-리뷰 감성 역설 현상이 나타났다. 이러한 애증 섞인 리뷰는 주로 멀티플레이 게임과 유료 게임에서 두드러지게 관찰된다
▲ 스팀 로고 (사진출처: 스팀)
오래 플레이 할수록, 멀티 플레이 게임일수록, 유료 게임일수록 ‘애증’ 담긴 스팀 리뷰가 많다는 것이 연구 결과를 통해 공개됐다.
인도 인도정보통신기술연구원 바갈푸르(Indian Institute of Information Technology Bhagalpur, IIIT Bhagalpur)의 체탄 무들라푸르(Chetan Mudlapur)와 옴 프라카시 싱(Om Prakash Singh) 연구팀은 지난 4일, 학술지 IJHCI(INTERNATIONAL JOURNAL OF HUMAN–COMPUTER INTERACTION)를 통해 ‘플레이 시간-리뷰 감성 역설(Playtime-Sentiment Paradox)’ 현상을 대규모 데이터로 실증 분석한 연구 결과를 발표했다.
연구팀은 이번 연구를 위해 스팀에서 12개 장르, 60개 타이틀의 영어 리뷰 55만 9,290건을 수집하고, 최신 자연어 처리 모델인 RoBERTa를 활용해 유저 리뷰에 담긴 감정을 정밀 분석했다. 데이터 전처리 과정에는 리뷰 텍스트가 공백인 리뷰, 총 플레이 시간이 리뷰 작성 시점 플레이 시간보다 적은 비정상 리뷰, 봇 또는 방치형 플레이로 집계될 수 있는 1만 시간 초과 리뷰가 제거됐다.
▲ 플레이 시간이 200시간을 넘어가면서 다시 상승하는 부정적 리뷰 양상을 볼 수 있다 (자료출처: 리서치게이트)
연구진은 플레이 시간을 초기 이탈자(Early Quitters, 0~2시간), 체험 유저(Trial Players, 2~10시간), 몰입 유저(Engaged, 10~50시간), 충성 유저(Loyal, 50~200시간), 베테랑(Veterans, 200시간 이상) 등 5개 구간으로 세분화하여 각 집단의 감성 분포와 평가 패턴을 비교 검증했다. 분석 결과, 플레이 시간과 리뷰 감성 사이에는 ‘플레이 시간이 길수록 만족도가 높다’는 단조로운 선형 관계는 성립하지 않음이 확인됐다.
플레이어는 평균적으로 약 50.2시간 즈음 만족도가 정점을 찍고, 완만하게 하락하는 ‘역U형(Inverted-U)’ 궤적을 보였다. 먼저, 초기 이탈자는 게임에 대한 충분한 인상을 형성하지 못한 상황에서 이탈하는 경우가 많은 만큼 부정적 평가가 긍정적 평가보다 많은 모습을 보였다. 이후 2~200시간 구간에서는 부정적 평가의 비율이 20% 이하를 기록했다.
그러나 200시간 이상을 플레이한 '베테랑 집단'은 부정적 평가의 비율이 28.24%로 다시 급증하는 양상이 확인되었다. 연구팀이 ‘200시간 이상 플레이 후 부정적 리뷰를 작성한 경우’로 정의한 ‘역설 집단’은 전체 데이터의 5.24%인 2만 9,308건을 기록했다. 역설 집단의 평균 플레이 시간은 976.2시간, 중앙값 517.6시간으로 게임을 매우 오래 플레이한, 즉 게임에 깊게 '몰입'한 플레이어로 파악됐다.
▲ 장르에 따라 역설 리뷰의 분포 편차가 매우 큰 모습을 볼 수 있다 (자료출처: 리서치게이트)
이와 같은 '역설 집단'이 많이 분포된 게임 중 1위는 24.66%의 역설 집단을 가진 워썬더가 기록했다. 이어 스텔라리스(20.87%), 마블 라이벌즈(19.88%), 도타 2(18.56%), 철권 8(18.11%) 등 온라인 및 멀티플레이 게임이 그 뒤를 이었다. 반면, 세키로, 검은 신화: 오공, 둠, 코드베인은 역설 리뷰가 아예 없었으며, 서브노티카(0.25%), 골프 위드 유어 프렌즈(0.22%), 하데스(0.19%), 페르소나 5 로열(0.09%) 등의 싱글 게임은 매우 희소한 비율을 지니고 있었다. 또, 게임을 구매한 유저의 역설 비율(5.40%)은 무료로 얻은 유저(3.15%)보다 통계적으로 유의미하게 높은 것으로 확인됐다. 연구진은 이 현상을 매몰 비용 오류, 인지부조화, 애증 관계 등의 프레임워크로 설명했다.
한편, 이번 연구는 플랫폼과 게임 개발사가 플레이 시간과 리뷰 데이터를 해석할 때 기존의 단순한 평가 지표를 넘어선 입체적 접근이 필요함을 보여준다. 실제로 베테랑 구간의 유저 리뷰 평균 글자 수는 330자로, 초기 이탈자의 257자 대비 유의미하게 긴 내용을 포함하고 있다. 이에 개발사들은 이와 같은 유저들의 반응을 단순한 ‘이탈’이나 ‘실패’의 신호로 치부하기보다, 핵심 유저층의 경험에 의거한 내용으로 분석하고 관리해야 할 필요가 있다.
