합성 사용자의 디자인 선호 예측은 동전 던지기 수준

디자인팀이 합성 사용자를 찾는 순간은 거창한 소비자 조사 때보다 훨씬 평범하다. 화면 두 개를 놓고 “사람들은 어느 쪽을 더 좋아할까?”를 묻는 A/B 테스트에 가깝다. The Voice of User의 Constantine Papas는 바로 이 판단을 실제 데이터로 다시 시험한 프리프린트를 소개한다.

연구진은 29개 조직이 UXtweak 플랫폼에서 진행한 실제 선호도 테스트 29건을 모았다. 참가자는 2,073명, 과제는 78개였다. 각 테스트의 디자인과 대상 사용자 정보를 LLM에 주고, 모델이 실제 참가자와 같은 선택을 하는지 비교했다. 정치 여론조사나 일반 소비자 조사가 아니라, 디자인팀이 업무 중 자주 만나는 “두 화면 중 어느 쪽을 더 좋아하는가”라는 질문을 골랐다는 점이 중요하다.

아직 동료 심사를 거치지 않은 프리프린트다. 방법론이 꽤 탄탄해 보이더라도 확정된 과학으로 읽을 단계는 아니다. 다만 합성 사용자가 실제 디자인 판단에 들어오는 가장 흔한 장면을 꽤 직접적으로 다룬다.

AI는 틀린 답보다 동점을 만들었다

모델이 예상과 반대되는 안을 고르는 경우를 먼저 떠올리기 쉽다. 실제로 틀린 답도 나왔다. 합성 사용자와 실제 참가자의 선호 분포는 44%의 과제에서 통계적으로 달랐고, 사람이 가장 많이 고른 선택지를 모델이 맞힌 비율은 53%였다. 순위 순서의 평균 일치도 역시 0.53으로, 대략 동전 던지기와 비슷한 수준이다.

하지만 원문이 더 중요하게 보는 결과는 따로 있다. 모델은 사람들의 선호를 자꾸 평평하게 만들었다. 실제 사람에게 분명한 승자가 있을 때도 여러 선택지에 표를 나눠주면서, 각 안이 비슷하게 괜찮은 것처럼 만들었다.

선호도의 정규화 엔트로피는 AI가 0.93, 실제 참가자가 0.86이었다. 차이는 통계적으로 유의했다. 논문은 LLM이 ‘우유부단함을 부풀린다’고 표현한다. Papas는 한 발 더 나아가 모델이 동점을 만든다고 쓴다.

이 현상은 틀린 답보다 다루기 어렵다. 틀린 답은 반박할 수 있다. 반면 “세 안이 모두 괜찮고, 각자 장점이 있다”는 답은 아무것도 부수지 않는다. 이미 자신이 좋아하는 안을 만들어둔 디자이너에게는 특히 편한 답이다. 합성 패널이 세 안을 비슷하다고 말하면, 그 안을 반대할 근거도 함께 약해진다.

실제 사용자 테스트가 디자이너의 확인 편향에 마찰을 더하는 절차라면, 선호도를 부드러운 동점으로 만드는 합성 패널은 마찰만 줄이고 자신감은 남길 수 있다. AI가 편향을 교정한 것이 아니라, 기존 판단을 데이터처럼 보이게 만든 셈이다.

모델과 프롬프트를 바꿔도 해결되지 않았다

이런 결과가 나오면 보통 세 가지를 의심한다. 모델이 나빴거나, 설정이 틀렸거나, 페르소나가 빈약했다는 설명이다. 연구진은 이 설명들을 차례로 확인했다.

GPT-4.1을 GPT-5.2로 바꿨을 때 선호 분포가 다른 과제의 비율은 44%에서 38%로 내려갔다. 하지만 통계적으로 유의한 변화는 아니었다. 첫 번째 선택지 일치율은 65%까지 올라갔지만, 더 나은 추론 모델이 선호 판단 자체를 본질적으로 개선했다고 보기는 어려웠다. 오히려 답변의 편향이 더해지고 의미적 다양성이 줄어드는 경우도 있었다.

샘플링 설정도 마찬가지였다. temperature를 0.2로 낮췄을 때 분포 차이는 41%, top_p를 0.2로 낮췄을 때는 38%였다. 엔트로피는 약 0.94에 머물렀다. 처음 손대기 쉬운 설정값을 조절하는 것만으로는 거짓 균형을 없앨 수 없었다.

상세한 페르소나를 넣는 방법도 통하지 않았다. 실제 표본의 인구통계, 성격, 스크리닝 데이터와 사전 조사 결과를 담은 풍부한 페르소나와, 별다른 특징이 없는 일반 페르소나를 비교했지만 과제 결과가 실제 사람과 달랐던 비율은 각각 46%와 44%였다. 이름을 붙이고 배경을 만들고 성격 유형을 더해도 디자인 선호 예측력은 달라지지 않았다.

한 사람씩 따로 시뮬레이션하는 방식은 오히려 나빴다. 상세한 개인을 한 명씩 흉내 내자 실제 사람과의 차이가 91%의 과제까지 올라갔다. 엔트로피는 0.28로 떨어졌고, 모델은 가능한 선택지를 거의 탐색하지 않은 채 지나치게 단정적으로 변했다.

여러 사람을 합친 ‘메가 페르소나’가 상대적으로 나아 보인 이유도 조심스럽게 설명된다. 모델이 ‘집단’이라는 단어에서 다양성을 기대하고, 그 패턴을 답변에 재현했을 수 있다는 것이다. 사람들의 집단적 선호를 이해했다기보다, 집단에는 다양한 의견이 있어야 한다는 학습된 모양을 꺼냈을 가능성이다.

모델도, 온도도, 페르소나도, 개인 단위 시뮬레이션도 핵심 문제를 해결하지 못했다. 사람들이 프롬프트 문제라고 생각한 것이 실제로는 프롬프트 문제가 아닐 수 있다는 뜻이다.

“왜 그렇게 골랐나”에서 차이가 더 커진다

디자인팀이 합성 패널에서 얻고 싶은 것은 선택지만이 아니다. 왜 그 안을 골랐는지, 무엇이 마음에 들었는지에 대한 설명도 필요하다. 이 서술형 답변에서 실제 참가자와 모델의 차이가 더 선명해진다.

실제 답변과 합성 답변의 어휘 유사도는 약 0.25, 의미 유사도는 약 0.70이었다. 비슷한 주제를 가리키는 듯하지만, 구체적인 이유는 상당히 달랐다는 뜻이다.

모델은 모든 안에서 똑같은 버튼의 가시성을 칭찬했다. 비교 대상의 차이를 보고 있는 것이 아니라, 디자인에 대해 그럴듯한 말을 이어가고 있다는 신호다. 실제로 존재하지 않는 과업을 지어낸 뒤 그 과업에 도움이 되는 요소라고 설명하기도 했다.

실제 참가자는 어떤 요소가 왜 왼쪽에 있어야 하는지처럼 구체적인 차이에 반응했다. 모델은 일반적인 긍정 뒤에 일반적인 부정을 붙였다. 논문에 나온 “가시성은 좋지만 추천하기는 망설여진다”는 문장이 그 사례다. 두 문장 사이에 실제 판단의 이유는 없고, 문장만 균형을 이룬다.

모델은 다른 웹사이트에서 본 적이 있다며 디자인에 익숙하다고 말하면서도 구체적인 기억은 내놓지 못했다. 개인의 경험을 가진 것이 아니라, 경험이 있는 사람의 말투를 흉내 낸 셈이다. “그냥 싫다”, “관심 없다”, “추천하고 싶지 않다” 같은 실제 선호의 마찰도 매끈하게 사라졌다.

대시보드처럼 복잡한 화면에서는 무관한 시각 요소 하나를 붙잡고 설명 전체를 세웠다. 같은 내용을 다른 말투로 쓴 카피 비교에서는 미묘한 어조 차이를 놓쳤다. 선호가 실제로 생기는 주관적인 영역을 읽지 못한 것이다.

가짜 응답을 가려내는 단서

이 연구에서 당장 가져갈 수 있는 결과도 있다. 합성 사용자 연구가 좋은 방법인지와 별개로, 실제 조사에 봇이나 LLM의 도움을 받은 응답자가 섞이고 있기 때문이다. 연구진이 합성 답변에서 확인한 단서는 다음과 같다.

• 비교하는 선택지의 핵심 차이를 무시함
• 한두 개의 시각 요소에 과도하게 매달림
• 구체적인 결과나 함의 없이 일반적인 속성만 붙임
• 길이는 늘어나지만 깊이는 늘지 않음
• 문장 사이에 서사나 논리적 흐름이 없음
• 과도한 칭찬 또는 칭찬과 비판이 지나치게 정밀하게 균형을 이룸
• 실제 주관적 평가가 없음
• 맥락에 맞지 않는 가정을 함
• 질문과 무관한 개선안을 제안함
• 답변 내부에서 서로 모순됨

이 연구가 말하지 않는 것

이번 실험에서 직접 실행한 모델은 GPT-4.1과 GPT-5.2뿐이다. 논문은 Claude와 LLaMA를 언급하지만 이번 실험에서 직접 비교하지는 않았다. 따라서 이 결과만으로 모든 모델이 같은 방식으로 실패한다고 말하기는 어렵다.

다만 같은 연구진의 앞선 182개 연구 체계적 검토에서는 GPT-2부터 GPT-4o, Claude, Gemini, Mistral, Qwen, DeepSeek까지 여러 모델에서 비슷한 실패 형태가 확인됐다. 원문은 이번 실험의 좁은 모델 범위를 이 검토의 넓은 결과와 연결해 일반화한다.

현실성에도 대가가 있다. 실제 조직이 실제 플랫폼에서 진행한 테스트를 사용했기 때문에 현장에서 어떤 일이 생기는지는 잘 보여주지만, 통제된 실험은 아니다. 여러 안을 보여주는 선호도 테스트 자체가 참가자의 행동을 바꿀 수 있다. 원자료도 각 조직의 소유라 결과가 집계된 형태로만 공개됐고, 재현성에는 한계가 남는다.

이해상충도 확인해야 한다. 세 명의 저자 중 두 명은 UXtweak Research 소속이고, 29개 연구 모두 그들이 판매하는 플랫폼에서 진행됐다. 선언된 이해상충은 없다. AI가 유료 선호도 테스트를 잘 재현한다는 결과가 나왔다면 제품에 넣을 수 있는 기능이었겠지만, 자기 고객의 실제 데이터로 시험한 결과는 그렇지 않았다. 원문은 이 점을 앞선 182개 연구 검토와 함께, 상업적 이해에 불리한 결론을 낸 근거로 본다.

합성 사용자를 볼 때 정확도 외에 물어야 할 것

합성 사용자에 대한 정직한 입장은 지금까지 “신뢰하기 어렵고, 무엇을 잃는지 알면서 극도로 조심해 사용하라”에 가까웠다. 이번 연구는 그 경고를 더 구체적으로 만든다.

문제는 평균을 내면 사라지는 무작위 잡음이 아니다. 선호도를 거짓 균형 쪽으로 밀어붙이는 방향성 있는 왜곡이다. 그래서 질문은 “정확한가”에서 끝나지 않는다. 이 답변이 팀의 자신감과 반대 근거에 어떤 영향을 주는지도 봐야 한다.

원문이 제시하는 결과는 정보량은 낮추고 자신감은 올리는 조합이다. 실제 사람들이 어떤 디자인을 더 좋아하는지, 왜 그렇게 좋아하는지, 특히 팀이 듣고 싶어 하지 않는 이유를 말하게 하는 일이 여전히 어려운 부분으로 남는다.

crit의 관점

합성 사용자를 전면 금지하자는 글은 아니다. 다만 디자인 의사결정에서 가장 위험한 답은 틀린 답보다 반박하기 어려운 동의일 수 있다. 모델의 답이 실제 사용자에 대한 정보인지, 이미 정해둔 안에 대한 자신감만 높이는 말인지 구분하는 장치가 없다면 합성 피드백은 조사라기보다 확신을 포장하는 도구가 된다.