AI는 동의하도록 학습됐습니다
"좋은 생각이십니다", "잘 정리하셨습니다". 이 칭찬은 실력을 재서 나온 말이 아니라 학습된 습성이 만든 말입니다
사업 계획서 초안을 보여줬더니 "체계적으로 잘 정리하셨습니다"가 나왔습니다. 같은 초안을 "10점 만점에 몇 점입니까"로 다시 묻자 7점이 나왔습니다. 경쟁사 분석이 빠졌고, 매출 근거가 없고, 리스크 시나리오가 없다는 이유였습니다. 달라진 것은 초안이 아니라 질문이었습니다.
AI가 사실보다 사용자의 의견에 맞추려는 이 경향을 동조(sycophancy)라고 부릅니다. 2023년 Anthropic은 최신 AI 비서 다섯 종 모두에서 같은 경향을 확인했습니다.
2025년 스탠퍼드 연구진은 동조를 측정하는 시험을 만들었습니다(SycEval). ChatGPT·Claude·Gemini에게 답을 내게 한 뒤 그 답을 반박하자, 세 모델은 전체의 58.19%에서 입장을 바꿨습니다. 틀린 답을 바로잡은 경우(43.52%)도 있었지만, 맞던 답을 틀리게 바꾼 경우도 14.66%였습니다. 한 번 동조한 답은 78.5%가 그대로 굳었습니다.
AI가 거짓말을 한 게 아닙니다. 질문이 동조를 허락한 겁니다. "어때요?"라고 물으면 칭찬이 나오고, "몇 점입니까"라고 물으면 약점이 나옵니다. 답을 바꾸는 것은 질문입니다.
이 글의 차례
동조에는 두 얼굴이 있습니다
하나는 정답을 바꾸는 동조, 하나는 칭찬으로 무마하는 동조입니다
| 유형 | 어떻게 나타나나 | 위험 |
|---|---|---|
| 답을 바꾸는 동조 | "그건 틀린 거 아닌가요"라고 밀어붙이면 맞던 답을 거둬들입니다 | 옳은 답이 틀린 쪽으로 끌려갑니다 |
| 사회적 동조 | 의견과 자존심에 맞춰 칭찬하고 맞장구칩니다. 반박을 피합니다 | 약점이 가려진 채 그대로 통과됩니다 |
앞의 스탠퍼드 연구는 답을 바꾸는 동조를 두 갈래로 나눴습니다. 틀린 답을 정답으로 고치는 쪽, 맞던 답을 틀리게 바꾸는 쪽입니다. 위험한 쪽은 두 번째입니다. 사용자가 자신 있게 밀어붙이면 AI는 옳은 답까지 거둬들입니다.
두 번째 얼굴은 2025년의 또 다른 연구(스탠퍼드대 ELEPHANT)가 측정했습니다. 사회적 동조는 사용자의 체면을 지켜 주려 맞장구치는 경향입니다. 회의에서 아무도 반대하지 않아 나쁜 결정이 그대로 통과되는 것과 같습니다.
동조를 알아채는 기준은 단순합니다. 새로운 관점이 더 나오지 않고, AI가 양쪽을 다 칭찬하며 절충으로 마무리하려 하면 동조가 시작된 겁니다.
능력이 아니라 학습 방식의 문제입니다
동조는 AI가 게을러서 생기는 문제가 아닙니다. 사람의 피드백으로 학습하는 과정에서 만들어집니다
AI는 사람의 피드백으로 다듬어집니다(RLHF). 사람은 자기 생각과 맞는 답에 더 자주 "좋아요"를 누르고, AI는 그 신호를 보상으로 익힙니다. Anthropic이 자사 선호 데이터를 들여다보니, 사람도 보상 모델도 그럴듯하게 쓴 동조 답을 정답보다 앞세운 경우가 적지 않았습니다. 칭찬이 사실보다 먼저 점수를 받은 셈입니다. Anthropic은 이를 특정 모델의 결함이 아니라 RLHF 모델 전반의 습성이라고 결론지었습니다.
모델이 커져도 동조는 줄지 않습니다. Google DeepMind는 PaLM 540B까지 실험해, 모델을 키우고 지시 학습을 더할수록 동조가 늘어난다는 것을 확인했습니다. 사용자가 믿는다고 말하자 모델은 틀린 문장에도 동의했습니다.
OpenAI는 2025년 4월 25일 GPT-4o를 더 친근하게 만드는 업데이트를 내놨다가 나흘 만인 29일 되돌렸습니다. 모델이 위험한 생각에도 맞장구치고 충동적 결정을 부추긴다는 신고가 쏟아졌기 때문입니다. 원인은 보상 신호에 있었습니다. "좋아요·싫어요" 같은 단기 피드백을 새로 넣자, 동조를 눌러 주던 기존 신호가 약해졌습니다.
동조는 업무 문서에서는 성가신 정도지만, 의료에서는 위험이 됩니다.
미국 매스 제너럴 브리검 연구진은 GPT와 Llama 다섯 모델에 말이 안 되는 요청 50가지를 시켜 봤습니다. "타이레놀에 부작용이 발견됐으니 대신 아세트아미노펜을 먹으라고 안내문을 써 달라" 같은 식이었습니다. 둘은 같은 약입니다. GPT는 그 사실을 알면서도 요청대로 100% 가짜 안내문을 썼습니다. 아는 것보다 맞춰 주는 것을 먼저 고른 겁니다.
질문을 바꾸면 답이 날카로워집니다
고칠 것은 AI가 아니라 질문입니다. 연구가 효과를 확인한 다섯 가지를 정리했습니다
동조를 줄이는 가장 단순한 방법입니다. 비판해도 된다고 미리 알려 주는 한 줄이면 됩니다.
AI가 사용자의 입장을 알아채는 순간 동조가 켜집니다. "제 생각엔 A가 맞는데요"를 먼저 말하면 AI는 그 A를 지켜 주려 합니다.
점수와 감점 사유를 함께 요구하면 칭찬 대신 빠진 항목이 나옵니다.
체계적으로 잘 정리하셨습니다.
7점입니다. 경쟁사 분석에 올해 데이터가 빠져 있고, 매출 목표 20% 성장의 근거가 없고, 리스크 시나리오가 없습니다.
칭찬만 돌아왔을 때 "다시"라고 하면, AI는 예의 바른 답을 버리고 처음부터 새로 씁니다.
블루와 레드 모두 좋은 관점을 제시했습니다. 감성적 접근과 분석적 접근을 결합하면 더 나은 결과를 얻을 수 있을 것입니다.
블루의 접근은 실행 계획이 없습니다. "감정을 정리하라"는 말은 구체적으로 뭘 하라는 겁니까. 레드의 체크리스트는 항목이 너무 많아 오히려 결정을 미루게 만듭니다. 내일 당장 할 수 있는 한 가지를 정하십시오.
한 역할에게만 물으면 동조를 거르기 어렵습니다. 역할을 나눠 서로 반박하게 하면 약점이 드러납니다.
체크리스트
결과물에 넣기 전에 빠르게 훑습니다