[발표자] 김예인 (cit2lights@sookmyung.ac.kr)
[논문 제목] “Are You Really Sure?” Understanding the Effects of Human Self-Confidence Calibration in AI-Assisted Decision Making
[저자] Shuai Ma, Xinru Wang, Ying Lei, Chuhan Shi, Ming Yin, and Xiaojuan Ma
[학술대회/학술지] In Proceedings of the CHI Conference on Human Factors in Computing Systems (CHI ’24)
AI 보조 의사결정에서 흔히 문제로 지적되는 것은 ‘AI를 얼마나 신뢰해야 하는가’지만, 이 논문은 그 초점을 인간의 자기 확신으로 확장했다는 점에서 인상 깊었습니다. 특히 인간의 부적절한 자신감이 AI 제안에 대한 의존의 적절성에 어떤 영향을 미치는지를 체계적으로 탐색했다는 점이 흥미로웠습니다.
Study 2와 3에서는 인간의 자기 확신을 보정하려는 시도가 실제로 가능하다는 점을 보여주면서도 단순한 개입만으로는 성과를 보장하기 어렵고 인지적 부담 등 다양한 요인을 함께 고려해야 한다는 점을 강조한 부분이 어떻게 보면 상식적인 결론처럼 보일 수도 있다고 생각했지만, 자기 확신 자체가 보정 가능하며 그것이 실제 수행 결과에 영향을 미칠 수 있다는 점을 실험적으로 확인했다는 점이 인상적이었습니다. 특히 AI와 인간의 confidence가 일치하는 상황에서 보정 효과가 나타난다는 결과는 인간 보정과 AI 보정이 별개의 문제가 아니라 상호작용하는 요소임을 시사한다고 생각합니다.
AI 신뢰 문제를 AI의 문제로만 보지 않고, 인간의 자기 인식과 보정 문제까지 확장하여 다룬 점에서 타 연구들과 차별점이 존재한다고 생각합니다. 인간과 AI 사이의 의존 관계가 매우 복합적이라는 점에서 자기 확신 보정이 어떤 조건에서 가장 효과적으로 작동하는지에 대한 연구가 추가적으로 진행된다면 보다 구체적이고 설득력 있는 결론이 도출될 수 있을 것이라는 생각도 들었습니다. 좋은 논문 리뷰 감사합니다.
좋아요좋아요
AI 보조 의사결정에서 AI의 성능이나 신뢰도보다 인간의 자기 확신이 더 중요한 요인으로 작용할 수 있음을 강조했다는 점에서 기존 AI 보조 의사결정 연구들과 차별성이 있다고 느꼈습니다. AI를 얼마나 신뢰해야 하는가는 AI 기술이 발전할수록 지속적으로 고민해야 하는 문제인데, 본 연구는 ECE와 C-C matching과 같은 지표를 활용하여 인간의 자기 확신과 AI 의존 행동 간의 관계를 체계적으로 분석한 점이 인상적이었습니다.
특히, 연구 1을 통해 자기 확신의 정도가 AI 의존의 정도와 연결된다는 점을 보여준 것과 연구 3에서 자기 확신 보정이 인간-AI 협업 성능을 향상시키고 인간 확신 문제에서 발생하던 오류를 줄인다는 결과가 흥미롭게 느껴졌습니다.
본 연구를 통해 AI 보조 의사결정에서 단순히 AI의 설명 가능성이나 신뢰도를 높이는 것뿐 아니라 인간 사용자의 자기 확신을 함께 고려하는 인간 중심 설계가 중요하다는 점을 새롭게 이해할 수 있었습니다. 좋은 논문 리뷰 감사합니다.
좋아요좋아요
사람들의 AI 의존 행동이 단순히 AI의 신뢰도(confidence)에만 기반하는 것이 아니라 사용자 자신의 자신감(self-confidence)에도 영향을 받는다는 점에 주목하여, 인간의 자기 확신도를 보정(self-confidence calibration)함으로써 인간과 AI 모델 간 협업을 개선하려는 접근 방식이 흥미롭게 느껴졌습니다.
Self-confidence calibration 방법을 비교한 실험에서 제시된 세 가지 방법 중, 두 번째 방법인 Thinking in Bets는 개인적으로 다소 비합리적인 방식처럼 느껴졌습니다. 행동경제학 서적인 넛지(Nudge)에서 언급되듯이, 손실 회피(loss aversion) 개념에 따르면 사람은 안정성을 추구하고 손실에 민감한 경향이 있기 때문에, 금전적 보상이 걸린 상황에서는 자연스럽게 보다 신중하고 소극적인 판단을 하게 될 가능성이 높습니다. 따라서 이 방법은 실제로 자기 확신을 보정하기 위한 방법이라기보다는, 단순히 참가자의 행동을 위축시키는 방식으로 작동할 수도 있겠다는 생각이 들었습니다.
또한 개인적으로는 논문에 등장하는 여러 용어와 개념들이 다소 복잡하게 느껴져, 표와 실험 결과를 이해하는 데 상당한 시간이 소요되었습니다. 특히 한계점 및 향후 연구 방향에서 언급된 “인간과 AI 모두 C-C 매치된 경우에도 오류가 발생할 수 있다”는 부분이 처음에는 잘 이해되지 않았습니다. 이에 대해 고민해 본 결과, 이는 인간이 자신의 초기 판단이 실제로는 정답임에도 불구하고 AI가 더 높은 confidence를 보일 경우 그 판단을 따르면서 오히려 오답을 선택하게 되는 상황을 의미한다는 것으로 이해할 수 있었습니다.
좋아요좋아요
사람이 자신의 판단을 얼마나 정확하게 인지하고 있는지가 ai 협업 결과에 직접적인 영향을 준다는 점이 특히 흥미로웠습니다. 단순히 정답을 맞히느냐 틀리느냐의 문제가 아니라, ‘내가 얼마나 확신하고 있는가’가 실제로 AI에 대한 의존 행동을 바꾼다는 점이 인상 깊었습니다. 자신감을 보정하는 여러 방식(think, bet, feedback)을 비교한 부분도 기억에 남습니다. 보정을 통해 전반적인 정확도는 향상되지만, 동시에 인지적 부담이 증가하거나 실제 환경에 적용하기에는 제약이 있을 수 있다는 점에서 현실적인 고민이 필요하다고 느꼈습니다. 특히 보정이 과소의존을 줄이는 데는 효과적이었지만, AI에 대한 과의존까지는 충분히 해결하지 못했다는 결과가 기억에 남습니다. 이와 관련해서 궁금한 점이 있었는데요, 보정이 왜 과소의존에는 효과를 보이면서도 과의존에는 크게 작동하지 않았는지입니다. 일반적으로는 과의존이 더 해결되어야 한다고 생각하는데, 연구 설계나 보정 방식의 특성상 과의존을 통제하는 것이 더 어려워서 다음과 같은 결과가 나온 것인가?라는 생각이 들면서, 이러한 결과가 나오게 된 궁극적인 원인이 궁금합니다.
좋아요좋아요
평소 AI 보조 의사결정(AI-assisted decision-making) 분야에 관심이 많은 학생으로서서 연구의 흐름과 시사점을 파악하는 데 큰 도움이 되었습니다.
특히 기존의 수많은 연구가 AI의 신뢰도(Confidence)를 어떻게 시각화하고 전달할지에만 매몰되어 있었던 것과 달리, 의사결정의 주체인 ‘인간의 자기 확신도 보정’이라는 연구 공백에 집중된 것이 기억에 남습니다. Study 1에서 AI의 확신도 표시만으로는 인간의 부적절한 의존 문제를 근본적으로 해결할 수 없다는 결과는, 결국 협업의 핵심이 인간의 메타인지적 교정에 있음을 시사하는 중요한 대목이라고 생각합니다.
또한 Study 2에서 제시된 ‘Think’ 메커니즘이 성과는 가장 높았지만 인지적 부담(Cognitive Load)을 가중시켜 사용자 만족도를 떨어뜨렸다는 결과는, 실제 시스템 설계 시 마주하게 될 정확도와 UX 사이의 트레이드오프를 현실적으로 확인할 수 있었습니다.
Study 3에서 calibration이 특히 Under-reliance 문제를 완화하여 인간과 AI의 보완적 관계를 증명해낸 부분은 향후 제 연구 모델을 설계할 때도 중요한 참고 자료가 될 것 같습니다. 단순히 기술적인 정확도를 높이는 것을 넘어, 인간의 심리적 기제와 행동 신호를 어떻게 인터페이스에 녹여낼 것인가에 대한 귀한 인사이트를 얻었습니다.
마지막에 언급해주신 이중 보정(Dual Calibration)이나 반응 시간 등 행동 신호를 활용한 확신도 추론 같은 향후 연구 방향성도 매우 흥미로웠습니다. 좋은 논문 공유해주셔서 고맙습니다.
좋아요좋아요
그동안 AI 기반 의사결정 과정 연구에서 주로 다뤄왔던 투명성, 정확도, 신뢰도와 같은 AI 주체의 요인들 이외에, 인간 주체의 자기 확신을 중요한 변수로 다루었다는 점에서 흥미로운 논문이었습니다. 또한 실험 과제가 소득 수준 예측이라는, 맥락에 따라 달라지기도 하며 일률적으로 분류할 수 없는 태스크였다는 점도 재미있었고, 자기 확신의 보정 매커니즘으로 인지과학적 이론을 기반으로 think, bet, feedback 세가지 방법을 제시한 점 또한 재미있었습니다. 후속 연구로 feedback 말고도 더 여러가지 보정 매커니즘을 적용시켜 실험해보아도 흥미로운 결과가 나올 것 같습니다.
또 인상 깊었던 점은, 인간과 AI의 C-C가 일치할 때 인간이 충분히 확신을 가지고 있음에도 본인의 확신보다 AI의 확신이 높으면 선택을 바꿨다는 점인데, 처음엔 의외로 느껴졌지만 나였어도 그렇게 했겠다는 생각이 들면서 높은 확신을 전문성으로 해석하는 휴리스틱으로 봐야할 지, 아니면 합리적인 전략일지 이를 설명할 이론이 있을지 궁금해졌습니다. 전반적으로 신뢰도 -> 메타인지를 강조한 것이 흥미로운 연구였고, 자기확신을 어떻게 조율할 지에 대한 후속 연구가 기대됩니다.
좋아요좋아요
SM-HCAI LAB 
댓글 남기기