[발표자] 김서연 (15607283@sookmyung.ac.kr)
[논문 제목] Dark Patterns Meet GUI Agents: LLM Agent Susceptibility to Manipulative Interfaces and the Role of Human Oversight
[저자] Jingyu Tang, Chaoran Chen, Jiawen Li, Zhiping Zhang, Bingcan Guo, Ibrahim Khalilov, Simret Araya Gebreegziabher, Bingsheng Yao, Dakuo Wang, Yanfang Ye, Tianshi Li, Ziang Xiao, Yaxing Yao, Toby Jia-Jun Li
다크패턴에 대해 에이전트가 얼마나 잘 회피하는지, 인간의 감독이 있을 때 어떻게 달라지는지를 다룬 본 연구의 주제 자체가 요즘 계속되는 연구 주제들을 이어간다는 점에서 의의가 있다고 생각했습니다.
먼저 실험 1의 결과에서 다른 네 개의 에이전트에 비해 end-to-end 방식의 에이전트가 인간의 민감한 정보가 포함된 상황에서는 사용자의 확인을 받는다는 점이 신뢰를 조금 더 강화해 준다는 느낌이 들었습니다. 실험 2에서는 처음에 introduction 개요 부분을 들었을 때는 당연히 인간의 감독이 에이전트와 실시간으로 상호작용하면서 이루어질 것이라고 생각했는데, 녹화된 영상을 보고 재생, 멈춤, 건너뛰기 방식으로 실험을 진행했다는 점이 새로운 연구 방식으로 느껴졌습니다. “이렇게도 연구를 할 수 있구나”라는 생각이 들면서 동시에 실험 통제를 위해서는 이런 방식이 더 적절하겠다는 점에서도 납득이 가는 흥미로운 부분이었습니다.
또한 에이전트가 알려주는 다크패턴에만 집중하다 보니 전체적인 맥락에서의 다른 다크패턴을 보지 못하는 경우가 있었고 그 결과 인간이 다크패턴을 인지하는 정도가 혼자일 때보다 오히려 줄어들기도 했다는 점도 인상 깊었습니다. 그렇다면 다크패턴을 인지하는 데 있어 디지털 디바이스를 계속 사용하는 사용자 입장에서, 즉 멀리 보았을 때 에이전트가 반드시 큰 도움이 되는 것은 아닐 수도 있겠다는 생각도 들었습니다.
논의 부분에서 언급된 것처럼 에이전트가 아직 충분히 검증되기 전에 너무 빠르게 배치되고 있다는 지적에도 공감이 갔습니다. 한편으로는 편리함 때문에 어쩔 수 없다는 생각이 들면서도 그렇다면 앞으로 AI와 인간 사이의 책임을 어떻게 정의할 것인지, 에이전트를 어떻게 활용해야 가장 효과적일지에 대해 다시 한 번 고민해 보게 되는 시간이었습니다. 좋은 논문 리뷰 감사합니다.
요즘 우리 주변에 여전히 다양한 형태의 다크 패턴이 존재한다고 느꼈습니다. 가장 먼저 떠오른 사례는 최근 인스타그램에서 자주 보이는 인터넷 소설 앱 광고인데, 해당 앱의 리뷰를 보면 무료 체험 이후 자동으로 유료 결제로 전환되거나 해지를 어렵게 만들어 소비자에게 비합리적인 지출을 유도하는 방식이었습니다. 또한 테무와 같은 플랫폼에선 허위 시간 제한을 제시해 사용자로 하여금 급박한 상황에서 충동적인 소비를 하도록 만드는 방식 역시 전형적인 다크 패턴이었다는 걸 알게되었습니다. 인터넷과 사용자 경험이 많이 발전했다고 느끼면서도 다크 패턴 역시 함께 정교해지고 있어 사용자가 여전히 쉽게 영향을 받고 있다는 점을 알 수 있었습니다.
연구에서 언급된 “인터페이스가 불편하거나 실망스러울 경우 사용자가 목표를 포기하는 것 자체가 다크 패턴의 성공”이라는 부분은 개인적으로 특히 공감이 갔습니다. 최근 해외 사이트에서 항공권과 숙소를 예약하려다 복잡하고 모호한 인터페이스 때문에 결국 예약을 포기했던 경험이 떠올랐습니다. 이 역시 의도적이든 아니든 사용자로 하여금 불리한 선택을 하게 만들거나 목표를 포기하게 만든다는 점에서 다크 패턴의 한 형태라는 점을 다시금 인식하게 되었습니다.
이번 연구를 통해 에이전트, 인간, 그리고 인간-에이전트 협업 상황 모두에서 다크 패턴을 명확히 인식하지 못하는 경우가 많다는 점이 인상 깊었습니다. 특히 인간의 경우 다크 패턴을 인지하더라도 추가적인 노력이 요구되면 회피를 포기한다는 결과가 공감되었습니다. 약관의 필수 항목 체크를 누르지 않으면 원하는 서비스를 이용할 수 없을 것이라는 관습적인 인식과 휴리스틱에 따라, ‘더보기’ 버튼을 눌러 세부 내용을 확인하기보다는 내용을 생략한 채 무조건적으로 동의하는 경우가 많기 때문입니다. 반면 에이전트의 경우 왜 다크 패턴을 잘 파악하지 못하는지 궁금했는데, 연구를 통해 장기적인 결과보다는 단기적인 목표 달성에 집중하기 때문에 다크 패턴을 인식하지 못한 채 빠른 경로를 선택한다는 점을 알 수 있었습니다. 이로 인해 에이전트 역시 인간과는 다른 방식의 취약성을 보인다는 점이 인상적이었습니다.
논의와 제안 부분에서 제시된 책임 소재의 불명확성, 에이전트 선택 근거의 불투명성, 그리고 인간 감독자의 인지적 부담 문제 역시 에이전트가 실제 환경에 빠르게 배치되고 있는 현재 상황에서 매우 중요한 지적이라고 생각합니다. 마지막으로 한계점에서 언급된 것처럼 다양한 도메인이나 여러 도메인에 공통적으로 나타나는 맥락적인 영향이 충분히 다뤄지지 못한 점은 아쉬웠으며, 개인적으로도 가장 궁금했던 부분이어서 향후 후속 연구가 더욱 기대되는 연구였습니다!
좋아요좋아요
인간과 에이전트의 취약성이 겉으로는 비슷해 보여도, 그 이유는 다르다는 점이 흥미로웠습니다. 인간은 귀찮음이나 인지적 부담 때문에 넘어가는 반면, 에이전트는 목표 중심 최적화 때문에 위험을 감수한다는 차이가 있었습니다. 이 부분에서 에이전트 안전을 단순히 더 똑똑하게 만드는 것만으로는 해결할 수 없을 것 같다는 생각도 하게 되었습니다.
전반적으로 이 논문은 인터페이스 설계가 인간뿐 아니라 AI의 의사결정에도 영향을 미칠 수 있음을 보여준다는 점에서 의미 있다고 느꼈습니다. 또한 앞으로 에이전트를 설계할 때 속도나 완수율뿐 아니라 위험 인식과 중단 전략까지 함께 고려해야 하지 않을까 하는 생각을 들게 해주는 좋은 논문 리뷰였습니다. 감사합니다.
좋아요좋아요
서연 학생이 제기한 의문에 전반적으로 깊이 공감하며 읽었습니다.
에이전트가 목표 달성에만 집중하다 보니 다크 패턴을 충분히 회피하지 못했다면, 애초에 목표 자체를 “광고성 동의가 포함되어 있는지까지 확인하고 회피할 것”과 같이 더 구체적으로 설정했을 때 결과가 달라지지 않았을까 하는 생각이 들었습니다.
이 부분은 5.2에서 일부 논의되는 것으로 보여, 저자들도 이러한 가능성을 인지하고 있었겠다는 인상을 받았습니다.
또한 서연 학생과 마찬가지로 동영상을 보며 에이전트를 제어하도록 한 실험 방식이 과연 적절했는지에 대해서도 의문이 남았습니다. 영상 기반 제어라는 다소 특이한 조건이 추가되면서, 실험 참여자가 과제 수행 자체보다 인터페이스를 이해하고 조작하는 데 더 많은 인지 자원을 사용하게 되었을 가능성도 있다고 느꼈습니다.
영상에서 등장한 out-of-distribution prompt와 end-to-end agent라는 용어는 처음에는 다소 낯설게 다가왔습니다. 관련 내용을 찾아보며 각각이 모델이 학습 과정에서 충분히 경험하지 못한 유형의 입력을 의미한다는 점, 그리고 판단과 실행이 하나의 시스템 안에서 통합된 에이전트 구조를 가리킨다는 점을 이해하게 되었습니다. 이러한 개념을 알고 나니 실험 결과의 해석이 조금 더 명확해졌습니다.
이 논문을 읽으며 개인적으로 가장 크게 남은 질문은 “미래에는 어떤 형태의 에이전트가 살아남게 될 것인가”였습니다.
목표를 빠르게 달성하는 데 최적화된 에이전트와, 속도는 다소 느리더라도 위험 상황에서 멈추고 사용자에게 확인을 요청할 수 있는 에이전트 사이에서, 저는 후자가 더 지속 가능할 것이라는 생각이 들었습니다.
결국 실제 환경에서의 신뢰와 안전을 고려한다면, 효율성보다 중요한 기준은 사용자를 보호하는 방향에 있을 것이라고 느꼈기 때문입니다.
좋아요좋아요
처음에는 에이전트가 인간과 달리 시각적 편향 등의 영향을 받지 않기 때문에 다크패턴을 더 잘 인식하고 회피할 수 있을 것이라고 생각했는데 실제 연구 결과에서는 에이전트가 목표 달성에 집중하는 과정에서 그대로 따르는 경우가 많았다는 점이 흥미로웠습니다.
특히 저는 attentional tunneling이라는 개념을 처음 알게되었는데 에이전트뿐만 아니라 인간 역시 특정 목표에 집중할 때 주변 신호를 놓칠 수 있다는 점과 이것이 연구 결과로 드러난게 인상적이었습니다.
때문에 인간이 감독하더라도 항상 안전성을 보장하지 않는다는 것을, 인간-AI 협력 구조에서는 상호작용이 중요함을 다시 한번 깨달았습니다. 평소에도 AI와 인간이 서로 개입하며 상호작용하는 것이 더 필요하다고 생각해왔는데 이런 점 또한 연구에서 말해주고 있어 재미있었습니다. 좋은 논문 리뷰 감사합니다!
좋아요좋아요
SM-HCAI LAB 
한은정님에게 덧글 달기 응답 취소