[발표자] 최예인 (dev.yeinchoi@gmail.com)
[논문 제목] Show Me the Work: Fact-Checkers’ Requirements for Explainable Automated Fact-Checking
[저자] Greta Warren, Irina Shklovski, Isabelle Augenstein
[학술대회/학술지] CHI ’25: Proceedings of the 2025 CHI Conference on Human Factors in Computing Systems
팩트체커가 실제로 어떻게 팩트체킹을 수행하는지와 자동화된 사실 확인 시스템이 어떠한 XAI를 제공해야 하는지를 분석했다는 점에서 본 연구가 흥미로웠습니다.
특히 사실을 확인하는 과정이 주장 선택, 증거 검색, 진실성 판단, 그리고 결과 작성 및 소통이라는 단계로 이루어진다는 점을 처음 알게 되었으며, 이러한 절차를 기반으로 팩트체킹이 이루어진다는 점이 인상적이었습니다. 또한, 인터뷰를 기반으로 한 테마 분석을 통해 재현 가능성, 검증 가능성 등 자동화된 사실 확인 시스템이 제공해야 할 설명의 요구사항을 도출했다는 점도 의미 있게 느껴졌습니다.
이러한 결과를 통해 단순히 AI의 판단 결과를 제시하는 것보다 그 판단 과정과 근거를 사용자가 이해하고 검증할 수 있도록 충분한 정보와 설명을 제공하는 것이 중요하다는 점을 알 수 있었습니다. 좋은 논문 리뷰 감사합니다.
좋아요좋아요
팩트체킹이라는 구체적인 도메인에서 팩트체커들의 실제 업무 관점에서 XAI 설명 기준을 질적 연구를 통해 도출했다는 점이 인상 깊었습니다. 특히 지금과 같은 정보 과잉 시대에 매우 적절한 주제라고 생각합니다. 논문에서 제시된 6가지 설명 기준을 보면서, 실제 팩트체킹 과정에서 어느 하나도 제외하기 어려울 만큼 모두 중요한 기준이라고 느껴졌습니다. 팩트체킹이 결과의 참/거짓을 분류하는 것에 그치지 않고 투명한 근거, 맥락 분석, 결과 추론 과정까지 포함된 일련의 과정이라는 점을 고려하면, 이 모두를 함께 제공하는 설명이 필요하다는 점이 설득력 있게 느껴졌습니다. 또한 grounded theory라는 조금 생소한 질적 연구 방법을 알게 되어 새로웠습니다. 전반적으로 사용자의 실제 작업 맥락과 요구를 기반으로 설명 방식을 설계해야 한다는 점을 잘 보여주는 연구라고 생각했고, 이 점을 활용하여 개인 연구에 접목 시킨 부분이 인상깊었습니다. 좋은 논문 리뷰 감사합니다.
좋아요좋아요
자동화된 사실 확인(AFC) 시스템을 실제로 사용하는 팩트체커들의 작업 과정을 분석하고, 이들이 필요로 하는 설명 가능성(XAI)의 요구사항을 구체적으로 도출했다는 점이 인상적이었습니다. 특히 재현 가능성, 검증 가능성, 불확실성 설명, 모델의 의사결정 과정에 대한 인간 이해 중심 설명, 그리고 출처와 학습 데이터의 투명성과 같은 요소들은 자동화된 팩트체킹 시스템이 단순한 결과 제공 도구가 아니라 전문가의 실제 검증 과정 속에서 신뢰할 수 있는 도구로 활용되기 위해 필요한 조건이라는 점이 잘 드러났다고 느꼈습니다.
다만 마지막에 말씀해주신 것처럼 시스템이 인간 중심적으로 설계되어야 한다는 점에는 공감하면서도, 전문 팩트체커의 요구사항을 그대로 반영하는 것이 과연 자동화된 사실 검증 시스템의 최적의 방향인지에 대해서는 추가적인 고민이 필요하다는 생각도 들었습니다. 그럼에도 이러한 설명 요구사항이 실제 시스템 설계에 반영된다면 팩트체커들이 정보를 더 빠르고 체계적으로 검증할 수 있을 것이며, 이는 전쟁이나 재난과 같이 잘못된 정보가 빠르게 확산될 수 있는 상황에서 사람들이 보다 신뢰할 수 있는 정보를 접하는 데에도 중요한 역할을 할 수 있을 것이라고 생각했습니다. 좋은 논문 리뷰 감사합니다.
좋아요좋아요
자동화된 팩트체킹 시스템이 있음에도 전문가들이 쉽게 신뢰하지 않는다는 점이 인상적이었습니다. 단순히 결과만 보여주는 것이 아니라, 왜 그런 결론이 나왔는지 과정을 함께 보여줘야 전문가들이 실제로 활용할 수 있다는 점도 이해가 되는 부분이었고, 재현 가능성이나 검증 가능성 같은 요소가 필요한 이유도 이해가 되었습니다.
시스템을 팩트체커에게 맞추는 것이 맞는지에 대해서 생각해 보았을 때 허위 정보는 일반 사용자에게도 영향을 주는 문제라서, 전문가 중심으로만 설계하면 일반 사용자에게는 오히려 어려울 수도 있겠다는 생각이 들었습니다. 그래도 결국 신뢰할 수 있는 판단 기준을 만드는 역할은 전문가가 하기 때문에, 우선 전문가들의 기준으로 만드는 것이 필요하다는 생각도 들었습니다. 그래서 전문가가 검증한 결과를 일반 사용자에게는 더 쉽게 전달해 주는 방식으로 나누어 설계하는 것도 하나의 방법이 될 수 있지 않을까라는 생각이 들었습니다.
좋아요좋아요
AFC에 대해 처음 알게 되었는데, 이 시스템이 팩트 체커들의 요구 기반이 아니라서, 사용하기에 적절하지 않다는 점이 흥미로웠습니다. 때문에 이 연구에서는 전문 팩트 체커들의 인터뷰를 통해 정말로 그들이 신뢰하고 적절하게 사용할 수 있는 XAI 설명 기준을 제시한 점이 인상깊었습니다.
또한 인터뷰에서 비영어권 팩트체커들이 AI 시스템이 영어 중심 데이터에 기반하여 학습되어 있다는 점을 문제로 지적했다는 부분도 인상 깊었습니다. 실제로 공학분야 역시 영어 논문이 대다수이기 때문에, 저 역시 이 지적에 깊이 공감했습니다.
한편 리뷰에서 제기하신 의문처럼, AFC을 전문가 팩트체커의 실제 업무 과정과 요구에 최대한 맞추는 것이 최적의 방향인지에 대해서는 저도 고민이 필요하다고 생각합니다.
또한 AFC가 인간 팩트체킹 과정을 보조하는 도구라면 전문가의 실제 작업 흐름에 맞춰 설계하는 것이 중요하겠지만, 만약 AFC가 더 높은 수준의 자동화를 목표로 한다면 인간 팩트체커의 검증 과정과 동일한 절차를 따를 필요가 있는지 의문이 들었습니다. 모든 과정이 자동화 된 AFC라면, AI가 활용할 수 있는 대규모 데이터 분석이나 다른 방식의 추론을 기반으로 한 완전히 새로운 검증 방식이 더 높은 정확도를 보일 가능성도 있지 않을까 궁금해졌습니다.
좋은 논문 리뷰 감사합니다.
좋아요좋아요
저도 마지막에 예인님께서 말씀해주신 의견을 듣고 인간 중심적 시스템에 대해 다시 생각해보게 되었습니다. 시스템이 인간을 위해 만들어지고 인간이 사용하는 것은 맞지만 인간과 기계는 본질적으로 작동 방식이 다르니까요. 기존에 읽었던 논문들은 대부분 시스템을 설계하고 실제 전문가에게 의견을 받아보는 방식으로 연구를 진행했는데 저도 당연하게 이 방향이 맞다고 생각했던 것 같아요.
말씀해주신 것처럼 모든 시스템이 인간의 작업 방식이나 사고 과정을 모방하는 방향으로 설계되는 것이 과연 최선일까?라는 생각이 드는 것 같습니다. 만약 이와 관련해 연구된 논문이 있다면 연구 결과가 어떤 방향을 이야기할 지도 궁금해졌습니다.
새로운 관점에서 생각해볼 수 있는 의견을 제시해주셔서 흥미로웠습니다! 좋은 논문 리뷰 감사합니다.
좋아요좋아요
리뷰어가 제기한 “전문 팩트체커들의 의견과 실제 사용에 완벽하게 맞추는 것이 정말 정답인가?”라는 질문은 흥미로운 문제 제기라고 생각합니다. 다만 개인적으로는, 적어도 현재 단계에서는 전문 팩트체커들의 실제 작업 방식과 요구를 중심으로 설명 요소를 설계하는 접근이 충분히 타당하다고 생각합니다.
연구에서도 드러나듯이 팩트체킹은 단순히 사실 여부를 판단하는 작업이 아니라, 증거 수집, 출처 검증, 판단 근거 제시, 불확실성 설명과 같은 일련의 절차적 과정을 포함합니다. 이러한 과정은 오랜 기간 저널리즘과 팩트체킹 실무에서 축적되어 온 일종의 방법론에 가깝다고 볼 수 있다고 생각합니다. 우리가 과학 연구에서 특정 방법론을 따르는 것처럼, 팩트체킹 역시 보다 신뢰할 수 있는 결론에 가까워지기 위해 정립된 절차와 기준이 존재한다고 생각합니다.
따라서 AI 시스템이 이러한 실무적 방법론을 반영하도록 설계되는 것은 단순히 “인간 중심 설계”라는 이유 때문이라기보다는, 검증된 판단 절차를 시스템에 반영한다는 점에서 의미가 있다고 생각합니다.
또한 “인간이 AI보다 팩트체킹을 더 잘하는가”라는 질문에 대해서는, 현재 시점에서는 여전히 인간 전문가가 더 우수한 수행 능력을 보인다고 생각합니다. 팩트체킹은 단순한 정보 검색을 넘어, 출처의 신뢰도를 평가하고 맥락을 해석하며 불확실성을 판단하는 등 복합적인 판단 과정을 요구하기 때문입니다.
물론 향후 AI가 충분히 발전하고, 인간 전문가들이 사용하는 방법론을 정교하게 학습하거나 프롬프트 등을 통해 구조화할 수 있다면 이러한 역전이 가능할 수도 있을 것입니다. 다만 그 경우에도 AI의 성능 향상은 결국 인간이 축적해 온 팩트체킹 방법론을 더 일관되고 효율적으로 실행하게 되었기 때문일 가능성이 크다고 생각합니다.
이러한 점에서 이 논문이 전문 팩트체커들의 실제 요구와 작업 과정을 기반으로 설명 요소를 재정립했다는 점은 매우 의미 있는 기여라고 느꼈습니다.
좋아요좋아요
SM-HCAI LAB 
김예인님에게 덧글 달기 응답 취소