[발표자] 김서연 (15607283@sookmyung.ac.kr)
[논문 제목] “The Data Says Otherwise” — Towards Automated Fact-checking and Communication of Data Claims
[저자] Yu Fu, Shunan Guo, Jane Hoffswell, Victor S. Bursztyn, Ryan Rossi, and John Stasko
[학술대회/학술지] UIST ’24: The 37th Annual ACM Symposium on User Interface Software and Technology
정보 생태계의 오염이라는 주제가 우리의 삶에 가장 밀접하게 연관되어있다는 생각을 다시끔 하게 만들어주는 논문이었습니다. 이에 관련해서 출처의 명확성을 주제로 연구를 한 점이 시의성 있고, 동시에 평소 생각해보지 못한 주제라고 느껴져 재밌게 들었습니다.
Aletheia 백엔드 구현 초기에 GPT-3.5를 사용하다가 최종적으로 GPT-4로 전환했다고 하는데, 성능 비교 시 단순히 모델 버전 차이로 인한 결과 격차가 발생할 수 있겠다는 생각이 듭니다. 연구에서는 이러한 모델 성능 차이에 대한 보정을 별도로 고려했는지 궁금합니다.
NLP 파이프라인 구축 과정에서 데이터 주장 분류 단계에서 분류한 10가지 데이터 팩트 유형의 기준은 어떤 방식으로 설정된 것인가요? 연구진이 수작업으로 매뉴얼하게 정의한 것인지, 아니면 데이터 기반 자동 군집화를 통해 도출된 것인지 궁금합니다.
또한, 논문에서는 한계점으로 논리적 검증이 불가능하다는 점을 언급하였습니다. 영상을 보면서 새로운 시각의 한계점을 제시했다고 생각했고, 앞으로 해결해나갈 방향성이 기대됩니다. 향후 XAI의 개념과 결합해 더 복잡하고 다양한 데이터 형태까지 검증할 수 있는 방향으로 확장될 가능성이 있을 것 같습니다.
이 연구에서 다루는 문제는 현실 세계에서 매우 중요한 것이라 생각합니다. 자료조사를 위해 비슷한 주제의 기사들을 찾아 보면 종종 같은 내용을 말하면서도 통계적인 수치는 다르게 제시하는 경우가 많았습니다. 그러면 어떤 수치가 정확한지, 어떤 맥락에서 제시된 것인지 분명하지 않아 혼란스러웠던 경험이 있습니다. 이런 현실 문제를 자동화 팩트체크의 관점에서 다루고 있다는 점이 시의적절하다고 생각합니다. 또한 최근에 할루시네이션의 문제가 자주 지적되고 있는데, aletheia와 같은 시스템이 factual fabrication과 factual contradiction을 시각적으로 표시해준다면 사용자가 부정확한 정보를 이용하는 것을 줄이는데 도움이 될 것 같습니다.
저는 사람들의 인지부하를 줄이는 것만큼이나, 추가적인 정보를 ‘어떻게’ 제시하느냐도 중요하다고 생각합니다. 따라서 사용자 조사 인사이트에서 언급한 단순히 사용자가 필요로 할 때만 정보를 부분적으로 제시하는 방식이 과연 최선일까 하는 의문이 들었고, 사용자의 인지 부하를 최소화하면서도 추가적인 맥락을 효과적으로 전달할 수 있는 구체적인 방안을 향후 연구에서 모색해보면 좋겠다는 생각이 들었습니다.
마지막으로 참조 데이터셋을 수동으로 구성해야 했던 이유가 기술적 제약 때문인지, 데이터 접근성의 한계 때문인지 궁금하고, 참조 데이터셋의 수동 입력이라는 한계를 보완하기 위해 따로 진행한 검증 절차가 있었는지도 궁금합니다!
(최)예인 언니의 발표를 듣고 이 발표를 들으니 드는 생각은, 팩트체킹을 위해서 AI를 사용하지만, 이 AI 또한 얼마나 신뢰할 수 있을까?라는 생각이 들었습니다.
하지만 적어도 사람이 어떤 목적을 가지고 작성한 글은 어떤 사실을 주장함으로써 이득을 얻기 위해 일부러 편향된 정보만을 가져올 가능성이 있겠지만 팩트체크용 AI는 적어도 중립적일테니, 유용하게 쓰일 수 있을 것 같다는 생각이 들었습니다. 물론 비전문 사용자도 사용할 수 있게끔 프롬프트가 개선되어야 하겠지만요.
<의문점>
Q1. 인터페이스 구성 부분에서 오류가 발생했을 시 어떻게 사용자가 바로 수정할 수 있게끔 한다는 것인지 궁금했습니다.
Q2. 결과 파트에서 맥락 정보는 신뢰를 줄 수도, 혼란을 줄 수도 있다고 하셨는데 맥락 정보가 단순하게 문법적인 조사 같은 것이 아닌가요? 왜, 어떻게 혼란을 주었는지 구체적인 예시가 궁금했습니다.
Q3. 이건 중요한 질문은 아니지만 인트로덕션에서 AFC에 관해 설명할 때 권위적이고 신뢰할 수 있는 증거를 바탕으로 팩트체킹을 한다고 했는데, 그 증거의 예시로 위키 백과가 나와서 좀 의문스러웠습니다. 불특정 다수가 작성하는 위키 백과를 왜 신뢰할 수 있는 증거로 치는 건지 궁금합니다.
문장 속의 데이터를 자동으로 팩트체킹하는 프레임워크를 개발하여 문장의 신뢰성을 높이는 방법을 제시한다는 점이 향후에도 계속해서 중요한 부분일 것 같아 흥미로웠습니다. 하지만, 해당 연구가 사실 확인의 출처를 위키백과 등을 활용했다는 점에서 위키백과는 신뢰할 수 있는 정보인가? 라는 의문이 생겼습니다. 따라서, 한계점에서도 말했듯이 논리적인 검증과 신뢰가능한 정보 출처를 바탕으로 추가 연구를 진행된다면 더욱 정확하고 유용한 프레임워크가 될 것이라는 생각이 들었습니다.
단순한 문장이 아닌 진실성을 뒷받침하기 위해 데이터 증거를 차트와 표로 시각화하여 비교한 점도 흥미로웠습니다. 특히 차트가 데이터 검증 정확도에 사람들이 더 빠르게 인지하고 납득할 수 있는 도구라는 점을 알게 되어 좋았고, 더 나아가 시각화 유형을 바 차트, 파이 차트 등 더 세분화 하여 비교해 보면 어떤 결과가 도출될까? 각 차트별로 어떤 차이가 나타날까?하는 궁금증도 생겼습니다.
또한, 문장의 대명사나 모호한 표현이 등장할 때 참조 정보를 활용하여 맥락을 해소하여 문장의 정확성을 높였다는 점도 인상적이었습니다. 이를 보며 한국어처럼 표현 방식이 다양하고, 예를 들어 ‘내일’과 ‘익일’ 등 뜻이 같은 단어가 맥락에 따라 언제는 단순하게, 언제는 심화되게 표현되는 단어들을 포함한 문장들도 팩트체킹을 하는 데 있어서 올바르게 적용될지 궁금해졌습니다. 향후 한국어의 맥락적 특성과 다양한 표현 방식도 체계적으로 분류하여 계산 정확도를 높인다면 한국어 기반 팩트 체킹 연구를 수행하는 것도 새로울 것 같다는 생각이 들었습니다.
연구 결과에서 맥락 정보는 신뢰성을 높이지만 너무 많은 정보는 인지부하를 초래한다고 하였습니다. 그렇다면 이를 보완하기 위해 인지부하는 최소화하면서 팩트체킹을 정확하게 수행하여 신뢰성을 높이는 방법은 무엇이 있을까?라는 질문도 생겼습니다.
본 연구는 초기에는 GPT-3, 이후에는 GPT-4를 사용하여 진행되었고, 참조 데이터는 직접 입력해야 한다는 한계점도 있었습니다. 이러한 한계들을 해결하기 위해, 현재 더 높은 성능의 모델을 활용하거나 참조 데이터를 직접 입력하지 않고 발전된 LLM을 통해 자동으로 수집하여 참조해보는 방식을 적용하는 것도 좋겠다는 생각이 들었습니다.
글 속의 데이터를 자동으로 검증하고 사용자에게 어떻게 전달하면 효과적일지 커뮤니케이션 측면을 고민했다는 점이 인상 깊었습니다.
그리고 차트 시각화가 사용자의 판단 속도를 높였다는 점에서 시각화가 주는 이점을 다시 한번 느낄 수 있었습니다. 하지만 그만큼 사용자의 의존성이 높아질 수 있다는 점에서 시각화를 생성하고 설계하는 과정을 견고히 하는 것이 필요하다는 생각이 듭니다. (편리함과 의존성의 균형 문제는 언제나 과제로 남을 수 밖에 없는 것 같습니다.)
특히 뉴스를 읽다보면 데이터가 있는데 시각화가 없다거나 사이트/기관같은 출처가 제시되어 있음에도 정확히 어떤 데이터가 기사에 활용된건지 찾기 어려운 경우가 많습니다. 이런 점을 Aletheia의 데이터 검증, 시각화 능력을 통해 자동화 및 보완할 수 있다면 일반인들의 데이터 해석 지원에 정말 좋은 시스템이 될 수 있을 것 같습니다.
요즘 가짜 뉴스랑 데이터 왜곡이 진짜 심각하다고 들었었는데, 이런 연구가 진행되고 있었다니 유익합니다. 기존 팩트 체킹이 텍스트 기반이었다는 건 생각도 못 했는데, 정량적인 데이터 주장은 텍스트 검색만으로는 한계가 명확하다는 지적이 확 와닿았습니다. 특히 ‘Aletheia’ 시스템이 데이터를 JSON 형태로 변환해서 실제 데이터랑 비교한다는 접근법이 흥미로웠습니다. 그리고 사용자 조사에서 표보다 차트(시각화)를 쓸 때 판단 속도도 빠르고 자신감도 높아진다는 결과는 역시 ‘데이터는 시각화가 생명’이라는 걸 다시 한번 증명해 주는 것 같습니다.
다만, 논리적 오류(실업률 예시)는 아직 못 잡는다는 한계점이랑, 일반 사용자가 직접 참조 데이터를 입력해야 한다는 점은 앞으로 해결해야 하는 과제임과 동시에 해결되지 않고 진행된 점이라 너무 아쉬웠습니다. 일반 사용자들이 데이터셋을 직접 입력하는 게 아니라, 정부 통계청 같은 공신력 있는 DB랑 자동으로 연동해서 데이터를 가져오는 방향으로도 발전된 연구들이 있으면 좋을 것 같습니다.
SM-HCAI LAB 
박서윤님에게 덧글 달기 응답 취소