[발표자] 최예인 (dev.yeinchoi@gmail.com)
[논문 제목] Supporting Co-Adaptive Machine Teaching through Human Concept Learning and Cognitive Theories
[저자] Simret Araya Gebreegziabher, Yukun Yang, Elena L. Glassman, Toby Jia-Jun Li
[학술대회/학술지] CHI ’25: Proceedings of the 2025 CHI Conference on Human Factors in Computing Systems
[URL] https://dl.acm.org/doi/10.1145/3706598.3713708
“[Review] Supporting Co-Adaptive Machine Teaching through Human Concept Learning and Cognitive Theories” 글의 댓글 7개
-
Alignment를 사람과 인공지능이 서로 개념을 맞춰가는 과정이라고 설명한 부분이 인상적이었습니다. 처음에는 ‘정렬 가능한 차이’라는 용어가 잘 와닿지 않았는데, 문장에서 변하지 않은 부분과 변한 부분을 대비시키는 방식으로 라벨 차이 요소가 나타난다는 것으로 파악했습니다만 혹시 추가 설명을 들을 수 있다면 더 깊이 이해하는데에 도움이 될 것 같습니다.
또한 신경기호 규칙을 기반으로 모델이 어떤 구조적인 패턴을 학습하고 있는지를 확인할 수 있게 된 점은 투명성이 잘 드러나는 점이라고 생각합니다. 이를 통해서 인간도 AI와 함께 배워나갈 수 있는 지점이 있다는 점이 가장 좋았습니다. 반사실적 예시를 보게 되면 자신의 라벨 기준이 어디에서 모호했는지, 어떤 특징을 중요하게 봤는지 드러나기 때문에 사용자 스스로 반추하며 기준을 더 정교하게 좁혀갈 수 있다고 느꼈습니다.
우리가 공부할 때 예시가 잘 떠오르지 않아 답답했던 상황을 생각해보면, 이렇게 반사실적 예시를 통해 AI의 생성 능력을 적극적으로 활용하는 방식은 인간이 생각하지 못한 엣지 케이스나 창의적인 변형 예시를 접할 수 있게 해준다는 점에서 큰 장점이 될 수 있다고 생각합니다. 최종 라벨링은 결국 인간이 다시 수행하는 만큼, 생성된 예시가 다소 틀리거나 과감해도 오히려 인간의 판단을 도울 수 있도록 확장된 가능성을 보여주어 인간의 창의성을 향상시키는 방법으로 적용될 수 있을 것 같습니다.
-
Mocha라는 시스템은 단순히 모델을 더 잘 학습시키는 도구가 아니라 인간이 개념을 어떻게 배우고, 그 개념을 AI가 어떻게 배워야 하는지를 동시에 고려한다는 점에서 개인적으로 매우 흥미로웠습니다. 제가 평소에 다뤄온 프로젝트 주제나, UX 관련 생각들은 대부분 AI가 더 잘 맞히게 하는 방법이나 사용자가 더 편하게 쓸 수 있게 하는 방법을 중심으로 생각해왔습니다. 하지만 Mocha는 이 두 과정을 완전히 분리하지 않고 인간과 모델이 서로의 기준에 적응해나가는 과정 즉, co-adaptive 그 자체를 학습의 핵심으로 둔다는 점이 새롭게 느껴졌습니다.
특히 개인적으로 그동안 공부해오던 과정에서 느꼈던 모델이 애매한 패턴을 잘못 배우고, 사용자 의도를 기계적으로 설명하기 어려운 지점이 생기고, 엣지 케이스에서 비일관성이 발생할 때 등등 이런 다양한 문제들을 인지 이론 기반으로 해결하려는 방식이 흥미롭게 다가왔습니다.
그리고 이 시스템이 실제 서비스에서는 어떤 방식으로 활용될 수 있을지 궁금해졌습니다. 그러다 보니 추천 시스템, UI 상호작용 분석, 사용자 행동 연구처럼 다양한 환경에서 사용자의 규칙과 모델의 규칙이 함께 진화하도록 만드는 이러한 설계 철학이 앞으로 더욱 중요해질 것 같다는 생각으로 이어졌습니다.
좋아요좋아요
-
본문에서 얼마 전에 스터디를 진행하면서 배웠던 개념인 합성 데이터라는 개념과 라벨링에 관한 부분이 대거 등장하여 개인적으로 반가웠습니다.
위에 은정이가 말한 것처럼, 가이드 북에서도 인공지능 모델의 학습 관점에서의 좋은 데이터가 무엇인가만 다루고 있는데, 인간의 학습까지 고려했다는 점이 이 연구의 차별점인 것 같습니다.
Q. 근데 논문에서 사용자는 라벨링하면서 자기 개념 정의를 refine하고, 모델은 사용자 피드백을 받으면서 결정 경계를 조정한다고 했는데, 이렇게 인간과 AI가 서로 상호작용하면서 발전하게 되면, 서로가 서로를 변화시킨다는 뜻이잖습니까?
근데 사용자가 AI를 보고 자신의 개념을 조정하다가 “어? 이거 AI가 잘못한 것 같은데.”하고 수정을 하면… 대체 명확한 정답은 어디에 있는 걸까요? 어느 하나 고정된 정답이 없는 것처럼 느껴집니다. 둘 다 옳은 방향으로 진화하고 있다고 어떻게 확신할 수 있을까요?A. 이에 관한 답을 gpt한테 물어봤습니다.
<gpt> 라벨이 고정된 진리(ground truth)가 아니라, 사용자와 모델이 “합의해 가는 개념 체계”인 경우가 많다.
예:- happy / joyful의 구분
- 서비스 / 제품 구분
- 분위기 / 환경
이런 건 절대적 정답이 없지.
그러면 올바른 방향이라는 걸 어떻게 확신할까?
⭐ 이 연구의 대답: “정답이 아니라 정렬(alignment)이 목표다.”
즉,
- 사용자의 개념이 점점 내부적으로 일관성을 가지게 되고
- 모델의 결정 경계도 그 일관성과 맞춰지고
- 둘이 서로 보완하며
- 개념 경계가 “합리적으로 안정화”되면
그게 바로 **정답(not truth but coherence)**이라고 본다. 왜 이런 방식이 정답이 될 수 있을까? (1) 사용자 개념은 원래 유동적이다.
특히 감정, 품질 평가 등 subjective domain에서는. (2) 사용자와 모델의 상호 조정으로 “개념 명확화”가 일어남.
counterfactual을 통해
- “아 이건 ‘서비스’가 아니라 ‘제품’이구나”
- “아 이 부분 때문에 감정이 바뀌는구나”
같은 self-reflection이 일어남.
(3) 정답 그 자체보다 ‘개념 경계의 일관성’이 실제 ML 품질에 더 중요함.
즉 모델이 “사람의 실제 사용 패턴과 개념 구조”를 따라가기 때문에
오히려 현실을 더 잘 반영함. (4) 실세계 AI는 원래 절대적 정답보다 합의된 규칙이 중요하다.- 컨텐츠 추천
- 감정 분류
- 리뷰 분석
- 안전 판단
- toxicity 분류
이런데는 절대적 truth가 없음.
그런 도메인에서는 co-adaptive learning이 가장 현실적인 방식임.=> 이처럼 정답이 아닌 정렬, 즉 ‘둘이 같은 기준·같은 관점·같은 개념 경계를 공유하도록 만드는 것’이 라벨링의 핵심이라는 사실을 알 수 있었습니다.
좋아요좋아요
-
저 역시 이번 연구가 AI만 사용자를 학습하는 것이 아니라, 사용자도 AI와 상호작용하며 서로 맞춰 가는 과정을 제시했다는 점이 매우 흥미로웠습니다. 특히 연구에서 활용된 Mocha가 인간의 개념 형성 과정까지 고려해 양방향 정렬을 목표로 한다는 점이 인상 깊었습니다.
영상을 보면서 연구에서 말하는 ‘정렬 가능한 차이’가 어떤 의미인지 느낌적으로는 이해되었지만, 정확한 개념이 궁금해졌습니다. 결과 파트에서 “증강된 데이터가 모델의 결정 경계를 정제하자”의 설명 중 초기 주석 데이터가 부족할 때 반사실적 예시들이 모델의 학습을 시작하게 하고 관련 신경-기호 규칙을 생성하도록 도왔다는 내용을 듣고, “그렇다면 반사실적 예시를 통해 데이터 증강을 했다는 의미인가? 그렇다면 오히려 모델이 편향될 위험은 없을까?” 하는 의문이 들었습니다. 하지만 바로 이어서 사용자가 그러한 사실을 느끼고, 반사실적 데이터가 생성될 때마다 집중적으로 레이블링을 진행하였다고 설명해주어서 의문이 자연스럽게 해소되었습니다.
인간 학습과 모델 학습을 함께 고려했다는 점에서 연구의 방향성은 매우 의미 있다고 느꼈고, 발표에서 언급한 한계들이 보완된다면 어떤 결과가 나올지 더욱 궁금해지는 연구였습니다!
좋아요좋아요
-
mocha는 인간의 인지 과정에 기반한 두 가지 상호작용 메커니즘 제안
- veriation theory
- structural alignment theory
목표:
mt 환경에서 반사실적 데이터의 구조적 비교를 통해 사용자의 개념 모호성 해소 노력을 지원할 것
공동 적응적 학습 환경에서 사용자의 이해와 모델의 학습이라는 상호 얽힌 진화를 지원할 것
within subject design - condition1: 신경기호 규칙x, 정렬가능한 차이점 강조x
- condition2: 신경기호 규칙o, 정렬가능한 차이점 강조x
- condition3:신경기호 규칙o, 정렬가능한 차이점 강조o => mocha
결과
효율성 향상 c3만 효과가 있음
모델의 정밀도와 재현율을 증가
앵커링 효과
vt기반 생성 없이는 sat 기반 렌더링의 효율성이 나타나진 않았지만 둘의 결합은 라벨링 효율성을 크게 높이고 모델 학습을 지원하는데 효과적임 => vt가 필수적이다
새로운 용어들을 영상 초반에 정리해주셔서 익숙치 않은 용어들인데도 확실하게 이해하고 뒷부분을 잘 들을 수 있었습니다!
좋아요좋아요
-
본 논문의 인간과 AI가 서로 상호작용하여 AI가 인간에게 배우고, 인간도 AI의 작동 방식을 이해한다는 점이 평소에 당연하다고 생각은 했었지만 막상 논문 주제로 보고 다시 생각해보니까 AI가 인간에게 배운다는 점은 깊게 생각해본적이 없었다는 사실을 깨닫게 되어 새롭게 느껴지는 연구였습니다.
두 가지 인지 이론을 기반으로 설계되었는데 반사실적 데이터 생성 방식을 가능하게 한 점과 데이터 항목 간의 정렬 가능한 차이를 인지하고 이해하도록 유도함으로써 사용자의 인지를 어떻게 보면 인간의 심화된 정보 처리 수준 까지 AI에게 접목한 것처럼 보인다는 점이 흥미로웠습니다.
그리고 delicious + good = greate처럼 유사성을 활용하여 레이블을 반전시키면서 AI가 점점 더 정교해지고 인간이 사용하는 의미 체계를 이해해 나가는 과정이 인상적이었습니다. 또한, 사용자가 라벨링하고, 모델이 제안하고, 다시 사용자가 모델이 무엇을 학습하고 무엇을 못하는지 확인하는 과정이 바로 Co-Adaptive 상호작용의 좋은 시나리오라고 느껴졌습니다.
앞으로 인간과 AI의 상호작용이 어떤 방향으로 발전해 나갈지, 어떤 것을 기술이나 개념을 접목해서 확장할 것인지 등 자연스럽게 궁금증을 불러일으키는 논문이었습니다. 좋은 발표 감사합니다.
좋아요좋아요
-
사람과 모델이 서로에게 도움이 될 수 있다는 점이 매력적으로 느껴져, 원래도 함께 학습해나가는 상호작용 학습에 관심이 있었는데 또 새롭게 데이터 라벨링이라는 관점에서 개념을 함께 조정해가는 과정을 보여준 것이 흥미로웠습니다. 모델을 위한 라벨링 과정을 사람이 자신의 개념을 정교하게 만들어가기 위해 돕는 과정으로 생각한 점이 인상 깊은 것 같아요.
또 mocha가 사람이 명확히 구분할 수 없는 개념, 도메인에서는 어떤 효과를 낼 수 있을지 궁금해지는 것 같습니다. 이런 방향으로 연구가 더 확장되면 주관적이거나 애매한 라벨링 문제를 해결한다는 점에서도 의미가 있을 것 같습니다.
좋아요좋아요
SM-HCAI LAB 
댓글 남기기