[Review] TaskAudit: Detecting Functiona11ity Errors in Mobile Apps via Agentic Task Execution

댓글

“[Review] TaskAudit: Detecting Functiona11ity Errors in Mobile Apps via Agentic Task Execution” 글의 댓글 7개

1. 박다은

   2025년 11월 10일

   Task executor 프레임워크를 활용하여 에이전트 기반으로 앱 내의 ui 상호작용을 탐지했다는 점이 인상 깊었습니다. 특히 CoT 추론을 통해 연구에서 발생한 오류 요인을 투명하게 분석할 수 있도록 설계된 점이 좋았다고 생각합니다. 그리고 시스템 구조에 대해 잘 설명해주셔서 이해가 잘 되었습니다. 영상을 보던 중 궁금한 부분이 있었는데요, funcion11ity errors의 navigation error 탐지에서 구체적으로 어떤 측면이 향상 되었고, 이 향상이 taskaudit의 어떤 고유한 기능으로부터 이루어졌는지, 그리고 메인 메뉴는 어떤 걸 의미하는지 궁금합니다!

   좋아요Liked by 1명

   답글
2. 한은정

   2025년 11월 11일

   평소 음성에 관심이 있었는데, 관련 기술 중 음성 출력을 텍스트 형태로 캡쳐해 에이전트에게 인식시키는 기술(Screen Reader Proxy)을 새로 알게 되었습니다. 새로운 기술을 여럿 알게 된 논문 리뷰였습니다.

   또한, Task execution 후 에러를 확인하는 과정에서 CoT를 활용한 부분이 특히 인상 깊었습니다. CoT가 LLM이 문제 해결 과정에서 사고의 단계를 명시적으로 전개해 인과관계를 추론하고 보다 정교한 결과를 도출하도록 돕는 기술로 알고 있는데, 구체적으로 CoT가 어떤 절차를 통해 에러의 원인을 추적하고 파악하는 지 궁금합니다.

   좋아요Liked by 1명

   답글
3. 박서윤

   2025년 11월 12일

   이 영상을 보고 호기심이 생겨 원문을 웹에서 검색해보았는데요, 흥미로운 점을 발견했습니다. 저는 이렇게 기능성 접근성 오류를 자동으로 찾아내는 시스템을 개발하면 그것이 어떻게 쓰일 수 있는지 궁금했었는데, 그 답을 찾을 수 있었습니다. 논문에서 반복해서 강조하는 핵심 개념이 바로 “functiona11ity errors” (기능성 접근성 오류)인데, 이건 시각장애인이 화면 리더로 앱을 쓸 때만 드러나는 오류들을 말한다고 합니다. 따라서 이 연구는 시각장애인 접근성 문제와 직접적으로 관련된 연구로, 모바일 앱이 스크린 리더를 사용하는 시각장애인에게 실제로 잘 작동하는지를 자동으로 검사하는 시스템을 제안한 것입니다. 이 때 세계 최초로 LLM을 이용해 시각장애인 상호작용을 자동 시뮬레이션 했기에 더욱 의미가 있는 것이고요.

   저는 평소 시각장애인들이 스마트폰을 어떻게 사용하는지에 관심이 있었던 터라, 이 연구가 더욱 뜻깊게 다가왔습니다.

   좋아요Liked by 1명

   답글
4. 김수연

   2025년 11월 13일

   taskaudit
   -접근성 평가 시스템, 시뮬레이티트 상호작용을 통해 function11ity에러 탐지
   -기존 접근성 도구와는 다르게 llm을 활용하여 스크린리더 직접 조작 및 분석

   기존 도구들은 functioality error 탐지에 한계가 있음 => 본 연구는 크롤러 기반 + 인공지능 기술을 활용하여 에러 탐지를 향상시킴

   taskaudit system

   1. task generator – 스크린샷으로부터 potential task 생성
      1) 상호작용 요소 후보 확인
      2) captioning
      3) task specification 생성
   2. task executor
   3. accessibility analyzer
      • 각 task execution 상호작용 결과 해석 및 function11ity error 확인
      • 각 단계마다 2단계 과정 수행
        taskaudit이 놓치는 에러를 groundhog가 탐지하는 것을 보니 서로 적절하게 보안하면 더 훌륭한 시스템으로 성장할 것 같고 향후 연구 부분에서도 언급되고 있는 것을 보아 기대가 됨

   좋아요Liked by 1명

   답글
5. 김예인

   2025년 11월 15일

   이번 논문 리뷰를 통해 스크린 리더와 모바일 앱 접근성이라는 유니버셜 디자인의 새 요소에 대해 알 수 있어 좋았습니다. 이러한 접근성 검토를 “사용자의 입장에서 실제로 조작이 가능한가?”라는 기준으로 에이전트와 LLM을 이용하여 검토한다는 점이 흥미로웠습니다.

   향후에는 접근성 오류를 탐지하는 것 뿐만 아니라 수정 방안 제시를 통해 한번의 검토로 오류 확인부터 수정까지 가능하도록 하는 연구가 진행된다면 좋을 것 같다는 생각이 들었습니다.

   좋아요Liked by 1명

   답글
6. 최예인

   2025년 11월 17일

   기존 자동화 도구들이 놓치던 동적인 상태의 ‘Functiona11ity Error’를 LLM 에이전트와 스크린 리더 프록시를 활용해서 잡아낸다는 아이디어가 매우 흥미로웠습니다. 특히 로커빌리티, 피드백 에러 같은 에러 유형을 검증한다는 점이 인상 깊었습니다. 비록 GroundHog만 탐지한 오류도 있었지만, GroundHog와 같은 기존 방식보다 오탐률(False Positive)도 낮추고 탐지율을 높였다는 점에서 실용성도 좋아보입니다.
   다만, OCR 에러나 UI 이해 부족 문제가 한계로 언급되었는데, 최신 VLM을 적용하면 이 부분이 얼마나 개선될 수 있을지 궁금해집니다. 그리고 개발자에게 바로 적용할 수 있는 코드 레벨의 수정 가이드까지 제공하는 방향으로 발전할 수 있을지도 기대됩니다.

   좋아요Liked by 1명

   답글
7. 김서연

   2025년 11월 17일

   정리 잘 해주셔서 재밌게 봤습니다. 오른쪽으로 스와이프를 왜 사용하는건지 궁금했는데, 스크린 리더 자체의 기능이 오른쪽으로 스와이프시 다음 항목으로 넘어가서 읽어주는 방식이어서라고 생각했는데 맞을까요? LLM을 이용해서 시각적으로 드러나지 않는 접근성 오류 탐지 테스트를 빠르게 할 수 있다는 점이 흥미롭습니다.

   궁금한 점은 시스템 내부의 COT 추론의 단계가 어떻게 구성되어 있는지 알고 싶습니다. 또한 버튼 예측 성공률이 생각보다 낮았던 이유가 무엇일지 궁금합니다. 색상, 위치, 형태 등으로 더 인식이 잘 될 것이라고 생각했는데, 시각정보 없이 오디오 텍스트로만 감지해서 그런걸까요?

   좋아요Liked by 1명

   답글