top of page
Paper
HCI Factors For Building Relationships with Users Who Experience Hallucination of AI Assistants on Working Environment : Focusing on Authenticity and Autonomy

업무 환경에서 AI 어시스턴트의 할루시네이션을 경험하는 사용자와의 관계를 형성하는 HCI 요소: 진정성과 자율성을 중심으로

제1저자

박려경

공동저자

권민경, 남윤지, 이정윤, 박민아

교신저자

장진규
Summary

생성형 AI 분야에서 AI 어시스턴트는 특히 업무 환경을 중심으로 사용량이 기하급수적으로 증가하고 있다. 그러나 AI 어시스턴트가 가지고 있는 특징 중 하나인 할루시네이션(Hallucination)은 사용자로 하여금 AI 어시스턴트에 대한 신뢰성 저하를 초래하고, 궁극적으로 지속적인 사용을 이끌어내지 못하고 있다. 본 연구에서는 업무 중 사용하는 AI 어시스턴트와의 상호작용 과정에서 진정성과 자율성이 신뢰성에 미치는 영향을 탐구하고, 신뢰성에 따른 AI 어시스턴트와 인간의 파트너십 형성 방안을 모색하고자 하였다. 특히, HCI 요소로서 할루시네이션 상황에서의 상호작용 요소인 진정성과 자율성이 관계 형성에 어떤 영향을 제공할 수 있을지 연구하였다. 사전 연구를 통해 업무중 정보 출처가 중요한 리서치 업무를 필요로 하는 참가자를 선정하였다. 본 연구에서는 2x2 실험 설계를 통해 진정성과 자율성의 정도에 따라 AI 어시스턴트와의 상호작용에 대한 신뢰성에 미치는 영향과 파트너십 형성 효과를 검증하였다. 그 결과, AI 어시스턴트의 상호작용 과정에서 높은 수준의 자율성을 가지고 생성한 정보의 정확성을 검증하는 모습을 사용자에게 드러낼수록 신뢰성이 향상되는 긍정적인 효과가 나타났다. 이러한 과정은 파트너십의 형성에도 유의미한 영향을 미쳤다. 반면, AI 어시스턴트의 상호작용 과정에서 높은 수준의 진정성을 드러내더라도 신뢰성 형성에 큰 영향을 끼치지는 못하는 것으로 나타났다. 본 연구 결과를 바탕으로, 향후 AI 어시스턴트의 신뢰성 향상에 중요한 HCI 요소를 지속적으로 발굴하고, 파트너십 형성에 긍정적 영향을 미침으로써 AI 어시스턴트가 업무 환경에서 지속적으로 사용될 수 있도록 디자인하는 것에 대한 인사이트를 도출하였다.

​관련 프로젝트명

신뢰하는 Gen AI

학술대회 혹은 저널명

한국HCI학회 논문지

프로젝트 핵심 내용

업무 AI 어시스턴트의 신뢰도와 파트너십

년도, 권, 호

2024 Vol.19 No.4

APA

박려경, 권민경, 남윤지, 이정윤, 박민아, & 장진규. (2024). 업무 환경에서 AI 어시스턴트의 할루시네이션을 경험하는 사용자와의 관계를 형성하는 HCI 요소: 진정성과 자율성을 중심으로. 한국 HCI 학회 논문지, 19(4), 23-33.

발표 영상
bottom of page