Impact of human control levels in avatar-based verbal interaction on system usability and operator sense of agency

Abstract

This study explores how three design factors, voice feedback type, feedback latency, and decision freedom, shape operators' Sense of Agency (SoA) and system usability in avatar-mediated communication. Avatar systems translate human intentions into virtual agents, enabling remote work and social interaction. Although both SoA (the feeling of controlling one's actions) and usability influence performance and satisfaction, the combined effects of voice modality, response timing, and interface choices remain unclear. We conducted an experiment with 22 participants plus a manual baseline, systematically varying voice feedback (recorded human voice vs. synthesized speech), feedback latency (instant vs. a 10-second delay), and decision freedom (single-option vs. multi-option interfaces). After each of nine trials, participants completed the Sense of Agency Scale, the System Usability Scale, and five additional Likert items assessing ownership, consistency, smoothness, and engagement. Analysis of variance showed that human voice significantly increased positive SoA (F = 8.07, p = 0.0056) and that multi-option interfaces both boosted positive SoA (F = 6.48, p = 0.0127) and reduced negative SoA (F = 9.08, p = 0.0034). Feedback latency had no significant impact on any measure (p > 0.05), and usability ratings remained unchanged across all conditions. These results suggest that preserving natural voice characteristics and offering multiple choices enhance operators' sense of agency without affecting usability.

Este estudo investiga de que forma três fatores de design — o tipo de feedback de voz, a latência do feedback e o grau de liberdade de decisão — influenciam o Sentimento de Agência (Sense of Agency – SoA) e a usabilidade do sistema em interações mediadas por avatares. Sistemas de avatar têm como função traduzir intenções humanas em agentes virtuais, possibilitando tanto o trabalho remoto quanto a interação social. Embora o SoA (a experiência subjetiva de controlar as próprias ações) e a usabilidade sejam reconhecidamente determinantes para o desempenho e a satisfação do usuário, os efeitos combinados da modalidade de voz, do tempo de resposta e das opções de interface ainda não estão totalmente elucidados.

Para examinar tais relações, conduzimos um experimento com 22 participantes, acrescido de uma condição de linha de base manual. Foram sistematicamente manipulados: (i) o tipo de feedback de voz (voz humana gravada versus fala sintetizada), (ii) a latência do feedback (resposta imediata versus atraso de 10 segundos) e (iii) a liberdade de decisão (interface com opção única versus múltiplas opções). Após cada uma das nove rodadas de interação, os participantes responderam à Escala de Sentimento de Agência, à Escala de Usabilidade do Sistema e a cinco itens adicionais em escala Likert, voltados à avaliação de posse, consistência, fluidez e engajamento.

A análise de variância (ANOVA) revelou que o uso da voz humana aumentou significativamente os escores de SoA positivo (F = 8.07, p = 0.0056). Além disso, interfaces com múltiplas opções não apenas elevaram o SoA positivo (F = 6.48, p = 0.0127), como também reduziram o SoA negativo (F = 9.08, p = 0.0034). Por outro lado, a latência do feedback não apresentou efeito estatisticamente significativo sobre nenhuma das variáveis dependentes (p > 0.05), e as avaliações de usabilidade permaneceram estáveis em todas as condições experimentais.

Os resultados sugerem que a preservação das características naturais da voz e a oferta de múltiplas opções de decisão podem favorecer de maneira consistente o sentimento de agência dos operadores, sem prejuízo para a usabilidade do sistema em contextos de comunicação mediada por avatares.