近日，中国科学院软件研究所智能博弈重点实验室在移动应用程序可访问性和可用性修复研究中取得进展。该研究针对应用程序输入组件缺少提示文本的问题，提出了一个基于LLM的提示文本生成模型HintDroid，该模型通过分析输入组件的GUI信息，并使用上下文学习来生成提示文本。HintDroid不仅可以帮助视障人士，还可以帮助普通人理解输入组件的要求。相关成果以Unblind　Text　Inputs：　Predicting　Hint－text　of　Text　Input　in　Mobile　Apps　via　LLM为题被人机交互领域CCF－A顶级会议ACM　CHI　2024收录，并获最佳论文荣誉提名奖（Best　Paper　Honourable　Mention）。论文第一作者为软件所特别研究助理刘哲，通讯作者为研究员王青和王俊杰。该工作得到了国家自然科学基金、中国科学院青年创新促进会等的支持。

移动应用程序已经成为人们日常生活中不可或缺的工具，不同于普通人群，视障人群在使用智能设备和移动应用程序时需要屏幕阅读器的辅助。屏幕阅读器是通过识别文本输入组件中的提示文本属性来告诉视障用户如何进行操作。根据世界卫生组织的统计，全球至少有22亿人患有视觉障碍，这么庞大的群体对屏幕阅读器功能的需求是巨大的。谷歌开发者可访问性指南要求程序开发者必须为输入组件提供提示文本，特别是缺乏内容描述的输入组件。但实际情况是，根据研究团队对4501个有文本输入的安卓应用程序的分析，有超过76％的应用程序缺少提示文本，这严重影响了屏幕阅读器的功能实现。

研究团队设计的模型HintDroid可以基于GUI页面信息自动生成提示文本。它的工作原理是先提取页面的文本输入组件和GUI实体信息，然后设计GUI提示，使LLM能够理解文本输入上下文。为了便于LLM更好地理解任务，研究团队还设计了一种基于检索的示例选择方法来构建上下文提示。同时，为了确保提示文本的质量，研究团队使用输入内容作为评估生成提示文本的桥梁，并通过检查输入内容是否能触发下一个页面来获得反馈信息并构建反馈提示，让LLM进一步调整生成的提示文本。

HintDroid方法流程

ACM　CHI最佳论文荣誉提名奖证书

论文链接：https://dl.acm.org/doi/full/10.1145/3613904.3642939