自然人机交互作为影响人类生活和推动经济发展的颠覆性信息技术具有重要的研究和应用价值，据麦肯锡预测，到 2025 年它对全球经济将产生13.3-28.2 万亿美元的影响。在云计算与大数据时代下，教育、办公、医疗等国民经济重要行业正处于转型升级的关键时期。作为支撑上述行业变革的核心，延续了数十年甚至上百年工作方式的教室、会议室和诊室等正逐步被智能交互环境所替代。然而，其中面临着交互场景复杂性，交互通道多样性，交互信息海量性等一些共性挑战。如何在教育、办公、医疗等大范围、复杂场景中捕获多样化目标的自然行为和生理状态？如何融合用户的手势、体态、触控、语音、表情、眼动、生理等非精确交互信息并一致呈现？如何利用海量交互信息实现用户意图的准确理解？这些难题的破解都有赖于自然人机交互中共性关键技术的突破。 

　　针对上述挑战，本项目整合国内在人机交互领域的优势力量，依托计算机科学国家重点实验室、计算机辅助设计与图形学国家重点实验室、模式识别国家重点实验室、信息科学与技术国家实验室等顶尖研究平台，囊括全球最大的电子白板厂商(鸿合)、全球最大的个人电脑厂商(联想)、以及协和医院、第三军医大学、中兴健康等在教育、办公、医疗领域顶尖的应用示范单位，以自然人机交互中多源信息捕获、感知、认知为主线，突破四项关键技术：1）穿戴式高精度、大范围、多目标动作捕获及识别；2）大幅面高分辨触控设备及智能交互；3）非精确交互信息的融合感知计算和一致性呈现；4）云端融合下的海量交互信息理解；建立软件工具和硬件研发平台。项目执行期间将推出国际先进或领先水平样机和技术，并实现部分量产。在教育、办公、医疗领域形成规模化的应用示范，应用装机达到100万套，应用单位达到 1000家。推动我国在人机交互领域的研究和应用达到国际先进水平。