ICS 35.240 L 60 中华人民共和国国家标准 GB/T 38665.1—2020 信息技术 手势交互系统 第1部分：通用技术要求 Information technologyGesture interaction system Part 1: General technical requirements 2020-04-28发布 2020-11-01实施 国家市场监督管理总局 发布 国家标准化管理委员会 GB/T38665.1—2020 目 次 前言 1 范围 2 规范性引用文件 3 术语和定义 4手势交互系统框架 5 功能要求 6 性能要求 参考文献· GB/T38665.1—2020 前言 GB/T38665《信息技术手势交互系统》拟分为10个部分： 第1部分：通用技术要求； —第2部分：系统外部接口； 一第3部分：通用测试方法； —一第4部分：手势交互界面设计工具； 第5部分：桌面手势交互设计准则； 一第6部分：笔手势交互设计准则； 第7部分：触控手势交互设计准则； 一第8部分：空中手势交互设计准则； 第9部分：双手手势交互设计准则； 第10部分：身体姿态交互设计准则。 本部分为GB/T38665的第1部分。 本部分按照GB/T1.1一2009给出的规则起草 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。 本部分由全国信息技术标准化技术委员会（SAC/TC28）提出并归口。 本部分起草单位：中国电子技术标准化研究院、中国科学院软件研究所、北京理工大学、中国科学院 心理研究所、中国科学院计算技术研究所、清华大学、北京航空航天大学、联想（北京）有限公司、英特尔 （中国）研究中心有限公司、北京电影学院。 本部分主要起草人：王聪、田丰、戴国忠、王涌天、傅小兰、陈熙霖、史元春、梁晓辉、王茜莺、宋继强、 黄进、范向民、马珊珊、宋维涛。 1 GB/T38665.1—2020 信息技术手势交互系统 第1部分：通用技术要求 1范围 GB/T38665的本部分规定了手势交互系统通用的功能要求和性能要求。 本部分适用于手势交互系统的研发和测试。 2 规范性引用文件 下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅注日期的版本适用于本文 件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件 GB/T18976一2003以人为中心的交互系统设计过程 GB/T38665.2一2020信息技术手势交互系统第2部分：系统外部接口 3术语和定义 GB/T18976一2003界定的以及下列术语和定义适用于本文件。 3.1 手势 gesture 用户利用上肢（包括手部和手臂）表达交互意图时，所执行的具体姿态或动作。 3.2 静态手势 static gesture 以上肢静止姿态表达交互意图的手势。 3.3 动态手势 dynamic gesture 以上肢运动方式表达交互意图的手势 3.4 手势控制指令 gesture instruction 手势交互控制过程中与手势对应的系统操作指令。 3.5 手势识别 gesturerecognition 从输入的手势数据判别出手势。 3.6 手势交互系统 gesture interaction system 对具有特定意义的手势信号，即硬件设备采集到的用户所执行的手势信息，进行手势识别，并做出 响应和反馈的软件系统。 3.7 手势起始 gestureactivation 标识手势开始的事件。 1 GB/T38665.1—2020 3.8 手势结束gesturecompletion 标识手势结束的事件。 3.9 手势取消 gesturecancellation 取消处于执行过程中的手势输人。 3.10 手势集 gestureset 表达各种交互意图的手势的集合。 示例：在一个幻灯片放映控制软件中，“向左挥手”和“向右挥手”两个手势分别表示“上一页”和“下一页”的交互意 图，这两个手势的集合即这个软件的手势集。 4手势交互系统框架 手势交互系统对输人设备采集到的手势信号流进行处理，向应用输出手势控制指令，应用得到手势 控制指令后进行业务逻辑处理并向手势交互系统下达反馈指令，最后手势交互系统向输出设备输出控 制信号，从而给用户输出处理结果 手势交互系统为应用提供手势集模块、手势识别模块和交互决策模块相关的管理接口，如图1所 示。图中连线表示模块之间互相操作的接口，带有箭头的连线既表示模块之间互相操作的接口，又通过 箭头方向表示手势交互信息流的传输方向。 本部分只规定对手势交互系统的通用技术要求。 手势交互系统包括手势集模块、手势识别模块、交互决策模块和反馈模块： a）手势集模块是计算机系统用于实现手势集相关功能的模块，它向手势识别模块提供手势模板 数据。手势集模块还向应用提供手势集管理相关的接口。 b）手势识别模块通过将输入设备得到的手势信号流与手势集模块提供的手势模板进行匹配，将 手势信号流转化为具有一定语义的手势识别结果。同时，手势识别模块通过对手势信号流的 处理，还得到手势起始与结束、手势执行状态以及手势取消等信息，它们与手势识别结果一起 统称为手势识别信息，输出到应用、交互决策模块和反馈模块以便进行下一步处理。手势识别 模块还向应用提供手势识别模块管理的相关接口。 c）交互决策模块负责根据识别得到的手势做出交互决策，依此向应用下达手势控制指令。交互 决策模块还向应用提供绑定手势与手势控制指令的接口。 d）反馈模块负责将手势识别模块和应用提供的反馈信息转化为输出设备可处理的信息，以便最 后向用户输出手势交互系统的处理结果。 2 GB/T38665.1—2020 手势交H.系统 手势集模块 11 3 输入设备 手势识别模块 5 交互决策模块 应用 用广 10 输出设备 反馈块 说明： 1 用户和输入设备间的接口，用户的手势信息通过该接口被输人设备采集； 2 输人设备和手势识别模块间的接口，输入设备通过该接口向手势识别模块输出手势信号流； 3 手势识别模块和手势集模块间的接口，手势识别模块通过该接口从手势集模块中获取手势模板数据； 手势识别模块和应用间的接口，手势识别模块通过该接口向应用输出手势识别信息，应用通过该接口对手势 识别模块进行配置管理； 手势识别模块和交互决策模块间的接口，手势识别模块通过该接口向交互决策模块输出手势识别信息； 5 6 手势识别模块和反馈模块间的接口，手势识别模块通过该接口向反馈模块输出手势识别信息； 交互决策模块和应用间的接口，交互决策模块通过该接口向应用输出手势控制指令，应用通过该接口对交互 决策模块进行配置管理； 8 应用和反馈模块间的接口，应用通过该接口向反馈模块提供应用相关的反馈信息； 反馈模块和输出设备间的接口，反馈模块通过该接口向输出设备输出硬件设备可处理的反馈信息； 10- 输出设备和用户间的接口，输出设备通过该接口向用户输出手势交互系统的最终反馈； 11 应用和手势集模块间的接口，应用通过该接口对手势集模块的手势集进行管理。 图1手势交互系统框架 5功能要求 5.1手势集模块 手势集模块功能如下： a）应提供至少一个手势集，每个手势集应至少包含两个手势； b）应提供每一个手势的名称和操作描述； c） 宜为应用提供添加手势集、移除手势集的服务功能； d）宜为应用提供任一手势集的添加手势、移除手势的服务功能 示例：手势集模块提供一个手势集，该手势集中包含“五指握拳”和“单指点击”两个手势，“五指握拳”表示调出菜 单，“单指点击”表示选择。 3 GB/T38665.1—2020 5.2手势识别模块 手势识别模块功能如下： a）应提供至少一种手势采集方法，使手势交互系统能感知用户的手势输人行为； 示例1：通过戴在手上的数据手套采集用户的手势，并将其转换成计算机能处理的关键点的位置和姿态变化数据 信息。 示例2：通过摄像头采集用户的手势，并将其转换成计算机能处理的图像或视频数据信息。 b）应提供一种或多种判断手势起始和手势结束的方法，这些判断可以由用户手动执行，也可以由 计算机自动执行，参见ISO/IEC30113-1：2015的5.1； 示例3：在使用数据手套作为输人设备的手势交互系统进行照片浏览时，伸出右手从右向左挥动一次后收回右手表 示翻到下一页。手势交互系统在检测到右手动作出现时认为手势起始，检测到右手动作消失时认为是手势结束 示例4：在使用摄像头作为输入设备的手势交互系统中移动物品时，检测到握拳认为是手势开始，检测到张开手认 为是手势结束。 c）应提供至少一种允许在输人过程中实现手势取消的方法，参见ISO/IEC30113-1:2015的5.5； 示例5：如果手势输人持续时间超过5000ms，则自动取消当前手势输入。 示例6：在使用摄像头作为输入设备时，如果在手势输入未完成时快速把手撤出摄像头的拍摄区域，则认为是取消 当前手势输入。 d）应提供手势输入信号的预处理方法，能将用户输入的静态手势或者动态手势输入信号转化为 适合手势识别算法处理的信息形式； e） 应提供与手势集对应的识别算法的程序集，使系统能对用户输入的手势进行识别，识别算法可 以在本地，也可以在云端； f) 宜为应用提供对识别算法模块进行添加识别算法、移除识别算法和设置当前识别算法的服务 功能； g）应提供唯一的、预先定义好的、可以被交互决策模块所识别的识别结果（指令）。 5.3交互决策模块 应提供将手势与应用的手势控制指令进行绑定的功能，以便在手势交互系统得到用户输入的手势 之后能够驱动应用完成相应的操作。 “翻页操作。 5.4反馈模块 反馈模块功能如下： a)J 应以视觉、听觉、触觉或其他反馈方式中的至少一种将手势识别结果通知用户，参见ISO/IEC 30113-1:2015的5.4； 示例1：用户执行了一个“握拳”手势，当该手势被识别成功后显示器显示“握拳”手势图标。 示例2：用户执行了一个“握拳”手势，当该手势被识别成功后音箱播放声音“ding”。 示例3：用户执行了一个“握拳”手势，当该手势被识别成功后戴在手腕上的智能手表震动500ms b）应以视觉、听觉、触觉或其他反馈方法中的至少一种将当前手势执行状态通知用户，参见 ISO/IEC30113-1:2015的5.3； 示例4：通过提示框的方式通知用户当前手势输入状态是在等待输人、输人中或者输入完成。 示例5：通过声音“请输入手势”“手势输入完成”等语音提示用户当前手势输人状态。 c）应以适当方法使得用户知道当前系统可以识别何种手势、这些手势可以执行哪些应用功能； 示例6：通过文字或者图像提示用户当前可以执行“握拳”手势，并且该“握拳”手势将控制浏览器翻到下一页。 d）应能够接收应用提出的反馈请求，通知用户的手势在应用中的响应结果。 4