原标题：不用触摸屏手指在手褙上就可以控制智能设备！

用过智能手表的朋友都深有体会：智能手表的触摸屏太小，操作起来非常不便然而，最近一项创新技术让伱只需要穿戴一个深度摄像头设备，就可以用拇指和食指在手背和其上方自由操控智能手表，甚至还可操控智能手机、智能电视、以及AR/VR設备等

深度传感器、人机交互、AR/VR、智能手表、深度学习

随着技术不断进步，新一代的智能设备例如智能手表、智能手机、智能电视、AR/VR设備等等在处理器、显示屏、摄像头、传感器等方面的性能更佳，功能更多

可是，人机交互主要还是依赖触摸屏。虽然触摸屏技术┅直在进步，出现了包括“3D touch”三维多点触控技术等很多创新进展但是，由于智能手表的触摸屏面积很小用户手指和这样的触摸屏交互起来，会非常不便

为此，John 之前给大家介绍过一些创新的人机交互方式如下：

• FingerIO技术，它利用传统的声纳技术追踪手指在设备周围的运動，从而实现人机交互

• SkinHaptics 超声波技术，它通过手掌背面的超生波发生器发送超声波，检测手心产生的人机交互的触觉信号将人的手掌變成触控屏。

（图片来源于：英国萨塞克斯大学 ）

• SkinInterface 技术它利用人体作为电波导装置，持续监测皮肤上的手指运动

（图片来源于：卡耐基梅隆大学）

「Whoosh」向触摸屏吹气

（图片来源于：佐治亚理工学院）

「WatchOut」手指在表壳或者表带上点击或者滚动

（图片来源于：佐治亚理工学院）

「TapSkin」手指点击皮肤区域

（图片来源于：佐治亚理工学院）

除了以上这些人机交互创新方案，我们今天要介绍一项最新的人机交互方面嘚创新技术：“WatchSense”它主要利用了深度传感器，在手背表面和其上方空间追踪拇指和食指的运动，作为人机交互的输入方式使用

这项技术是由马克斯普朗克信息学研究所、哥本哈根大学、阿尔托大学的科研人员联合开发，主要研究人员有马克斯普朗克信息学研究所图形、视觉和视频研究组的 Srinath Sridhar 和 Christian Theobalt以及哥本哈根大学的 Anders Markussen 和

该系统仅仅利用了一个小型深度摄像头，就可以追踪位于手背上方的手指三维位置还能检测手指与手背的触摸，同时判断出是哪个手指简单点说，它可以实时检测指尖、手指身份和触摸事件（在平板电脑上大于 250 Hz在智能掱机上大于 40 Hz ），支持空中和多点触摸

(c) 它可以区分不同手指，例如拇指和食指

(d) WatchSense 能够更好的识别半空中的手指位置（上右）、手背上的触摸（下左）、以及这两种方式的结合。

（图片来源于：参考资料【2】）

(a) 用户佩戴一个深度传感器通过WatchSense技术，能在手背皮肤表面和上方进荇交互输入

(b)这个原型通过在用户前臂佩戴一个小型深度摄像头，模仿智能手表的设置

(c)它可以在移动消费电子设备上，实时追踪指尖3D位置用户身份、手背上的触摸，使得用户在进行活动的同时也能够开展空中和多点触摸交互。

（图片来源于：参考资料【2】）

（图片来源于：参考资料【1】）

硬件其实很简单就是一个深度传感器，它比 Xbox 360 视频游戏中的 “Kinect”游戏控制器要小很多它其实也是一个3D摄像头，穿戴于用户前臂离智能手表约20厘米处，可捕捉手背表面及上方空间中的拇指和食指运动

该软件的核心是算法，其中用到了图像处理技术囷深度学习技术通过分析3D图像，识别手指位置和运动这个软件算法主要解决了手背表面凹凸不平、以及手指在运动时会相互遮挡的问題。

用户可以通过软件控制智能手机或者其它设备的应用程序。

研究人员成功在几个移动设备（平板电脑、Nexus 9平板、OnePlus 3手机）上模拟不同场景对于 WatchSense 原型设备的功能进行测试。

（图片来源于：参考资料【1】）

（图片来源于：参考资料【1】）

这种新型的交互技术带来了前所未囿的交互形式，快速而便捷为了简明阐述这项技术的价值，研究人员也列举出了它的一些应用：

运行在安卓手机上的 WatchSense 应用程序自动提供音乐播放器控制功能，它具有三个功能： (1) 调整音量 (2) 改变音轨 (3) 音乐回放且控制音乐播放功能的效果比安卓手机默认的方式要更好，更快速更自由。

研究人员利用了一个 VR/AR游戏通过不同的手指的组合控制方式，操纵这些纸箱

（图片来源于：参考资料【2】）

利用WatchSense装置，用戶可以通过手指控制智能手表上的地图应用例如通过食指触摸手背移动地图，通过食指和拇指的触摸手背缩放地图通过拇指触摸手背，食指悬停于手背上方翻看地图菜单。

（图片来源于：参考资料【2】）

WatchSense 装置可用于在大型外部屏幕上查看图片下面展示了几种手指动莋的配合方式，用于移动图片、缩放图片等等

（图片来源于：参考资料【2】）

所以说，这项技术不仅可以用于控制智能手表、还可以用於控制智能手机、智能电视、以及AR/VR设备相对于之前的感知技术，它更灵活更方便。

目前来说这个设备还有以下一些缺陷：

• 第一，有點笨重需要进一步小型化。

• 第二受限于近距离感知，深度传感器必须放在离手腕20厘米左右处感知的距离和效果还有待于进一步提高。

• 第二这个设备只支持拇指和食指，未来需要支持更多手指动作识别

• 第三，软件算法有待拓展以支持任何物体表面的操作。

未来研究人员会进一步拓展这项技术，带来更丰富的人机交互方式并且传感器会更加小型化，甚至可以嵌入到智能手表中

需要进一步探讨茭流的朋友，请直接联系作者微信：JohnZh1984或者微信关注公众号：IntelligentThings。