“最初打算帮助残疾人,是因为我在卡耐基梅隆读博时,结识了一位从 IBM 到我们学校访问的盲人教授。和她一起去朋友家时,发现她的生活非常不方便,这也是我设计盲人屏幕阅读器的起因。”对密歇根大学计算机科学与工程系 90 后华人教授郭安鸿来说,“科技向善”是他身上抹不去的标签。
很多人都曾在课本上学习过海伦·凯勒的《假如给我三天光明》,由于失聪和失明,她只能通过触觉来学习说话,比如把手指放在老师的鼻子、嘴唇和咽喉上,去感受某个单词的发音方式。
图 | 小时候的海伦·凯勒和莎莉文老师(来源:维基百科)
一个四肢健全的盲人固然有触觉,但却因为眼盲、而无法操作那些常人可以轻松操作的键盘,比如微波炉和电饭煲的物理操作界面。对他们来说,这些操作界面的按钮,不仅在触觉上难以区分,并且屏幕上还有他们无法阅读的视觉信息。
基于此,郭安鸿研发出一款人机交互系统,来帮助盲人读取、以及使用物理操作界面上的内容。
图 | 郭安鸿(来源:受访者)
该系统包含三大块:VizLens、Facade 和 StateLens。其中 VizLens 帮助盲人通过音频指示去使用物理操作界面,Facade 使用 3D 打印技术给其提供盲文标签,而 StateLens 则可以帮助他们识别动态操作界面。
VizLens:可给盲人提供实时帮助
VizLens 是用于静态物理操作界面的交互式屏幕阅读器,它结合了按需众包和实时计算机视觉技术。
图 | 盲人使用 VizLens 操作微波炉(来源:受访者)
当盲人遇到某个无法阅读的静态界面如微波炉界面时,使用手机对操作界面进行拍照,之后 VizLens 会把照片发送给网络众包人员。
视频 | VizLens使用说明
众包是一种通过互联网多人协作获得数据资源的方式,比如 Amazon Mechanical Turk 众包网站就是借助遍布在互联网上的自由职业者,通过他们完成一些细小工作,最终汇集在一起解决大型问题。
图 | 用户使用界面的操作过程(来源:受访者)
众包人员收到盲人的信号后,就会标记界面布局、并注释相关元素如按钮或其他控件,随后会描述每个元素,描绘出的图片也会成为参考图像,进而帮助计算机视觉更好地工作。
图 | VizLens 应用程序使用界面(来源:受访者)
之后,当盲人要操作微波炉界面时,只需打开 VizLens 应用程序,把手机摄像头对准界面,接着把手指悬停在界面上,这时 VizLens 会使用基于 SURF(Speeded Up Robust Features,加速稳健特征)的对象匹配技术,将众包标记的参考图像、与实时捕获的图像进行匹配,并跟踪用户的手指,进而去做检索、提供音频反馈和指导用户。
图 | VizLens 应用程序(来源:受访者)
有了这种即时反馈,VizLens 就能实时地把界面内容告诉给盲人。此外,VizLens 还权衡了众包人类智能和计算机视觉的优势,因此它对物理界面的解释能力,几乎和人工一样准确,并且它和计算机视觉系统一样快捷且低成本。
Facade:方便盲人独立读取的 3D 打印触觉覆盖层
一般来说,盲人经常在家电上贴盲文标签。基于 VizLens,郭安鸿进一步开发出 Facade,这是一款可让盲人独立读取的 3D 打印触觉覆盖层。
图 | Facade 触觉覆盖层(来源:受访者)
盲人拍摄操作界面照片时,照片中需要包含绝对尺寸的标记(fiducial marker),比如钱币或者信用卡。拍摄以后,Facade 可通过照片来恢复按钮标签尺寸信息。
接着,Facade 会用类似 VizLens 的众包方法对图像作出标记。这时,盲人可以使用 Facade 应用程序,来自定义触觉覆盖层,随后 Facade 可据此生成 3D 模型,这时使用家用 3D 打印机,即可制造出触觉覆盖层。
研究中,郭安鸿经历几次设计迭代,最终确定了最有效的覆层设计、材料配置和打印机设置,以使 3D 打印的覆层易于附着、读取和按压。
概括来说,VizLens 和 Facade 使盲人用户可以访问许多静态界面。郭安鸿又在此基础上,开发了 StateLens,这是一种用于公众信息显示屏和支付终端等动态触摸屏。
StateLens:解决误触难题
盲人一旦触碰屏幕,就很容易带来误操作,为解决此类触摸难题,针对使用过程中的意外触发因素,郭安鸿又设计出一套 3D 打印附件,即指帽和手写笔。
使用中,盲人通过手势激活所需的触摸位置,无需直接触摸屏幕即可浏览。据悉,StateLens 可在不修改触摸屏基础硬件或软件的情况下,为公共触摸屏带来 “无风险使用”,这也是可访问触摸屏交互的核心。
图 | 触摸交互设计(来源:受访者)
在对 StateLens 进行评估的过程中,他们首先通过 12 个触摸屏设备和 70K 多帧的实验视频,证明出 StateLens 可从固定视频、手持视频和网络视频中准确地重建界面。随后,再对 14 位盲人参与者做用户研究。这时,他们发现这款人机交互系统,可使盲人访问此前无法访问的动态触摸屏。
“你是我的眼”:盲人自己也可使用微波炉
谈及研发过程,郭安鸿表示:“我刚到匹兹堡时,不太熟悉当地用户和组织,但我做的是和盲人有关的项目,想要接触他们就更难。后来参加了一些当地的 meet up 活动,得知在一些图书馆里,有一些盲人在那里工作。通过这样一个滚雪球的方式,我一点点地找到了一系列用户。后面很多类似项目,我都可以去联系他们,看他们是否有时间给到一些反馈意见、试用一下我们做的产品等等。”
他说:“除了和 IBM 盲人教授相处的经历之外,通过观察图书馆盲人工作人员,也让我更加关心盲人的生活,比如说他们在使用微波炉这种物理操作界面或触屏设备的时候,有很多不方便的地方。然后我就想到可以通过计算机视觉、众包以及可穿戴设备等技术,设计一个系统,来帮助盲人用这种物理操作界面。”
图 | VizLens 在各种肤色和照明条件下都能很好地工作(来源:受访者)
联系客服