打开APP
userphoto
未登录

开通VIP,畅享免费电子书等14项超值服

开通VIP
为什么心理健康聊天机器人需要严格的安全护栏?

 其实这不是一个有没有的问题,而是应该如何做的问题!

    心理健康仍然是数字健康投资者关注的主要临床领域。这一领域竞争激烈,但对医疗体系来说仍然是一个巨大的挑战:许多美国人生活在精神健康专业人员短缺的地区,限制了获得医疗服务的机会。

01

对于心理健康聊天机器人的安全问题(上)

        Wysa是一家由人工智能支持的聊天机器人制造商,旨在帮助用户克服焦虑、压力和情绪低落等问题。该公司最近宣布获得2000万美元的B轮融资,不久之前,这家初创公司获得了FDA的突破性设备指定,使用其工具帮助患有慢性肌肉骨骼疼痛的成年人。

        该公司的联合创始人兼总裁Ramakant Vempati在接受采访时与行业内人士及关注心理健康聊天机器人的朋友们讨论了聊天机器人的工作原理、Wysa用于监控安全和质量的护栏,以及最新一轮融资后的下一步计划,具体的核心问题我们来一起来探讨!

        第一个问题是:为什么你认为聊天机器人是缓解焦虑和压力的有效工具? 可访问性与此有很大关系。在怀莎的早期旅程中,我们收到了一位家庭主妇的反馈,她说:“看,我喜欢这个解决方案,因为我和家人坐在电视机前,我做了一整期CBT(认知行为疗法),没有人需要知道。

        我认为这真的是隐私,匿名和可访问性。从产品的角度来看,用户可能会也可能不会直接考虑到这一点,但我们在产品中内置的安全性和护栏,以确保产品符合健康的目的,这是我们提供价值的重要组成部分。我认为这样才能创造一个安全的空间。

        最初,当我们推出《Wysa》时,我不太确定它会怎么样。当我们在2017年上线时,我想,人们真的会和聊天机器人谈论他们最深、最黑暗的恐惧吗?”你在客户服务环境中使用聊天机器人,比如银行网站,坦率地说,体验还有很多不足之处。所以,我不太确定这是否会被接受。在我们成立5个月后,我们收到了一个女孩的电子邮件,她说当没有人的时候,这个东西就在那里,这拯救了她的生命。她不能和别人说话,一个13岁的女孩。当这一切发生的时候,我想这就是我作为一个创始人所面临的问题。

        从那时起,我们经历了从一个想法到一个概念再到一个产品或业务的三个阶段的发展。我认为第一阶段已经向我们证明,真正说服我们自己,用户喜欢它,他们从服务中获得价值。我认为第二阶段是在临床结果方面证明这一点。所以,我们现在有15个同行评议的出版物,要么已经出版,要么正在筹备中。我们参与了六项随机对照试验合作伙伴包括NHS和哈佛大学。然后,我们获得了FDA对慢性疼痛研究的突破性设备指定。我认为所有这些都是为了证明和创造一个证据基础,这也给了每个人信心,这是有效的。第三阶段是按比例计算。

02


对于心理健康聊天机器人的安全问题(下)

        第二个问题是:你提到了产品中的护栏。你能描述一下这些是什么吗? 第一,当人们谈论人工智能时,会有很多误解,会有很多恐惧。当然,也有人持怀疑态度。我们对Wysa所做的是,在某种意义上,把人工智能放在一个盒子里。我们使用NLP[自然语言处理],我们使用NLU,即自然语言理解,来理解用户的环境,理解他们在谈论什么,他们在寻找什么。但当它回应用户时,它是预编程的响应。对话由临床医生撰写。所以,我们有一个临床医生团队,他们负责撰写内容,我们明确地进行测试。所以,第二部分是,考虑到我们不使用生成模型,我们也非常清楚AI永远不会100%捕捉到某人说的话。总会有这样的情况,人们会说一些模棱两可的话,或者他们会使用嵌套或复杂的句子,而人工智能模型将无法捕捉他们。在这种情况下,每当我们编写脚本时,我们的目的是当你不理解用户在说什么时,响应不会触发,不会造成伤害。为此,我们还有一个非常正式的测试协议。我们遵守英国国家医疗服务体系使用的安全标准,我们有一个大型的临床安全数据集,我们使用它是因为我们现在在这个平台上有5亿次对话。所以,我们有一组巨大的对话数据。我们有一个子集的数据,我们知道人工智能永远无法捕捉。每次创建新的对话脚本时,我们都会使用这个数据集进行测试。如果用户说了这些事情呢?会有什么反应?然后,我们的临床医生会观察患者的反应和对话,判断他们的反应是否合适。

        第三个问题是:当你宣布你的B轮计划时,Wysa说它想要增加更多的语言支持。如何确定包含哪些语言? Wysa的早期,我们经常有人写信给我们,志愿翻译。有巴西人写信说:“看,我懂两种语言,但我妻子只会说葡萄牙语。我可以为你翻译。这是一个很难回答的问题。你的心很难过,特别是对于那些资源匮乏的语言,人们得不到支持。但不仅仅是翻译,还有很多工作要做,这几乎是适应。这就像是在开发一款新产品。所以,你需要非常小心地对待你的作品。它不是静态的,一次性的翻译。你需要不断地观察它,确保临床安全,它会随着时间的推移而发展和改善。所以,从这个角度来看,我们考虑了几种语言,主要是受市场需求和我们优势的地方的驱动。所以,这是市场反馈和战略重点的结合,以及产品可以处理什么,在临床安全的情况下,更容易使用特定语言的人工智能。

        第四个问题是:你还提到,你正在考虑与即时通讯服务WhatsApp整合。这种整合是如何运作的?你如何处理隐私和安全问题? WhatsApp现在对我们来说是一个非常新的概念,我们正在探索它。我们非常非常了解隐私要求。WhatsApp本身是端到端加密的,但如果你打破了匿名的面纱,你如何以负责任的方式做到这一点?你如何确保你也遵守所有的监管标准?这些都是现在正在进行的对话。但我认为,在这个阶段,我真正想要强调的是,我们正在非常、非常仔细地做这件事。人们对WhatsApp的机会感到非常兴奋,因为在世界的大部分地区,这是主要的沟通手段。在亚洲,在非洲。想象一下,社区里的人们得不到充分的服务,得不到心理健康支持。从撞击的角度来看,这是一个梦想。但这还处于早期阶段。

        心理健康的服务如果涉及到人工智能必然需要深度思考其安全性!

本站仅提供存储服务,所有内容均由用户发布,如发现有害或侵权内容,请点击举报
打开APP,阅读全文并永久保存 查看更多类似文章
猜你喜欢
类似文章
【热】打开小程序,算一算2024你的财运
你愿意跟心理医生对话,还是接受人工智能的治疗?将AI用于心理健康的前景和挑战
聊天机器人这个2000亿美元的市场,你加不加入?
为什么聪明人从不装落地窗?听完老师傅的话,总算了解了!
人工智能机器人-电脑版
治愈系人工智能机器人了解下?
2022年,普通人将要面临这几个“趋势”,要做好心理准备
更多类似文章 >>
生活服务
热点新闻
分享 收藏 导长图 关注 下载文章
绑定账号成功
后续可登录账号畅享VIP特权!
如果VIP功能使用有故障,
可点击这里联系客服!

联系客服