城市
欢迎来稿
当前位置首页 > 科技新闻 > 正文

AI描述图片,帮视障者“看”到更多

2018-02-12 10:10 来源:科技日报

  刘彪正在使用qq空间。

  刘彪打开手机QQ空间,触摸到好友发的图片。

  以前,他耳边响起的是读屏提示音“图片”。现在,他听到了更多内容——“图片:一个长发女孩在夕阳下的照片。”

  这是新的安卓版QQ空间客户端基于人工智能技术推出的“图片语音即时描述”功能。

  “这个感觉很不一般。”刘彪是视障者,也是公益组织信息无障碍研究会的技术主管。虽然语音只是描述出了图片的主要信息,但对刘彪而言,体验从此大不相同。“以前好友发图,就只能‘绕道’。现在知道他大概发了什么,还能在评论区互动一下。”在人工智能的帮助下,视障者成功地在图片动态下刷了把存在感。

  让科技在社交场所落地

  很早之前,信息无障碍研究会就和QQ空间建立了合作,协助他们进行软件的无障碍优化。

  所谓信息无障碍,简单来讲,就是让包括视障者、听障者、读写障碍者在内的所有用户,都能够顺畅使用互联网。它是互联网世界里的无障碍设施,就好像马路上的盲道、地铁站里的无障碍电梯。

  视障者,同样也是互联网产品的用户。他们靠语音辅助程序或读屏软件,读新闻、点外卖、购物、打车……

  以及社交。

  刘彪说,现在越来越多的人喜欢晒图和发小视频,但他们看不见,就只能去问一句——你发了什么?“我们就跟QQ空间的工程师反馈了这个痛点——如果图片能识别出来,那多酷。”

  QQ空间产品开发技术人员告诉科技日报记者,目前QQ空间用户发表的动态中,60%以上包含图片。如果无法读图,对视障人群来讲,确实是相当大的信息缺失。双方都觉得这个功能挺酷,于是说干就干,着手优化。QQ空间也和腾讯人工智能团队沟通,寻找科技解决方案。这次的图片语音即时描述功能,就用到腾讯AI Lab的技术。

  “腾讯AI Lab图片描述生成技术一般都是基于编码器—解码器框架。这一技术的难点在于设计出能够充分理解图像内容的模型,进而将相应编码的图像内容再‘翻译’成自然语句。”腾讯AI Lab技术人员解释,这样的模型不仅需要深度理解图像,也需要理解自然语言,更重要的是学习图像与自然语言之间的多模态交互关系。

  要真正落地,技术还要应对一大难题,那就是用户上传的图片具有高度多样性。他们发星辰大海,也发生活中的细枝末节。由于图片题材广泛,腾讯AI Lab技术人员坦言,有时图像的自然语句描述不会特别精确。“这需不断积累数据,不断提升算法的性能,两者互相促进,提升算法精确度。”

  为无障碍锦上添花

  其实就在几年前,对国内互联网公司来说,“信息无障碍”还是个有些陌生的概念。

  当时,科技日报记者曾采访现在的信息无障碍产品联盟秘书长梁振宇。他表示,对互联网产品团队来说,每个问题都有优先级。“无障碍优化”这一看起来有些小众的需求,有时就被放在了一旁。

  “这两年,社会各界对信息无障碍的关注都在提升。”刘彪介绍,信息无障碍研究会和百度、腾讯以及阿里旗下的多款产品都建立了合作关系。至少,现在主流的互联网公司都知道何为无障碍,有条件的,也愿意为此努力。

  QQ空间产品团队就表示,在信息无障碍技术方面,手机QQ空间从2014年开始,持续在好友动态、消息、个人主页等核心场景优化体验,并把信息无障碍作为每一个功能发布的必备特性,坚持每个版本解决一些问题,并从内测阶段即邀请视障用户参与产品测评,再根据反馈的建议和意见,持续进行版本优化。“让QQ空间更好地服务障碍用户,为障碍者提供舒适的社交体验。”

  要做到信息无障碍,其实并不需要前沿什么技术。刘彪介绍,开发者了解用户需求并按照一定规范进行APP的设计开发,产品就能实现“信息无障碍”,从而造福广大视障用户。而人工智能,则可以锦上添花。

  “语音输入让我们的输入效率变得更高,OCR文字识别让我们能够‘认’出药瓶上的字。那些改变你们生活的应用,也提高了我们的生活质量。”刘彪也在用智能音箱等智能家居产品。“我们以前用空调、洗衣机等家电时,是靠记忆来按按钮,有了人工智能技术,可以进行语音控制,也省去了这些麻烦。”他提醒道,“有些智能家居有手机APP操控功能,这些APP也要注意进行无障碍优化。”

(责任编辑:王蔚)

热点推荐

SpaceX今年第7次发射  共向国际空间站运2.63吨物资

SpaceX今年第7次发射 共向国际空间站运2.63吨物资

据国外媒体报道,美国当地时间4月2日,SpaceX已成...

携手世界 为破解人类科学难题贡献中国智慧

携手世界 为破解人类科学难题贡献中国智慧

在蔚蓝的大海中,国际大洋钻探计划正在钻探地球的...

苹果允许用户彻底删除ID 重隐私者得天下

苹果允许用户彻底删除ID 重隐私者得天下

北京时间3月30日,据彭博社报道,苹果公司表示将在...

eSIM时代,运营商的末日还是新生

eSIM时代,运营商的末日还是新生

自近日中国联通宣布在国内首发Apple Watch Series ...

首枚会变色的“心脏芯片”问世

首枚会变色的“心脏芯片”问世

东南大学生物医学工程学院生物电子学国家重点实验...

“科学”号调查麦哲伦海山

“科学”号调查麦哲伦海山

海山是世界海洋生物多样性研究的热点地区。在国家...

别了,“天宫” 你是永远的“一号”

别了,“天宫” 你是永远的“一号”

2011年9月29日,你乘坐长征二号F运载火箭离我们而...