向善而生的AI助盲,让AI多一点,障碍少一点******
有人说,盲人与世界之间,相差的只是一个黎明。在浪潮信息研发人员的心中,失去视力的盲人不会陷入永夜,科技的进步正在力图给每一个人以光明未来。
AI助盲在人工智能赛道上一直是最热门的话题之一。以前,让失明者重见光明依靠的是医学的进步或“奇迹”。而随着以“机器视觉+自然语言理解”为代表的多模态智能技术的爆发式突破,更多的失明者正在借助AI提供的感知、理解与交互能力,以另一种方式重新“看见世界”。
新契机:多模态算法或将造福数以亿计失明者
科学实验表明,在人类获取的外界信息中,来自视觉的占比高达70%~80%,因此基于AI构建机器视觉系统,帮助视障患者拥有对外界环境的视觉感知与视觉理解能力,无疑是最直接有效的解决方案。
一个优秀的AI助盲技术,需要通过智能传感、智能用户意图推理和智能信息呈现的系统化发展,才能构建信息无障碍的交互界面。仅仅依靠“一枝独秀”超越人类水平的单模态人工智能比如计算机视觉技术还远远不够,以“机器视觉+自然语言理解”为代表的多模态算法的突破才是正确的新方向和新契机。
多个模态的交互可以提升AI的感知、理解与交互能力,也为AI理解并帮助残障人士带来了更多可能。浪潮信息研发人员介绍说,多模态算法在AI助盲领域的应用一旦成熟,将能够造福数以亿计的失明者。据世卫组织统计,全球至少22亿人视力受损或失明,而我国是世界上盲人最多的国家,占世界盲人总数的18%-20%,每年新增的盲人数量甚至高达45万。
大挑战:如何看到盲人“眼中”的千人千面
AI助盲看似简单,但多模态算法依然面临重大挑战。
多模态智能算法,营造的是沉浸式人机交互体验。在该领域,盲人视觉问答任务成为学术界研究AI助盲的起点和核心研究方向之一,这项研究已经吸引了全球数以万计的视障患者参与,这些患者们上传自己拍摄的图像数据和相匹配的文本问题,形成了最真实的模型训练数据集。
但是在现有技术条件下,盲人视觉问答任务的精度提升面临巨大挑战:一方面是盲人上传的问题类型很复杂,比如说分辨冰箱里的肉类、咨询药品的服用说明、挑选独特颜色的衬衣、介绍书籍内容等等。
另一方面,由于盲人的特殊性,很难提取面前物体的有效特征。比如盲人在拍照时,经常会产生虚焦的情况,可能上传的照片是模糊的或者没有拍全,或者没拍到关键信息,这就给AI推理增加了难度。
为推动相关研究,来自卡内基梅隆大学等机构的学者们共同构建了一个盲人视觉数据库“VizWiz”,并发起全球多模态视觉问答挑战赛。挑战赛是给定一张盲人拍摄的图片和问题,然后要求给出相应的答案,解决盲人的求助。
另外,盲人的视觉问答还会遭遇到噪声干扰的衍生问题。比如说,盲人逛超市,由于商品外观触感相似,很容易犯错,他可能会拿起一瓶醋却询问酱油的成分表,拿起酸奶却询问牛奶的保质期等等。这种噪声干扰往往会导致现有AI模型失效,没法给出有效信息。
最后,针对不同盲人患者的个性化交互服务以及算法自有的反馈闭环机制,同样也是现阶段的研发难点。
多解法:浪潮信息AI助盲靶向消灭痛点
AI助盲哪怕形式百变,无一例外都是消灭痛点,逐光而行。浪潮信息多模态算法研发团队正在推动多个领域的AI助盲研究,只为帮助盲人“看”到愈发精彩的世界。
在VizWiz官网上公布的2万份求助中,盲人最多的提问就是想知道他们面前的是什么东西,很多情况下这些物品没法靠触觉或嗅觉来做出判断,例如 “这本书书名是什么?”为此研发团队在双流多模态锚点对齐模型的基础上,提出了自监督旋转多模态模型,通过自动修正图像角度及字符语义增强,结合光学字符检测识别技术解决“是什么”的问题。
盲人所拍摄图片模糊、有效信息少?研发团队提出了答案驱动视觉定位与大模型图文匹配结合的算法,并提出多阶段交叉训练策略,具备更充分的常识能力,低质量图像、残缺的信息,依然能够精准的解答用户的求助。
目前浪潮信息研发团队在盲人视觉问答任务VizWiz-VQA上算法精度已领先人类表现9.5个百分点,在AI助盲领域斩获世界冠军两项、亚军两项。
真实场景中的盲人在口述时往往会有口误、歧义、修辞等噪声。为此,研发团队首次提出视觉定位文本去噪推理任务FREC,FREC提供3万图片和超过25万的文本标注,囊括了口误、歧义、主观偏差等多种噪声,还提供噪声纠错、含噪证据等可解释标签。同时,该团队还构建了首个可解释去噪视觉定位模型FCTR,噪声文本描述条件下精度较传统模型提升11个百分点。上述研究成果已发表于ACM Multimedia 2022会议,该会议为国际多媒体领域最顶级会议、也是该领域唯一CCF推荐A类国际会议。
在智能交互研究方面上,浪潮信息研发团队构建了可解释智能体视觉交互问答任务AI-VQA,同时给出首个智能体交互行为理解算法模型ARE。该研究成果已发表于ACM Multimedia 2022会议。该研究项目的底层技术未来可广泛应用于AI医疗诊断、故事续写、剧情推理、危情告警、智能政务等多模态交互推理场景。
眼球虽然对温度并不敏感,但浪潮信息的研发团队,却在努力让盲人能“看”到科技的温度,也希望吸引更多人一起推动人工智能技术在AI助盲、AI反诈、AI诊疗、AI灾情预警等更多场景中的落地。有AI无碍,跨越山海。科技的伟大之处不仅仅在于改变世界,更重要的是如何造福人类,让更多的不可能变成可能。当科技成为人的延伸,当AI充满人性光辉,我们终将在瞬息万变的科技浪潮中感受到更加细腻温柔的善意,见证着更加光明宏大的远方。
患“不死癌症”的他,给6300位无名逝者找家******
屋子关得严严实实。
1月2日,张大勇穿着一条棉裤、一件大棉衣,盖着厚被子,躺在电热毯上,依旧冷得发抖。
作为强直性脊柱炎患者,58岁的张大勇最近一次出门,还是三年多前由几个彪形大汉抬他下的楼。此前,李宇春自曝患此疾病,后来得到控制。但对张大勇来说,错过了救治时期,这个“不死的癌症”,已导致他脊椎骨钙化,全身颈椎、双髋等30多处关节强直僵硬,身体怕冷,不会转头、坐立、行走......慢慢变成了一具“会呼吸的木乃伊”。
他无法出门,生活在“孤岛”中,却渴望与外部世界发生联系:他创建了中国最早的寻人网站;他撰写出版了书籍《俺娘》……而他最为人所知的是,2012年夏天创建的“无名逝者数据库”网站,里面有6300多个无名遗体的信息:山林中发现的男性骸骨;疑似自缢的六旬老人;全身赤裸的女性浮尸;死于交通事故的无名氏……
十年来,张大勇每天搜集这些信息、照片,与它们相伴,最终让100多具无名遗体叶落归根。而他自己,在这份孤寂的事业中,找到了活着的意义。
发现躺在家里也能帮到外面的人
“无名逝者数据库”网站保留了两百多条留言,大多类似这样的:
“寻找失踪的弟弟,男,身高180左右,体重60公斤,1998年出生,2022年8月31日从武汉长江大桥跳下失联,望好心人帮忙留意转发。”
“寻找沉船的先生:我先生于2022年1月28日在钦州港区域沉船失踪,30岁,身高174,体重160斤左右,左手手腕处有一枚纹身,我也有同款的纹身,如看到可联系我拍图确认,谢谢!”
2022年10月21日,吃完早餐后,张大勇侧躺在彩色条纹床单上,用右手食指点开床边的电脑,屏幕从蓝色瞬间变成了白色,进入“无名逝者数据库”网站,接着一条条关于死亡的消息“扑面而来”。
刚开始看这些信息、照片,他也是连续好几个月寝食难安,经常做噩梦……不过,他如今已习以为常。
每天早上,张大勇躺着吃完早餐,用电脑工作一会儿,再起床做午饭。
他工作和生活的房间约十来平方米,进门右边有一书架,摆满书籍,往里有一张电脑桌,上面放着一台电脑,紧挨着那张狭长的铁木床,刚好够身高一米八五的他躺在其中。
因为不会自己穿衣,张大勇睡觉从不脱衣,但起床依旧困难重重。他用手臂延长器,即一根1米多长带钩子的木棍勾起拖鞋,然后把僵直的双脚塞进其中。因血液不流通导致发紫、发黑的双脚,干燥脱皮,像鱼鳞片一样脱落。
双脚套上拖鞋后,他胯部用力旋转,身体倾斜,之后双腿着地,两只手抓起拐杖,用力撑起上半身,双脚终于踩在了地面上。
他高兴地说:“我起床了!”
张大勇记得,他生病后,第一次这样起床,花了半小时也没有成功。如今动作娴熟多了,十几分钟就能起来。
他曾经能正常行走。1991年7月,27岁的张大勇高烧不退,从此瘫痪在床。
1997年2月的一天,距他家几十米远的瀍河桥下发现了一具女尸,烫发,穿一件红毛衣。那两天,张大勇听到电视里播一则寻人启事,洛宁县一夫妇吵架后,妻子离家出走了。丈夫描述妻子的穿戴、发型等,跟母亲和弟弟转述的桥底女尸特征一模一样。
家里没有电话,张大勇让当时在国企上班的弟弟张小勇联络那位丈夫,告诉对方联系洛阳市公安局,说他妻子可能被人杀害了。一个星期后,张小勇再打电话过去,确认男人的妻子正是该红衣女子。
张大勇回忆,他第一次发现,自己躺在家里也能帮助到外面的人。
枕头下藏了一把剪刀
1964年9月,张大勇出生在河南省洛阳市郊区的一个普通家庭,下面有一个妹妹和一个弟弟。父亲是某建筑公司的一名木工,常年在外,母亲在家务农。张大勇从小跟着外婆在偃师市(现改为区)诸葛村长大。
外婆叫蔡芸芝,是作家魏巍笔下《我的老师》的主人公。张大勇至今记得,小时候,外婆教他讲对联、猜谜语;他做错事,承认错误,外婆夸他诚实;夏天的夜晚,屋门口被打扫干净,铺上凉席。他和外婆一起躺在凉席上,遥望满天星星,外婆一边摇着蒲扇,一边娓娓细述天文和天宫里的故事。
快乐的童年,自他十岁起戛然而止。
那一年,张大勇的右大腿窝疼痛,村医诊断其为“隅蔻”(音)发了。外婆通过村医的指点,用大青盐在铁锅内炒热,装在布袋子里,再垫上毛巾,焐在他右大腿窝疼痛处,疼痛减轻。
1975年底,外婆去世后,张大勇回到洛阳市的父母身边。上初二时,他腿窝疼痛加重,几乎不能走路,第一次休学住院,被诊断为一种风湿免疫性疾病。每天打消炎针、用激素药,却不见好转。
治疗了两个月,张大勇不得不出院、返校。其后,因病情反复,他几次休学住院、出院返校,都没有落下学习,还是班里的班干部。
1983年,上高中的张大勇第四次因病休学,从此没能再返回学校。医生告诉他,他患的是强直性脊椎炎,但已错过了最佳治疗时期。
张大勇考大学、搞科研的梦想一时间化为了泡影。
疼痛厉害时,像锤子捶他的神经,不能侧身、坐立,躺在床上24小时不吃不睡。等到疼痛减轻,他才能喝一点醋,吃几个鸡蛋大小的蔫苹果,又酸又涩。
那些日子里,张大勇哭泣过、诅咒过、绝望过,想过一死了之。
有一次,母亲王玉平发现儿子的枕头下面藏了一把剪指甲的剪刀。很长一段时间,她白天、黑夜都不敢出去,害怕儿子想不开、做傻事。王玉平鼓励儿子:“人有两根脊椎,一根是骨骼脊椎,一根是精神脊椎。骨骼脊柱病了,精神脊椎挺起来,人照样可以挺拔伟岸。”
为了让儿子找到活下去的勇气,王玉平鼓励他多学习,去报社看新闻,去学校旁听课,让他看到更远的世界,了解更多更丰富的信息。疼痛减轻时,张大勇去报社的资料室,阅读全国各地报纸,去学校读书馆借书,甚至还做过报社的通讯员。
妹妹张千千印象中,母亲对哥哥关怀备至,他的任何情绪波动,老人都看在眼里,随时开导。相比之下,她和弟弟得到关爱就少很多。
1991年夏天,张大勇彻底瘫痪后,开始了吃喝拉撒都在床上的生活。他回忆,其后十年,他每天讲的话不超过70个字。
1996 年6月,父亲因病过世,生活的重担压在了母亲一个人身上。
很长一段时间,王玉平到各单位、学校、居民小区,收购废旧报纸,包括《人民日报》、《中国青年报》,以及一些晚报、文摘、杂志等,用板车拖回家里给张大勇看。
张大勇说,他估计至少阅读了10吨报纸,剪报存了3纸箱,从中寻找生活的意义,最终找到了活下去的勇气和方向。
狭小的屋子挤进了五十多人
通过看报刊杂志,张大勇发现了很多奇闻逸事,以此编写了一本50万字的《切尼斯(Chinese的音译)中国纪录大全》;他收集了很多寻人启事,大小方块,做成了三本“寻人相册”集,希望能去学校搞一次展览,教育孩子们不要离家出走。
张大勇介绍,上世纪90年代,不少学生受武侠小说影响,跑出去“闯天下”,跟家里人失去了联系。他一直关注这个问题,希望能寻找解决方法。
1998年5月,河南的《大河报》转载了“新华社”的一则消息:“全美失踪儿童中心”建立了美国第一家寻人网站,以帮走失的孩子寻找其家人。张大勇看到后心想,这太方便了,我为什么不做中国第一家寻人网站呢?
不久,弟弟张小勇从国企下岗。张大勇建议弟弟先学电脑,再找工作,顺便一起做“中国第一家寻人网站”。张小勇听从了哥哥的建议,花了一年的时间学习计算机:去图书馆看相关的书,洛阳大学旁听计算机课等。
2001年1月,张小勇在一家网吧熬了三个通宵,按照哥哥的想法,建成了首个“中国寻人网站”,并开通了“寻人热线”。
彼时,家里没有电脑,躺在床上的张大勇没能看到这个新建的网站。一直到当年10月,洛阳市残联捐了一台12英寸的电脑给他,摆放在房间的桌子上。张大勇侧躺在床上,看见电脑屏幕泛着白光,上面是网站的名称,下面一排照片,附有几行小字.....他激动万分。
寻人网站有“家找人”,包括家人寻找离家出走的人、走失的精神病患者等,也有“人找家”,包括帮被收容的人员或已死亡的无名氏寻找家等。很长一段时间,网站都是弟弟张小勇在维护。张大勇学会使用电脑,是2009年换了第二台电脑过后,他才会打字、更新网站。
当时的《东方今报》记者孟亮记得,张大勇那时不能翻身、下床,状态比现在还差,但他内心强大,做了不少正常人都做不到的事情。2004年认识张大勇后,孟亮经常去家里看望母子俩,后被对方视为亲人。
媒体的接连报道,让这个在床上躺了十年的男人突然火了。一些人跑到家里来,跟张大勇讲述自己的故事,希望他帮忙寻找亲人。“最多的时候,家里一次性涌进了五十多人,挤满狭小的屋子。”
其后十年,张大勇的寻人网站免费帮助两百多人找到了家。
但没有人知道,张大勇很快陷入了抑郁。他去看心理医生,对方说他梦想太大、太多,把身体压垮了,建议他不要给自己太多压力。“想做的事情太多,好像突然之间,整个世界都不够我想的。”张大勇回忆,他后来反思,学会量力而行,才慢慢调整了过来。
2007年,张大勇参加中国人文奥运旅游纪念品设计大赛,其设计的“2008中国年神七奥运纪念标志牌”,包含了北京奥运和“神七飞天”两个元素,获最富创意、设计金奖。
央视报道了他的事迹后,广东一家企业老板联系上他,资助他去北京做了两次手术,把双髋、双膝置换成了钛金属人工关节。
他才又重新学习起床、走路,靠着拐杖等工具,慢慢能做一些简单的动作。
卧行中国
今年1月2日,张大勇感染了新冠,发烧39度多。
那两天,他没有下过床,吃了两颗之前备的退烧药,饿了就喝水,吃点零食。其间,他头痛、睡不好,还呕吐过一次。
此前一个多月,他就谢绝了任何人来访。但两天后,他状态开始好转,如今已基本恢复正常。
去年天冷之前,深圳建辉基金会给他家里安装了管道和暖气。相比此前,家里变暖和了,而且随时有热水。这家成立于2016年的基金会,以那些“帮了别人一辈子,现在自己面临困境”的个体行善者为资助对象。
2006年开始,张大勇每个月领100多块钱低保,涨到现在每个月有600块钱。另外,他每月还有120块钱的残疾人补贴。但依旧维持不了家里的开支,网站因欠费几次被关闭。直到2017年初,基金会开始资助张大勇,每个月一千块钱,并不时去家里看望、慰问。
“张大勇眼神清澈,笑容纯真,生病后出门总共不超过十次,却能利用互联网做公益事业。”建辉基金会洛阳负责人李灿学感叹。
李灿学记得,有一次,基金会的几位女士跟他一起去看望张大勇,见对方躺在床上,双腿全是紫黑色的,难过得哭了起来。
张大勇却不以为然,告诉他们,现在是他状态最好的时候。
他的首个“中国寻人网站”成立几年后,各地寻亲网站如雨后春笋般冒了出来。张大勇发现,“人找家”部分没有人做,更需要社会的关注,于是决定单独做这部分,取名为“无名逝者数据库”,供寻亲家庭,以及相关单位免费查询。
当时,妹妹张千千对此并不赞同,但她觉得哥哥不容易,不忍心阻拦。
为收集无名逝者的数据信息,张大勇给各地殡仪馆、医院、公安局等相关单位打电话、写信,得到的回复寥寥。他希望收集的信息主要包括无名逝者的大致年龄,体貌特征,穿着打扮,死亡原因、时间、地点等。
进展不顺利,但他并不灰心。2010年9月,张大勇参加“百万青年创业计划”大赛。他收集无名逝者数据库信息的创意,获一等奖,3万块钱奖金。
第二年秋天,张大勇在妹妹、妹夫的陪同,以及各志愿者的帮助下,躺着去了广东广州、深圳,福建......他联系、走访了近100家卫生、公安、民政等单位。
回忆起那次45天的“卧行中国”行动,张大勇说,他只在广州殡葬管理处搜集到了五百余条数据信息,但媒体的跟踪报道,让这次行动得到了社会的关注,让更多人了解到“无名逝者”的问题。
不过,这次经历,并没有给他的妹妹和妹夫留下很好的记忆。张千千记得,她老公说,好不容易出来,去的不是火葬场,就是殡仪馆,还在那种地方留影!但哥哥有梦想,张千千希望他实现自己的梦想。
此前,有网友评论,让一个残疾人做这件事,显示出相关部门人性关怀的缺失,也体现出相关工作不扎实。但张大勇并不这样认为,他觉得,全国各地的殡葬管理条例不一样,且这是一件冷僻的事,需要有人去做,而自己可能是最合适的人。
2011年8月,36岁的张小勇突发疾病过世。
因为无法出门,张大勇没有见到弟弟最后一面。孟亮觉得,张大勇对弟弟,以及整个家庭心存愧疚,但他从不说出口,只是继续努力去做有意义的事情。
第二年夏天,“无名逝者数据库”网站正式上线。
“放弃的话,就没有第二个人做了”
国务院颁布的《殡葬管理条例》明文规定:火化遗体须凭公安机关或者国务院卫生行政部门规定的医疗机构出具的死亡证明。一些遗体因各种原因缺少“死亡证明”,导致全国多地医院太平间、殡仪馆积尸严重。
一边是家属寻找亲人、亲人的遗体;一边是公安机关难以侦破命案,无名逝者无法“找家”。张大勇说,近年来,多数公安机关出具无名遗体的死亡证明前,会在本地媒体上发布认领公告,但人口流动性大,很多无名逝者可能是外地人,家属不一定能看得到信息。
张大勇创办的“无名逝者数据库”,希望补充相应的缺陷,作为全国专业性的无名逝者信息平台,让家属更便捷地找到遗体。
但十年过去了,知道此网站的人并不多,而收集信息跟从前一样艰难。大部分时候,张大勇从其他网站上寻找信息,整理到自己的网站上,至今已有六千多条无名逝者信息。他偶尔接到自称是公安民警的电话,称想在其网站上发布无名逝者信息,但当对方知道是他个人办的网站后,就都不了了之了。
前几年,因经济压力,张大勇多次想过放弃网站,但他内心不愿意放弃,“如果我放弃了,全国就没有第二个人做了。”
有人建议他在网站上加入殡葬广告,张大勇拒绝了,他不愿意赚死人的钱。
即便如此,张大勇庆幸自己坚持了下来。这个又冷又偏又小众,甚至让读者后脊背发凉的公益项目,让至少一百多名“无名逝者”叶落归根。张大勇觉得,接到家属的感谢电话,是他最开心的时候。
志愿者毛全红说,很多人活到这个年纪,会变得世俗、麻木,张大勇始终保持一颗敏感的心,去做一些有意义的事情。她经常会忽略对方是一个残疾人。
一直以来,张大勇和母亲王玉平相依为命。约20年前,王玉平接连患上乳腺癌、子宫内膜癌。六七年前,她乳腺癌复发,风湿导致她左胳膊肿胀,颈椎和头疼痛难忍,但她从不在儿子面前诉苦、抱怨,只是鼓励他。
王玉平偶尔偷偷打电话给孟亮,说家长里短。她担心自己走后,张大勇一个人生活太艰难,有时甚至嚎啕大哭。
“她这一辈子太苦了,丈夫过世得早,两个儿子都没有结婚生子,一个早早过世,一个因病残疾。”孟亮说。
近几年,张大勇经过康复训练,可以自己起床,拄着拐杖在家里做饭、炒菜,帮母亲熬药等。但他依旧无法坐立、弯腰,下楼梯。
2022年8月8日,王玉平在家里摔倒了,被送进了医院治疗。十天后,她出院,住进了一家老年公寓。张千千说,因为母亲在家里不方便,老年公寓有人护理,而且她每天都会过去陪她聊天。
10月4日,王玉平突然病情加重,送医院抢救无效去世。
母亲最后的日子,张大勇没有见到她,也没能见她最后一面,更没有办法去墓地里祭拜她……2022年10月21日,张大勇回忆起母亲,这个鼓励他寻找梦想的女人,陪伴他大半生,如今也离开了他。
张大勇一个人孤寂地躺在床上,默默地点开了“无名逝者数据库”。
“这是我的梦想。”他说。
(文中张千千为化名)
(澎湃新闻记者 明鹊 视频编辑 吴佳颖 实习生 王佳樱 澎湃新闻)