向善而生的AI助盲,让AI多一点,障碍少一点******
有人说,盲人与世界之间,相差的只是一个黎明。在浪潮信息研发人员的心中,失去视力的盲人不会陷入永夜,科技的进步正在力图给每一个人以光明未来。
AI助盲在人工智能赛道上一直是最热门的话题之一。以前,让失明者重见光明依靠的是医学的进步或“奇迹”。而随着以“机器视觉+自然语言理解”为代表的多模态智能技术的爆发式突破,更多的失明者正在借助AI提供的感知、理解与交互能力,以另一种方式重新“看见世界”。
新契机:多模态算法或将造福数以亿计失明者
科学实验表明,在人类获取的外界信息中,来自视觉的占比高达70%~80%,因此基于AI构建机器视觉系统,帮助视障患者拥有对外界环境的视觉感知与视觉理解能力,无疑是最直接有效的解决方案。
一个优秀的AI助盲技术,需要通过智能传感、智能用户意图推理和智能信息呈现的系统化发展,才能构建信息无障碍的交互界面。仅仅依靠“一枝独秀”超越人类水平的单模态人工智能比如计算机视觉技术还远远不够,以“机器视觉+自然语言理解”为代表的多模态算法的突破才是正确的新方向和新契机。
多个模态的交互可以提升AI的感知、理解与交互能力,也为AI理解并帮助残障人士带来了更多可能。浪潮信息研发人员介绍说,多模态算法在AI助盲领域的应用一旦成熟,将能够造福数以亿计的失明者。据世卫组织统计,全球至少22亿人视力受损或失明,而我国是世界上盲人最多的国家,占世界盲人总数的18%-20%,每年新增的盲人数量甚至高达45万。
大挑战:如何看到盲人“眼中”的千人千面
AI助盲看似简单,但多模态算法依然面临重大挑战。
多模态智能算法,营造的是沉浸式人机交互体验。在该领域,盲人视觉问答任务成为学术界研究AI助盲的起点和核心研究方向之一,这项研究已经吸引了全球数以万计的视障患者参与,这些患者们上传自己拍摄的图像数据和相匹配的文本问题,形成了最真实的模型训练数据集。
但是在现有技术条件下,盲人视觉问答任务的精度提升面临巨大挑战:一方面是盲人上传的问题类型很复杂,比如说分辨冰箱里的肉类、咨询药品的服用说明、挑选独特颜色的衬衣、介绍书籍内容等等。
另一方面,由于盲人的特殊性,很难提取面前物体的有效特征。比如盲人在拍照时,经常会产生虚焦的情况,可能上传的照片是模糊的或者没有拍全,或者没拍到关键信息,这就给AI推理增加了难度。
为推动相关研究,来自卡内基梅隆大学等机构的学者们共同构建了一个盲人视觉数据库“VizWiz”,并发起全球多模态视觉问答挑战赛。挑战赛是给定一张盲人拍摄的图片和问题,然后要求给出相应的答案,解决盲人的求助。
另外,盲人的视觉问答还会遭遇到噪声干扰的衍生问题。比如说,盲人逛超市,由于商品外观触感相似,很容易犯错,他可能会拿起一瓶醋却询问酱油的成分表,拿起酸奶却询问牛奶的保质期等等。这种噪声干扰往往会导致现有AI模型失效,没法给出有效信息。
最后,针对不同盲人患者的个性化交互服务以及算法自有的反馈闭环机制,同样也是现阶段的研发难点。
多解法:浪潮信息AI助盲靶向消灭痛点
AI助盲哪怕形式百变,无一例外都是消灭痛点,逐光而行。浪潮信息多模态算法研发团队正在推动多个领域的AI助盲研究,只为帮助盲人“看”到愈发精彩的世界。
在VizWiz官网上公布的2万份求助中,盲人最多的提问就是想知道他们面前的是什么东西,很多情况下这些物品没法靠触觉或嗅觉来做出判断,例如 “这本书书名是什么?”为此研发团队在双流多模态锚点对齐模型的基础上,提出了自监督旋转多模态模型,通过自动修正图像角度及字符语义增强,结合光学字符检测识别技术解决“是什么”的问题。
盲人所拍摄图片模糊、有效信息少?研发团队提出了答案驱动视觉定位与大模型图文匹配结合的算法,并提出多阶段交叉训练策略,具备更充分的常识能力,低质量图像、残缺的信息,依然能够精准的解答用户的求助。
目前浪潮信息研发团队在盲人视觉问答任务VizWiz-VQA上算法精度已领先人类表现9.5个百分点,在AI助盲领域斩获世界冠军两项、亚军两项。
真实场景中的盲人在口述时往往会有口误、歧义、修辞等噪声。为此,研发团队首次提出视觉定位文本去噪推理任务FREC,FREC提供3万图片和超过25万的文本标注,囊括了口误、歧义、主观偏差等多种噪声,还提供噪声纠错、含噪证据等可解释标签。同时,该团队还构建了首个可解释去噪视觉定位模型FCTR,噪声文本描述条件下精度较传统模型提升11个百分点。上述研究成果已发表于ACM Multimedia 2022会议,该会议为国际多媒体领域最顶级会议、也是该领域唯一CCF推荐A类国际会议。
在智能交互研究方面上,浪潮信息研发团队构建了可解释智能体视觉交互问答任务AI-VQA,同时给出首个智能体交互行为理解算法模型ARE。该研究成果已发表于ACM Multimedia 2022会议。该研究项目的底层技术未来可广泛应用于AI医疗诊断、故事续写、剧情推理、危情告警、智能政务等多模态交互推理场景。
眼球虽然对温度并不敏感,但浪潮信息的研发团队,却在努力让盲人能“看”到科技的温度,也希望吸引更多人一起推动人工智能技术在AI助盲、AI反诈、AI诊疗、AI灾情预警等更多场景中的落地。有AI无碍,跨越山海。科技的伟大之处不仅仅在于改变世界,更重要的是如何造福人类,让更多的不可能变成可能。当科技成为人的延伸,当AI充满人性光辉,我们终将在瞬息万变的科技浪潮中感受到更加细腻温柔的善意,见证着更加光明宏大的远方。
课堂内外,他们用思想的力量凝心铸魂******
【新时代新征程新伟业】
课堂内外,他们用思想的力量凝心铸魂
——广大高校师生推动党的二十大精神“学起来”“讲起来”“用起来”
光明日报记者 周世祥 姚晓丹 刘博超
“通过邀请好友赛、双人赛、四人赛等形式,可以解锁答题勋章、抽取幸运奖品,以赛促学,形式灵活。在比赛过程中,不仅增进了同学间的友谊,更加深了对党的二十大报告和党章的理解。”靠着自己的实力“通关”后,北京理工大学外国语学院硕士研究生王禄玺表示。据悉,为引导广大青年学生深入学习党的二十大报告和党章,11月21日至12月30日,北理工面向全体学生开展“学习党的二十大精神”网络知识竞赛,引发了学生的广泛关注和参与。
“学起来”“讲起来”“用起来”……冬日的高校校园寒意袭人,但在教室里、广场上、党旗下、屏幕前,一次次“开讲了”点燃的是青春的热情,一次次“深入学”启迪的是智慧的头脑,投身科研、躬耕教学、精于专业建设,高校师生们用奋斗检验着学懂弄通的成果,将党的二十大报告中的真知灼见带入“双一流”建设和新时代教育高质量发展改革中,砥砺青春,踔厉奋发,勇毅前行,书写属于时代的新篇章。
“学起来” 直击理论热点,学懂弄通做实
5分钟,也许只是喝一杯水、看一篇新闻、聊两句家常的时间,在大学生活中可能很“碎片化”“不起眼”。但是在中国政法大学,5分钟可以上完一节有趣有益的“微党课”。
“最美课堂”获得者黄东,国际法学专家霍政欣,党史专家胡尚元、吴韵曦……这些“超豪华”的教师阵容共同组成了《法言微语二十大300秒微党课》,5分钟时间,一两个关键词,学校用“小而精”的微课堂带领师生学懂弄通党的二十大精神。
什么是中国式现代化?如何全面贯彻习近平新时代中国特色社会主义思想?如何弘扬伟大建党精神?一个个重要的概念和知识点在老师们的讲述中深入浅出,潜移默化地让学生听懂、记住,筑牢思想根基。10月16日至今,中国政法大学党委组建二十大宣讲团,组织多次专题理论学习和宣讲,除了《法言微语二十大300秒微党课》之外,党的二十大“融宣讲”专栏,思政教师讲党课、“百场青春思政课”系列专题思政教育活动、青春讲师团“青椒思政小课堂”专场系列宣讲,“二十大和我的人生路”主题党团日活动等,共同组成了“融宣讲”格局,并充分利用文字、图片、视频等形式,线上线下相结合,打造校报、微信、微博、新闻网、社会媒体等各类媒体平台互联互通互动的融媒体矩阵,增强党的二十大精神宣传和理论学习的针对性、吸引力、实效性。
除了来自教师的讲述,中国政法大学还营造了朋辈间的“共同学习”“共同进步”氛围。在“扬帆正当时 是友亦为师”朋辈系列宣讲中,围绕学习宣传党的二十大精神,7位法大学子作为朋辈讲师,为同学们分享了他们个人独特的经历与成长的故事,把法学的基本理念融入个人成长的经历中,让同学们对党的二十大精神理解更透彻。
为了系统深入学好百年党史,北京理工大学机车学院硕士生邹雨初和“跨专业”团队小伙伴们最近致力的一件事,是把党史知识打造成一个知识图谱。
“运用深度学习捕捉数据方式、图谱化的呈现形式,我们提炼出来人物、事件、组织、旧址、文献这5类单元实体,通过把这5类单元实体进行整合,总结出了党史学习专业领域的14种相关关系,例如‘人物—事件’等等,并通过这一套单元实体、相关关系搭建出一个基础的自然语言处理的网络。我们用知识图谱加自然语言处理展现学习内容的方式,打造了‘知识图谱+党史’学习平台。”邹雨初表示,平台今后将向高校学生、文史领域爱好者研究者等敞开大门,将党史领域主观的“关系”数据化、可视化,搭建起知识之网,让党史学习教育的深度和广度得到拓展。
“讲起来” 强化精神指引,增强理想信念
除了“深入学”,各大高校近日也在以丰富多彩的形式,结合师生学习工作实际,开展参观、朗诵、答题等活动,将党的二十大精神传达好、领悟透。
在北京航空航天大学航空科学与工程学院,21级硕士生党支部开展联合主题党日活动,前往国家博物馆参观“人格的力量——中国共产党人的家国情怀”主题展览。170余件各个历史时期中国共产党党员的手稿、家信、遗书等珍贵文献以及各类实物,包括李大钊的《狱中自述》、何叔衡在长征出发前夕送给林伯渠的毛衣、方志敏嘱托胡逸民把手稿带出监狱的亲笔信、王继才夫妇在开山岛守岛时升起的国旗、钟南山赴武汉的高铁票等呈现在学生面前。
“每件展品都饱含中国共产党人不畏艰险、不惧牺牲、不懈奋斗的家国情怀,我们青年党员应该传承革命精神,汲取先辈们的人格力量,奋发有为,以‘赶考’的清醒和坚定答好新时代的答卷。”北航学生纷纷有感而发。
为迅速掀起学习宣传贯彻党的二十大精神热潮,激励广大师生凝心聚力,踔厉奋发,对外经贸大学举办了“喜庆二十大 建功新时代”主题朗诵大赛。主题朗诵以惠园诗社的诗《山村喜事》开场后,来自该校各分工会的19支参赛队伍倾情演出。《红船的方向》展现了对伟大建党精神的深情诠释,《我心中那面神圣的旗帜》凝聚起全体党员对党的赤诚,《月光下的中国》《亲爱的党》等朗诵更是以丰富多彩的形式表达着青年学子对祖国最深沉的热爱,与党同呼吸、共命运、心连心的真挚情感。
“诗歌朗诵会是一场生动有效的党课,也是一次别开生面的大思政课。各个学院、各个职能部门都把党的二十大新思想、新提法、新表述及时且深刻地表达出来,从党史、新中国史、改革开放史、社会主义发展史、中华民族发展史中汲取营养,给大家进行了一场深刻的思想教育。”对外经贸大学校长夏文斌说。
“把党的二十大精神学习与知识竞赛有机结合,可以使广大教师在挑战与竞答中深刻领会和把握党的二十大的精神实质和丰富内涵,既增强了建设社会主义现代化强国的理想信念,同时也明确了建功新时代、奋进新征程的行动指引。”北京理工大学马克思主义学院青年教师张虹谈道。11月21日至30日,学校面向全校教职员工,组织开展了“喜庆二十大 奋进新征程”线上知识竞赛,活动获得了教职员工的好评。
“用起来” 统筹三大战略,服务重大需求
党的二十大报告中统筹教育、科技、人才发展,科教兴国、人才强国、创新驱动发展战略,记者注意到,在不少高校,科研更立足于国家社会发展重大需求,攻关更具前沿性、引领性的课题项目;科技赋能育人以新的想象空间,让拔尖创新人才成长土壤更为肥沃。
汽车能在天上飞了?11月17日,北京理工大学、北京理工大学重庆创新中心、酷黑科技(北京)有限公司与重庆市联合发布了项昌乐院士团队研发的全球首款载人级两座智能分体式飞行汽车工程样车,可实现人员、货物空地转运的无缝衔接,具备更大的灵活性。飞行汽车技术负责人、机械与车辆学院副院长王伟达教授表示,党的二十大报告为科技工作者指明了前进方向,在科技强国、交通强国战略和未来立体交通装备重大需求指引下,团队加强“原创性引领性科技攻关”,工程样车研制与试验验证近期取得关键进展。下一步,团队将加快推进成果转化和示范运行,将科技创新书写在新型立体城市空间中。
学生对上课内容如果有问题,或者愿意深入学习,不用加好友,随时可以在线“@”老师;上课如有知识点没听懂,可以随时回看课程视频;检验学生上网课知识掌握情况,教师可“一键”生成题目,随时发起测试,方便快捷。这就是“延河课堂”上线后北理工师生们的真实体验。
“一是打破了物理空间限制,北理工不少研究生,有时需要外出参加一些科创比赛,可能就会错过一两节课程,运用延河课堂可以随时随地学习;二是破除了时间的限制,在考前复习时方便及时查漏补缺;三是PPT有实时投屏功能,即使坐在后排也不用担心PPT字小看不清、拍不到了。”邹雨初表示。
“今后,我们还将推动‘数字图谱’建设,比如高等数学,从最开始微积分到复变函数,是一串知识点,我们把知识点串起来,构成了属于这个科目的一张知识网。这个环节打通以后,学生们想学什么知识点、整体脉络如何,都可以看到,一目了然。对于教师而言,更能准确定位所教知识和学生已学内容、今后深造方向的关系,对课程的重点把握得更好;对于专业责任教授、教学管理部门来讲,可以更好了解到整个专业的毕业要求有无全面覆盖这些知识内容,进一步优化课程体系。”北京理工大学教务部副部长肖煊表示。
“北理工基于智联网技术框架重塑‘人机物环’关系,构建三维空间与时间及知识两个维度协同融合的‘五维教育’,全面构建全人化人才培养图谱,通过构建素养图谱、知识图谱、能力图谱、素质图谱,四谱合一,重塑教育生态、赋能教育教学,推动全人化人才培养在内容、手段、模式、体系等方面的综合变革。”校党委书记张军表示,“党的二十大之后,北理工还要继续建设好智能化教学管理与服务平台,利用现代技术加快推动人才培养模式改革,实现规模化教育与个性化培养的有机结合,推进数字化人才培养,把数字资源的静态势能转化为教育改革的强大动能。”
《光明日报》( 2022年12月27日 07版)