AI赋能特殊教育 让聋生“听得见”盲生“看得见”

2019-06-13

  “一看这个图案我们就想到东北,是吧?为什么这个图案是这种感觉的呢?背后一定是有原因的……”在北京联合大学特殊教育学院的一堂艺术设计专业课上,老师讲话的所有语音内容借助人工智能技术逐字逐句转换成文字显示在屏幕上。台下,聋生们在“PPT+手语+字幕”三种信息接收环境下,不仅“听得”津津有味,还时不时地与老师进行互动,这是人工智能技术进入特殊教育课堂所带来的改变。

  艺术设计专业教师正在授课

  AI助力教学难点突破 提升特教生学习效率

  北京联合大学特殊教育学院是北京市唯一一所集中开展残疾人高等教育的学院。目前学院学生有70%为残疾学生,残疾学生中的70%为听力残疾。

  北京联合大学特殊教育学院教学副院长徐娟介绍,过去学校针对聋生教学时,采用的教学方式主要是手语加PPT,存在一定的局限性。比如,一些抽象名词、专业术语通过手语很难表达出来,而且手语像方言一样具有一定的地域差异,学生来自全国各地,对有些词汇的理解可能是不一样的,在沟通交流上容易产生一些误解。“此外,手语表达传输的效率相对较低,老师边讲课边打手语,一节课能够传递的信息量非常有限,引入了人工智能语音转换之后,在授课过程中,老师同样要用手语,但是提供了多种信息接收渠道,可以让学生更加高效、准确地把握到学习的信息。”

  同时,人工智能语音转换功能的引入也能够照顾到个体差异,满足不同学生的需要,徐娟介绍,学生听力残疾的程度不一样,语言理解能力也存在一定的差别。“全聋的孩子比较喜欢看手语,语言能力相对来说弱一些,你让他们看整篇文字未必能看得懂,但是他们可以结合字幕上的一些关键词对应相应的讲课内容。对于一些语言能力比较好的孩子来说,通过字幕他们接收到的信息则是相对完整和丰富的。”另外,这些字幕都可以在课后下载下来作为学生的学习资源再度利用。

  聋生是把语音转换成字幕来看,盲生对人工智能语音转换的需求则正好相反,需要把文字转换成语音来听。北京联合大学特殊教育学院为每位盲生都配备了阅读终端产品,帮助盲生畅听任何电子书籍。同时为每位盲生都配备一台专用电脑,并安装了读屏软件,学生可以听到屏幕上的信息进而开始相关操作。

  学校针灸推拿专业主要面向视力障碍人群开设,实践教学中心主任张琳介绍,视力障碍人群学习时通常有三方面的障碍:首先,他们的学习材料非常厚重,不便于携带,而且普通的一本书翻译成盲文书就会是四五本、五六本,查阅起来很不方便;第二个障碍是,他们通过触摸所掌握的信息有时候是不全的,需要翻书才能和触摸到的东西形成一种联系;第三个障碍是,盲生对于图形图像的学习存在一定困难。人工智能技术的引入使得该专业当中的很多教学难点都可以得到突破。

  药斗上的语音二维码点读功能示意图

  众所周知,盲生除了看不见以外,他们的听觉和触觉都是比较灵敏的,因而学校开发制作了一系列教具,将触觉和听觉有效联系起来。在大量的学习资料和教具上,北京联合大学特殊教育学院都进行了语音二维码的铺设,例如在中药药斗上设置二维码标识,通过点读笔即可读出该药物的名称、产地、炮制方法、功效等,为学生的预习、复习和自学提供支持,这些语音库都由学校自己来开发。针灸推拿专业研一学生韩涛表示:“我们需要学好几百种中药,有了这个智能的仪器设备之后,我们就可以提高学习效率,更清楚地认识这些药材的性能和形态。”

  2D心电图示意图

  针对盲生学习图形图表存在障碍这一难点,学院也借助相关软件对这些平面图像进行了立体化建模,将图像形成2D凸图,并辅以点读技术进行图像内容解释。“假设学习心电图,过去跟医学专业的学生讲一些知识点的时候,他们理解起来其实非常困难,我们现在把心电图做成了类似盲文那种2D凸起的图,通过触摸,他们就知道大概是什么形状,怎么样的起伏和波动。”徐娟说。

用AI点亮特殊教育 为特教生打造无障碍求学环境


浏览: