重点课题 学生担纲
作为校团委“英才俱乐部培育项目”的重点课题,由硕士生张洋及多位本科生组成的“软硬件协同创新小组”,从去年暑假起投入了这项技术的研发。该软件系统的基本思路是:让用户左右手各戴上一只专用手套,利用自然的手指触碰动作,来实现失语患者或者有特殊需要人群的“说话”愿望,以及特殊情况下的文字输入。该系统会通过手套上的触碰传感器,获得用户的手指动作,再通过单片机对信号进行处理,并经蓝牙模块发送到手机上,手机软件会自动分析和记录单词,最终读出词句或作为文本输入进文档。
简单易用 模式多样
同学们总结了这项发明的两大“创新点”。一是简单易用。在人们的日常生活中,大家都有着经常用大拇指去触碰其他手指的习惯,所以,利用这种自然的手指触碰动作来让哑巴“说话”,对于使用者来说不会有任何的技术性或技巧性困难。二是软件模式多样。在手机界面上,用户可以选择多种声音,甚至可以模仿乐器声音,让“FingerSpeak”带给用户更多的惊喜。
“我们的第一步研究是通过手指习惯,规划不同手指的触碰所代表的字母与基本的特殊语义,确认输出、删除整词、删除一个字母等选项的发送方法。”同学们说,他们首先完成了能够识别不同手指的触碰点击,并进行字符录入,然后是着手建立并完善英文发声词库。而在第二阶段的研发中,他们的重要工作是规划手指的不同触碰按键功能,并进行字符与语义录入,还建立并完善了中文发声词库。最后一个步骤则是根据语义录入,进行高级的词库使用训练。
输入规则 需要记忆
负责该项目指导的软件学院副教授琚小明,演示了这项让指尖“说话”的操作法则。
左手的五个手指,从大拇指到小指分别标记为L1、L2、L3、L4、L5;右手的五个手指,从大拇指到小指分别标记为R1、R2、R3、R4、R5。左手触碰方式:L1+L2、L1+L3、L1+L4、L1+L5、L1+L2+L3;右手触碰方式:R1+R2、R1+R3、R1+R4、R1+R5、R1+R2+R3。根据规则定义,不同的触碰组合及顺序,可以代表从0到9的10个数字,还可以代表26个英文字母。“输入规则是需要记忆的,这有点类似开始学习使用五笔字型输入汉字,以后就熟能生巧了。”
本报记者 王蔚