截至2020年，中国听力残障人士已达到2700万。而目前，以电视、电脑、手机为载体的各类新闻资讯、文娱节目，作为听障人士的第一语音的手语的协助缺乏严重。2021年，国家发展改革委、国家广播电视总局等21部门联合发布关于印发《“十四五”公共服务规划》的通知，强调无障碍环境是城市文明标志之一。为了关爱听障人士，营造浓厚的关怀氛围，县级以上人民政府及其有关部门发布重要政府信息和与残疾人相关的信息，应当创造条件提供语音文字和手语提示等信息交流服务。

目前，市场上的电视节目绝大部分都没有添加手语老师进行实时翻译，因为真人手语翻译有以下痛点：1.手语解说可懂度不到60%。2.不同手语老师翻译的手语可能会包含不同的语义，具体表为手语表达与汉语表达语序不同：现有手语解说大多是按汉语正常语序编排，不符合自然手语的规范和聋人的表达习惯。3.省略词汇不恰当，影响意思表达：手语中没有虚词和量词，从汉语转换为手语时需要删减词，但是不恰当的省略会导致意思理解上有很大偏差。4.手语要素的组成，不仅仅只有手部动作，现有手语解说的表情、口动不够明显，且窗口较小，导致非手控信息无法看清，严重影响听障人群的理解。

广播级手语数智人生产系统致力于打造首个聋人真正可懂的广播级手语数智人，手语表达能力接近真人手语主播。其特点有以下几点：1.语言体系准确翻译：将健听人语言准确翻译转化为聋人语言；2.面部表情唇动逼真：手语为画面语言，结合面部表情及唇动，可以更好地理解手语；3.新词热词快速适配：能够快速补充新词热词并上线，无需重复录制；4.实时翻译：通过音转文、文字翻译手语、手语叠加视频，实现一个节目包含视频、文字、语音、手语这几大要素。

广播级手语数智人生产系统采用ASR和OCR技术，即自动语音识别技术，是一种将人的语音转换为文本的技术。其目标就是将人类语言中的词汇内容转换为计算机可读的输入。具体如下：

第一步，建立声学模型。声学模型的主流系统大多采用隐马尔科夫模型进行建模。对于同一个词，由于每个人的发音、语调、语速等都各不相同，为了能让机器识别出更多的人，声学模型建立过程中需要录入大量的原始用户声音，提取出其中的特征进行处理，并建立声学模型数据库。在声学训练步骤当中估算出声学模型的参数，再通过循环训练和对齐相位。在这一步中，大数据的重要性就体现出来了。

第二步，建立语言模型。语言模型包括由识别语音命令构成的语法网络或者由统计方法构成的语言模型。根据语言的客观事实，进行语言抽象数学建模，这是一种对应关系。语言模型可以很好地调整声学模型所得到的不合逻辑的词，使得识别结果变得通顺且正确，这对于自然语音的信息处理也有着重要的意义。

第三步，进行语音识别。前面两步都是需要预先做好的，最终形成的数据库将存储在设备本地或者云端。而这一步则是实时的语音识别过程。先将用户的语音输入进行编码和特征提取，再将提取到的特征拿到声学模型库中去匹配得到单个的单词，然后再拿到语言模型库中去查询，就可以得到最匹配的词了。该技术将转换完成的文本输入到手语翻译引擎，再通过手语要素序列生成手控信息和非手控信息等，最终通过高精度模型驱动，生成超写实手语数智人。合成的视频如果更接近真人且感情表达丰富，那么观众会觉得这不是一个冷冰冰的机器，而是一个有感情的“人”，会更容易接受AI主播的存在，让观众的注意力从AI主播身上，转到新闻或电视节目的内容上。

使用场景：1.用于新闻或者赛事直播，实时生成手语视频；2.大屏、电视剧、电影、新媒体节目后期制作，生成与之对应的手语视频。

实施单位：重庆广电实业发展有限责任公司

分享让更多人看到