一、面向机器翻译的中国手语的理解与合成（论文文献综述）
蒲俊福[1]（2020）在《基于深度学习的视频手语识别研究》文中指出手语是聋哑人社区最重要的沟通交流方式之一,为了解决听人和聋哑人之间无障碍交流的问题,自动手语识别技术应运而生。手语识别是一个典型的跨学科问题,其目标是将手语动作转换成更易理解的自然语言文本,研究内容涉及计算机视觉、自然语言处理、多媒体分析等众多领域。近年来,深度学习在手语识别领域取得了广泛成功,但手语识别中的挑战与困难仍然存在。首先,手语由手型和手部运动轨迹来表征,如何设计能够充分描述手语特性的手型及轨迹特征是亟需解决的问题。其次,由于标注成本较高,手语数据往往缺乏时序上的精确标注,难以直接应用传统端到端的深度神经网络优化策略。此外,规模受限的手语数据也为深度学习算法的开发带来挑战。针对上述问题,本文结合深度学习技术提出了一系列方法,用于解决手语识别中的难点,其主要工作及创新点如下:（1）提出了一种用于解决手语中手型和手部运动轨迹表征的多模态手语特征表达方法,并实现了孤立词手语识别。该方法主要由两个支路构成,分别用于表征手部形状和手部运动轨迹。手型特征由三维卷积神经网络提取,手部运动轨迹特征通过形状上下文得到稠密的特征矩阵,然后使用卷积神经网络提取更为鲁棒的轨迹特征描述,使用支持向量机对融合后的特征进行分类。（2）提出了一种基于三维残差网络和空洞卷积的手语识别网络模型,采用时序空洞卷积进行序列建模,有效地提升了网络的推理速度,缓解了由循环神经网络带来的时序依赖问题,并采用迭代优化的策略,逐步提升视觉特征提取器的表征能力。（3）提出了一种使用迭代训练策略进行优化的对齐网络,在同一模型框架下同时嵌入基于连接时序分类的解码器和基于长短时记忆的解码器,并根据最大似然准则进行联合优化。利用可求导的软动态时间规整算法对两种解码结果进行对齐,达到解码结果一致性的约束。同时,利用规整的对齐路径,提出一种迭代训练策略对网络进行优化,使整个系统性能达到最优。解码时,根据连接时序分类解码器得到若干候选结果,联合长短时记忆解码器的生成概率进行重排序,获得概率最大的识别语句作为最终的识别结果。（4）提出了基于增广学习的视频手语识别方法。一方面,从连续手语识别评价指标出发,对手语标注和视频随机进行删除、替换、插入操作,获得全新的标注数据,根据这些数据进行跨模态学习,挖掘生成数据和原始数据之间的关系。另一方面,从多语言的设置出发,提出一种统一的多语言手语识别框架,进行多语言跨语种联合训练,在实现多语言手语识别的同时,极大地扩增了手语数据,能够完全超过在单一语种下独立训练的性能。
冯蕙榕[2]（2020）在《基于感官代偿的听障大学生的生活辅助产品情感设计研究》文中提出
王文通[3]（2020）在《中国手语光场构建及识别研究》文中研究指明手语是一种依靠动作/视觉实现交际的特殊语言,能够帮助有听力障碍的人进行必要的交际和思想交流。世界聋人联合会提供的数据显示,世界上有大约7000万人存在听力障碍,但由于手语教育资源有限,其中约5600万听力障碍者无法接受基本的教育,即使使用纸和笔也无法进行有效的沟通。据统计,目前我国至少有2057万听力障碍者,而手语翻译人员,尤其是高水平的手语翻译人员极为匮乏,这对听力障碍者接受信息、融入社会主体造成极大的困难。随着上世纪九十年代计算机相关技术如模式识别、机器学习、图像处理和计算机视觉等领域的迅速发展,动态手势（手语）识别的研究逐渐成为热点问题,取得了大量有意义的研究成果。但是对于实际应用而言,作为细分类（fine-grained）视频识别任务的一种,动态手势（手语）识别仍然是一个很具挑战性的难题。背景复杂、光照条件多样、拍摄角度变化、手势遮挡等问题给动态手势（手语）的研究带来了巨大的挑战。手势形态的复杂多变、手形和关节的细微变化进一步加大了动态手势识别任务的困难。随着手语识别研究的不断深入,对手语数据质量和规模的需求不断提高,国内外多种规模和特点的手语数据集陆续推出,但是尚未有基于光场的手语数据集。传统的数据采集方法通过二维窗口去观测三维世界,丢失了场景空间多个维度的视觉信息,相比传统数据形式,光场数据是场景空间中光线集合的完备表示,可以捕捉到更多的空间几何信息。本论文建立中国手语动态光场数据库,在深度学习理论的基础上,提出并实现基于注意力机制的手语识别方法和基于生成对抗迁移学习的手语识别方法。本文的主要工作和贡献包括以下几个方面:第一,建立了一个中国手语的光场数据集。针对光场采集环境中,相机数量庞大、采集冗余信息过多的问题,提出一种相机排布优化模型。在设定实验环境下,采集不同光照模式不同人的手语光场数据,并对数据集进行标定和预处理。第二,提出一种基于注意力机制的多流卷积网络（AEpitome-Net）用于手语识别。AEpitome-Net包括形状分支和运动分支两个子网络,分支网络通过自注意力模块增强时序和空序的显着特征,通过混合注意力模块互补融合分支内的两流特征,并将分支网络最后一个卷积层的特征拼接之后进行分类获得Epitome级的识别结果,最后将所有Epitome的识别结果进行投票融合得出手势视频的分类结果。此模型具有很好的鲁棒性。第三,提出双向生成对抗的迁移学习模型,实现虚拟手语光场数据与真实手语光场数据的迁移学习。通过双向生成对抗网络,将真实手语数据迁移到虚拟手语数据上,同时拟合出虚拟手语数据并重建恢复出真实手语数据,然后将它们分别输入两个分类网络中,识别出手语的动作类别。在手语光场数据识别任务上,取得了比较好的识别效果。
梁智杰[4]（2019）在《聋哑人手语识别关键技术研究》文中提出残障人士这一特殊群体的数量非常庞大,伴随着教育需求的日益增长,让教育发展的成果更多、更公平地惠及残障人士是构建开放融合式现代教育体系的必然趋势。科技馆作为残障人士非正式学习的主要场所,是他们接受教育的重要途径之一。其中,听力受损及语言残障人群面临的交流障碍主要包括获取展品信息困难和科技馆工作人员无法理解作为聋哑人主要沟通方式的手语。因此,利用新兴信息技术对手语进行识别有助于聋哑人群与健听人之间进行顺畅的沟通,对于构建和谐社会以及完善全民教育体系具有重要的现实意义。同时,作为人类身体最直观的表达,手语的应用有助于人机交互向更加自然、便捷的方式升级。因此手语识别是当今人工智能领域的研究热点。近年来,作为新一波人工智能浪潮的排头兵,深度学习为模式识别和计算机视觉领域注入了新的活力。伴随着Kinect V2等新型体感交互设备的普及应用,手语识别研究也迎来了新的契机。当前手语的识别主要存在以下几个具有挑战性的关键问题:（1）聋哑人手语数据集的有效性难以保证。一方面,为了使训练的模型能够适应面向非特定人的手语识别,需要大量采集不同人的演示数据;另一方面,很少有研究能够使用真正的聋人数据集,在使用规范手语数据的情况下,采集到的数据规模较小、容错能力差,差异性实际上又被忽略。（2）手语的实际应用场景往往比较复杂,背景和光照等客观因素对算法的识别效果有较大的干扰。（3）与传统的手势相比,手语序列存在着表意词丰富、动作灵活多变等特点,并且严重的肢体遮挡现象也较为常见,这就使得设计有辨识性的手语表征较为困难。（4）手语识别的最终目标是实现连续手语的识别,然而,连续手语的词与词之间存在不属于任何一个手语词的过渡冗余数据,这会严重影响连续手语识别的精度。基于上述背景,本文紧扣深度学习聋哑人手语识别这一研究立足点,对三维卷积神经网络、循环神经网络、残差网络、注意力机制以及多模式融合等模型进行了重点的探索,并基于这些模型具体实现了动态手语关键词和连续手语序列的识别,取得了一些富有实际意义的研究成果:1.针对问题（1）,本文对手语识别方法随着交互设备的不断演变所经历的几个阶段进行了梳理,对识别精确度和交互体验等要素综合考量后,提出了基于计算机视觉和新一代体感交互设备的手语识别方案。针对特殊的光照和背景噪声干扰等条件,使用Kinect V2传感器探索出了多模态同源数据采集方案,并构建了自主的聋哑人手语公开数据集。2.针对问题（2）,本文提出了一种融合多模态同源数据的三维卷积神经网络手语识别方法。该方法借助深层架构强大的端到端自主学习能力来取代传统的人工特征选取;通过构建双列深度神经网络,分别从红外图像和轮廓图像中逐层抽取和学习动态手语中具有区分性的时空特征,并利用骨骼数据对两种图像数据中的上肢运动轨迹进行准确的定位。最后,采用深度学习的融合策略对两列子网络的分类结果进行加权融合,从而有效避免单列网络分类器由于数据丢失所引起的分类错误,使模型对背景噪声和因不同光照条件而产生的干扰具有较高的准确性。3.针对问题（3）,本文提出了一种基于宽残差和可卷积长短时记忆网络的融合式框架对手语序列进行精确的表征。该框架首先以三维卷积神经网络作为视频数据的特征提取器,以产生能够反映手语特点的短时空特征。而后,以双向可卷积长短时记忆网络对这些固定长度的短时空特征进行充分的时空编码,进一步形成手语的全局关联信息。在模型的后半段,引入堆叠的宽残差模块对特征进准确的分类,并最终通过融合策略对两种独立的数据分类结果进行融合,从而有效提高了模型对手语的辨识能力。4.针对问题（4）,文本提出了一种基于可卷积长短时记忆网络注意力机制的连续手语识别方法。面对需要处理的连续手语,该方法使用伪三维残差网络结合平衡铰链损失函数对长序列中的过渡帧进行检测,判定出手语关键词的时间边界。在手语识别阶段,以伪残差网络从视频流中提取手语的空间特征和短时动态特征:使用融合注意力机制的可卷积长短时记忆网络对短时空特征进行编码,以充分获取手语的上下文长时空信息;在特征分类部分,引入了宽残差模块对空间特征进行精确表征从而得到连续手语的最终识别结果。
吴蕊珠,李晗静,吕会华,姚登峰[5]（2019）在《面向ELAN软件的手语汉语平行语料库构建》文中指出建立手语汉语平行语料库的目的是用于机器翻译和语言对比研究,并且能够系统地保存手语资源,保护手语和聋人文化。手语汉语平行语料库存储的内容主要包括手语视频、被采集者信息和标注者信息,以及通过多媒体标注软件ELAN转写的十四层标注信息,包括手控和非手控信息。该文采用基于向量空间的余弦相似性算法,实现了用手语语料相似度的计算来帮助语料库去重,并取得了较明显的效果;同时用此算法进行专家相似度测试以确保语料库的质量。
姚登峰,江铭虎,鲍泓,李晗静,阿布都克力木·阿布力孜[6]（2019）在《手语计算30年:回顾与展望》文中认为手语的自然语言处理是计算机学科中的一项重要任务.目前随着信息技术的飞速发展,以文本和语音为主要载体的传统语言计算的工作重点已从编码、输入方法和字音的研究逐渐转移到语法层面,并进入深度计算的阶段.然而手语信息处理却严重滞后,处于空白起步阶段.究其原因,主要是缺乏用于机器学习的具有一定规模的手语语料库资源,同时传统的语言计算技术也存在不足,这些都阻碍了手语机器翻译、手语问答系统、手语信息检索等信息处理的应用研究.该文首先阐述了手语计算与传统语言计算的本质差异在于空间建模,这种差异导致了前者核心任务是单信道与多信道转换,后者根本任务是消歧.从词法、句法、语义、语用、应用等层面对手语计算进行了回顾,重点介绍了手语机器翻译和分类词谓语计算,指出分类词谓语是手语计算的关键以及取得突破的切入点.从展望的角度,认为互联网时代体感设备的出现、认知神经科学的兴起、深度学习的进展等新技术为手语计算带来了新的机遇.将手语计算与传统语言计算进行比较,分析了手语计算的趋势和未来的研究方向,手语的认知计算是从手势的物理特征到语义表征的映射转换过程,其计算趋势是填补音韵特征、语义单元这样的中间步骤,避免直接从底层特征得到语义概念,关注在手语行为与语言特征的关系上进行机器学习,建立融合空间特征的统计学习模型.未来研究方向包括资源建设、文景转换、隐喻理解,其中文景转换有助于实现空间信息抽取,即物体的空间方向、位置等信息,结合知识库消除自然语言的模糊性,进而实现三维场景构建.指出手语计算正从萌芽期过渡到发展期,若取得重大突破,手语计算将扩展语言计算体系,推动人工智能的发展.
吴蕊珠,李晗静[7]（2018）在《手语机器翻译综述》文中认为手语是聋人的母语,也是一种自然语言,是聋人与听人的沟通媒介,因此,手语翻译在沟通中尤为重要。随着人工智能时代的到来,手语机器翻译也引起了学术界的关注。手语机器翻译虽然刚刚起步,但其也随着机器翻译的大浪潮前进着。文中从手语基于规则、基于统计、基于神经网络的机器翻译入手来介绍手语机器翻译的历史发展过程。
艾山江·亚生[8]（2018）在《面向手语信息处理的维吾尔文本语料库构建技术的研究》文中认为聋哑人（听障人）是一个特殊的“少数民族”。手语是聋哑人（听障人）学习、生活及融入主流社会的一种特殊的交际工具。21世纪以来,我国手语语言文字资源建设逐步向专用型的文本语料库方向发展。中国手语研究是在自然语言处理、深度学习、文本挖掘、机器学习等领域中也需要深入研究和分析。随着中国手语的不断发展,我国少数民族手语研究也同步迈下了新的研究步伐。针对我国少数民族手语中的维吾尔自然手语信息处理研究而言,在中国手语的基础上,将维吾尔文本信息转换成手语信息序列研究是维吾尔自然手语文本语料库建立研究的重点研究对象。因此在自然科学理论的基础上提出关于面向手语信息处理的维吾尔文本语料库构建技术是对于我国少数民族自然手语研究、手语合成研究以及手语文本处理研究方面起到客观性作用。从学术的角度看,手语文本语料库的构建是深入研究文本处理技术,进一步提高聋哑人的手语研究效果的重要环节。因此,本文以少数民族手语教学的规范化研究提供数据资源、促进国家通用语言教学的普遍性、为聋哑人提供学习国语平台、为聋哑人提供更好的学习新知识的环境与接触外世界的平台、为聋哑人语言教育提供教学资源、教学设计规划、课堂教学方案与学习评估,为将维吾尔文本信息转换为基于中国手语的维吾尔手语信息序列提供可靠的科学依据、为基于维吾尔文本的手语合成研究提供必要的数据和技术支持为主要研究目标的学术性研究课题。针对建立文本语料库而言,采集训练文本语料是作为建立语料库研究的首要重点工作之一,手语文本语料的采集研究是需要大量的数据来源、文本资源、人力、精力以及时间的过程。本文为了保证采集文本语料研究的正规性及可靠性,更重视选取文本数据的来源并通过对聋哑学校的课本材料进行采集、整理、统计研究。此外,为了解决在文本转换研究过程中如何表示“手势语词典”之外的词汇信息的问题,通过新增训练词元库来实现一对多信息搜索与匹配,初步解决原有训练文本在语料库中在使用过程中产生的弊端问题,并通过此词元库来扩大文本语料数据的范围。在维吾尔文本中,词汇的弱化现象和拼写错误现象是比较常见的语法问题之一。因此在研究的过程中,对这些词汇信息进行整理与统计是有必要的。本文的研究重点是对于训练文本语料进行词干切分研究及文本转换。通过采用基于有限状态自动机算法的词干切分方法初步地实现了维吾尔语词干提取。此外,本文在词干切分、手语文本信息转换研究以及指导思想的基础上,初步提出了面向中国手语信息处理的维吾尔文本语料库的构建技术及方法,并最后对此所提出的技术和方法进行实验和测试达到了预期研究目标。
姚登峰,江铭虎,阿布都克力木·阿布力孜,李晗静,哈里旦木·阿布都克里木,夏娣娜[9]（2015）在《中国手语信息处理述评》文中认为为了能够有效地对中国手语进行信息处理,需要针对中国手语的特性提出相应的信息处理方案。该文根据国内外的研究进展情况,从基于规则和基于语料库的角度,讨论了中国手语信息处理过程中遇到的有关问题,并提出可借鉴的中国手语信息处理技术,同时从中国手语自身的词法、句法出发,参考国外手语语言学的最新研究成果,讨论了中国手语信息处理中有关信息表征、理解、生成等问题。最后指出未来手语的信息处理将会更多地建立在跨学科、多模式的基础之上,该项研究将有力地促进信息无障碍技术的发展。
刘剑[10]（2014）在《超文本语境下的翻译形态变化研究》文中研究说明超文本指包含两种以上的符号系统并由超链接连接各符号元素的多线性电子文本。对于翻译活动而言,一方面,由无数超文本（网页）构成的互联网构成了译者新的工作环境,另一方面,现阶段,以超文本作为工作对象的“本地化”已经成为全球语言服务的主流,人类的翻译活动已经发生了深刻的变化。本研究主要以传统翻译模式作为比照,探讨了超文本语境下翻译形态的变化,并分析了这种变化对翻译活动与翻译研究带来的深远影响,在此基础上,还尝试从信息视角透过“多维符号转换”现象去解析翻译的过程及其本质,并进一步分析了“符际翻译”拓展到“非语言符号转换”的可行性。本论文重点研究了以下内容：超文本的主要特点及其对现代翻译活动的影响、超文本语境下翻译伦理的变化、超文本语境下技术因素对翻译的影响、本地化中“多维符号转换”的特点及规律、符际翻译拓展到“非语言符号转换”的可行性等。研究结果表明,相对于传统纸质文本翻译,超文本语境下的翻译在文本形态、翻译伦理、翻译技术、翻译过程、翻译主体、翻译模式、译者认知等方面都发生了较大的变化。由于翻译工具（翻译记忆工具与机器翻译等）的广泛应用以及文本的多模态性质,译者的认知过程也已发生了改变。基于超文本语境下“多维符号转换”现象的分析以及信息视角下对“符际翻译”的研究表明,翻译的本质其实就是“信息跨越符号边界的流动”,信息是符号转换的“内核”,不仅自然语言符号之间可以相互转换,非自然语言符号之间也可以进行转换,不同的符号系统之间也可以实现“符际转换”。“翻译”与“语言”的概念原本就适用于非自然语言符号,将“符际翻译”拓展到“非语言符号转换”具有一定的可行性。超文本的多线性、虚拟性、多模态、交互性等特征对翻译活动产生了重要影响。超文本的多线性特征使得需要翻译的内容被计算机代码分割,造成了翻译的“去语境化”,使翻译变得更为困难,容易造成误译。交互性特征则改变了传统翻译主体模式中“作者-译者-读者”之间的关系。译文的“虚拟出版”则使得超文本语境下的翻译必须考虑搜索引擎优化,而这又直接影响到译者对译文的选择。在“符号消费”的背景下,超文本语境下的翻译更加关注数字产品的“用户体验”,用户体验成为翻译的重要目标。译者的工作状态在超文本语境下也发生了较大的变化,译者工作日趋复杂化,对互联网的依赖日益加深。在超文本语境下,翻译伦理也发生了改变。翻译伦理研究实际上经历了由“忠实伦理”、“差异伦理”到“翻译职业伦理”研究的转变。超文本语境下,作者与译者的集体化、“国际化”步骤对原文的“阉割”、本地化对目的语文化的“一味妥协”、众包翻译对翻译主体关系的颠覆等,都对翻译伦理构成了直接挑战。随着翻译职业化、产业化程度的加深,需要进一步加强对翻译职业伦理的探索。超文本语境下,技术因素对翻译造成了极大的影响,甚至改变了翻译的本来面貌。翻译对象的数字化、复杂化是电子工具得以应用的前提,而翻译商业化、产业化则催生了电子工具的研发与使用。翻译记忆工具、机器翻译以及其他翻译辅助工具的大量使用在提高翻译效率的同时,也改变了翻译的认知模式,影响了译者主体性的发挥。翻译记忆对译文的“克隆”以及“机器翻译+人工编辑”模式使得超文本语境下的翻译表现为一种“去主体化”的倾向,已经很难辨别到底是“机助人译”还是“人助机译”。电子工具实际上是译者主体的异化,传统人类译者正经历着向“电子译者”（Cyborg translator）的转变。以超文本为工作对象的本地化过程中出现的“多维符号转换”现象,表明自然语言符号翻译与非自然语言符号转换之间一定存在某种相通之处。符号是信息的抽象载体,而翻译是符号的本质属性,因为任何符号存在都依赖其它符号对其的阐释。信息是反映事物结构的时空秩序,具有客观性,是世界的本质属性之一,它并不依赖人的意识而存在,但是人却可以通过符号实现信息的感知、储存与传播。文字符号化其实是一个由高维符号向低维符号的“去图像化”过程,是信息表征的过程,而文字符号的解读则是一个逆向的“再图像化”过程,其实质是信息释放过程。从信息视角下对“符际翻译”的研究表明,翻译其实就是一个“信息跨越符号边界的流动”过程,不管是生物体内的DNA转录及蛋白质翻译、计算机高级语言与低级语言的“编译”,还是人类自然语言之间的翻译,都是如此。本地化中的“多维符号转换”现象以及现实生活中的“符际翻译”现象都表明,翻译其实都是“符号转换”,转换的“内核”是信息。在符号转换的“解码、去符号化、重新编码”过程中,“去符号化”是信息脱离原符号以生物电或化学信号在大脑中“短暂驻留”的过程,这是类似于低级动物以“信号”而非“符号”信息储存方式,尽管这种信息储存状态带有“短暂性、动态性、不稳定性”等特点,但这足以让译者完成信息的“重新编码”。对图像与文字符号共性的分析以及对图像符号“翻译”的可行性考察结果都表明,在符号学及信息视角下将“符际翻译”拓展到“非语言符号转换”具有一定的可行性,这有助于拓宽“翻译”概念的内涵与外延,同时也会给翻译研究带来一定的冲击。本文共分七章。第一章绪论主要介绍了选题背景、研究意义、研究目标、研究思路及方法、超文本概念的起源及定义、国内外超文本翻译研究现状等。国内外与此相关翻译研究主要是有关超文本本地化的研究,因此笔者还对翻译与本地化的概念进行了辨析与比较。在超文本语境下,翻译活动在文本形式、翻译手段、翻译过程等方面均已发生了巨大的变化,至于这种变化对翻译实践和翻译研究会产生何等程度的影响,值得深入探讨。第二章首先研究了超文本相对于传统文本的差异性特征,在此基础上,深入探讨了超文本的形态变化对当代翻译活动所造成的影响与变化。第一节主要比较了超文本与传统纸质文本的差异,归纳出超文本的新的特征；第二节主要研究超文本的新特点,包括多线性、虚拟性、交互性、多模态等特点对翻译活动的影响；第三节尝试分析超文本语境下译者工作状态的变化。第三章探索了超文本语境下翻译活动的变化对翻译伦理产生的影响及变化。第一节首先简单回顾了翻译伦理由“忠实伦理”到“差异伦理”的转变历程,然后分析了数字化翻译对上述伦理概念形成的挑战。第二节分析了相关的翻译职业伦理研究,并尝试探讨了超文本语境下翻译职业伦理的构建。第三节主要分析了众包翻译带来的新的翻译伦理问题。第四章主要研究超文本语境下技术对翻译活动所产生的影响与变化。第一节首先对超文本语境下使用的各种电子工具进行功能性分析及分类,接下来分析超文本语境下电子工具被普遍应用的深层次原因,具体主要从翻译对象、翻译环境变化等方面进行分析。第二节研究翻译记忆工具（TM）对现代翻译的影响,尤其是对译者认知过程的影响,并讨论翻译记忆工具带来的新问题。第三节探讨机器翻译工具对翻译的影响,首先分析超文本语境下,机器翻译获得更多应用的原因,然后再探讨自动翻译对翻译模式和译者主体性的影响。第五章重点分析超文本语境下“多维符号翻译”中符号转换的特点及规律,并将其与传统文学翻译进行对比,探讨其与文学翻译的差异与共性。第一节研究超文本翻译中自然语言符号转换的特点,并分析其类似于文学翻译中的创造性翻译特征。第二节探讨超文本语境下“多维符号转换”的特点及规律。第三节研究超文本中文字与图像符号的关系及其对翻译的影响。第四节尝试分析多模态语境下译者认知过程的变化。第六章探讨“符际翻译”拓展到“非语言符号转换”的可行性。第一节分析了信息、符号、翻译、语言、文字、图像等概念之间的相互关系,为进一步讨论做准备。第二节首先分析了“翻译”概念拓展到“非语言符号”的可行性,然后考察了DNA转录与蛋白质翻译现象以及计算机高级语言与机器语言之间的“编译”现象,并进一步分析了图像符号“翻译”的可行性和可译度。第三节主要考察了现实生活中的符际翻译现象,并尝试从符号学及信息视角对符际翻译进行解释。此外,还分析了“符际翻译”拓展到“非语言转换”对翻译研究的影响。最后一章总结了本研究的主要发现,并指出了本研究在研究内容与方法方面存在的局限性,并为后续研究做了进一步展望。
二、面向机器翻译的中国手语的理解与合成（论文开题报告）
（1）论文研究背景及目的
此处内容要求：
首先简单简介论文所研究问题的基本概念和背景，再而简单明了地指出论文所要研究解决的具体问题，并提出你的论文准备的观点或解决方法。
写法范例：
本文主要提出一款精简64位RISC处理器存储管理单元结构并详细分析其设计过程。在该MMU结构中,TLB采用叁个分离的TLB,TLB采用基于内容查找的相联存储器并行查找,支持粗粒度为64KB和细粒度为4KB两种页面大小,采用多级分层页表结构映射地址空间,并详细论述了四级页表转换过程,TLB结构组织等。该MMU结构将作为该处理器存储系统实现的一个重要组成部分。
（2）本文研究方法
调查法：该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法：用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法：通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法：通过调查文献来获得资料，从而全面的、正确的了解掌握研究方法。
实证研究法：依据现有的科学理论和实践的需要提出设计。
定性分析法：对研究对象进行“质”的方面的研究，这个方法需要计算的数据较少。
定量分析法：通过具体的数字，使人们对研究对象的认识进一步精确化。
跨学科研究法：运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法：这是社会科学用来分析社会现象的一种方法，从某一功能出发研究多个方面的影响。
模拟法：通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
三、面向机器翻译的中国手语的理解与合成（论文提纲范文）
（1）基于深度学习的视频手语识别研究（论文提纲范文）
| 中文摘要 |
| 英文摘要 |
| 第1章 绪论 |
| 1.1 研究背景 |
| 1.2 研究现状 |
| 1.2.1 数据采集 |
| 1.2.2 传统手语识别方法 |
| 1.2.3 深度学习方法 |
| 1.3 本文研究内容与章节安排 |
| 第2章 基于多模态特征的孤立词识别 |
| 2.1 引言 |
| 2.2 相关工作 |
| 2.3 方法介绍 |
| 2.3.1 框架概述 |
| 2.3.2 轨迹表达 |
| 2.3.3 手型表征 |
| 2.3.4 基于SVM的分类算法 |
| 2.4 实验结果 |
| 2.4.1 数据集 |
| 2.5 本章小结 |
| 第3章 基于空洞卷积和迭代优化的连续视频手语识别 |
| 3.1 引言 |
| 3.2 相关工作 |
| 3.3 方法介绍 |
| 3.3.1 网络结构 |
| 3.3.2 连接时序分类 |
| 3.4 实验结果 |
| 3.4.1 数据集和评测标准 |
| 3.4.2 迭代优化 |
| 3.4.3 结果 |
| 3.5 本章小结 |
| 第4章 基于迭代对齐网络的视频连续手语识别 |
| 4.1 引言 |
| 4.2 相关工作 |
| 4.2.1 视频表征 |
| 4.2.2 序列建模 |
| 4.3 方法介绍 |
| 4.3.1 对齐网络 |
| 4.3.2 优化和解码 |
| 4.4 实验结果 |
| 4.4.1 数据集和评价指标 |
| 4.4.2 实验设置 |
| 4.4.3 RTWH-PHOENIX-Weather上的结果 |
| 4.4.4 CSL上的结果 |
| 4.5 本章小结 |
| 第5章 基于跨模态数据增广的视频连续手语识别 |
| 5.1 引言 |
| 5.2 相关工作 |
| 5.2.1 视频表征学习 |
| 5.2.2 深度学习中的数据增广 |
| 5.3 方法介绍 |
| 5.3.1 方法概要 |
| 5.3.2 伪数据生成 |
| 5.3.3 网络结构 |
| 5.3.4 优化目标 |
| 5.4 实验结果 |
| 5.4.1 消融实验 |
| 5.4.2 不同方法性能对比 |
| 5.5 本章小结 |
| 第6章 多语言协同的视频连续手语识别 |
| 6.1 引言 |
| 6.2 相关工作 |
| 6.3 方法介绍 |
| 6.3.1 基础模型 |
| 6.3.2 模型结构 |
| 6.3.3 多语言联合优化 |
| 6.3.4 改进的CNN-TCN |
| 6.4 实验结果 |
| 6.4.1 实现细节 |
| 6.4.2 消融实验 |
| 6.4.3 方法对比 |
| 6.5 本章小结 |
| 第7章 总结与展望 |
| 7.1 工作总结 |
| 7.2 未来展望 |
| 参考文献 |
| 致谢 |
| 在读期间发表的学术论文与取得的研究成果 |
（3）中国手语光场构建及识别研究（论文提纲范文）
| 摘要 |
| Abstract |
| 第1章 绪论 |
| 1.1 研究背景及意义 |
| 1.2 国内外研究现状 |
| 1.2.1 手语数据 |
| 1.2.2 手语识别 |
| 1.2.3 深度学习 |
| 1.2.4 迁移学习 |
| 1.3 论文研究内容及结构 |
| 1.3.1 研究目标 |
| 1.3.2 主要研究内容 |
| 1.3.3 论文结构 |
| 第2章 球形光场视点优化与中国手语光场数据集构建 |
| 2.1 引言 |
| 2.2 基于空域密度优化的视点分布估计 |
| 2.2.1 面向信息量均衡的双视点定位 |
| 2.2.2 球形环境下多视点分布估计 |
| 2.2.3 实验结果 |
| 2.3 光场相机标定 |
| 2.3.1 引言 |
| 2.3.2 获取校准图像 |
| 2.3.3 角点检测 |
| 2.3.4 亚像素角点和方向细化 |
| 2.3.5 棋盘结构恢复 |
| 2.3.6 匹配不同视点的校准图像 |
| 2.3.7 参数优化 |
| 2.4 中国手语光场数据集 |
| 2.4.1 手语词选取 |
| 2.4.2 手语数据处理 |
| 2.5 本章小结 |
| 第3章 基于注意力机制多流卷积网络的手势识别 |
| 3.1 引言 |
| 3.2 网络模型结构 |
| 3.2.1 Epitome生成器 |
| 3.2.2 Epitome特征提取器 |
| 3.2.3 基于注意力机制的时空多流卷积网络 |
| 3.2.4 Epitome投票 |
| 3.3 实验及分析 |
| 3.3.1 Cambridge手势数据集 |
| 3.3.2 SKIG数据集 |
| 3.4 本章小结 |
| 第4章 基于双向生成对抗迁移学习的手语光场识别 |
| 4.1 引言 |
| 4.2 虚拟手语数据集 |
| 4.2.1 关键帧插值 |
| 4.2.2 视角变换 |
| 4.2.3 数据扰动 |
| 4.3 双向生成对抗迁移学习 |
| 4.3.1 双向生成对抗网络 |
| 4.3.2 分类网络 |
| 4.4 实验结果及分析 |
| 4.4.1 双向生成对抗网络的生成结果分析 |
| 4.4.2 分类网络实验结果分析 |
| 4.4.3 生成对抗部分的消融性实验 |
| 4.5 本章小结 |
| 结论 |
| 参考文献 |
| 攻读博士学位期间所取得的学术成果 |
| 致谢 |
（4）聋哑人手语识别关键技术研究（论文提纲范文）
| 摘要 |
| Abstract |
| 第1章 绪论 |
| 1.1 研究背景和意义 |
| 1.1.1 聋哑人手语识别的社会现实意义 |
| 1.1.2 聋哑人手语识别对人机交互研究的应用价值 |
| 1.1.3 聋哑人手语识别对拓宽教育技术学发展路径的实践意义 |
| 1.2 研究现状 |
| 1.2.1 借助可穿戴设备的手语识别研究 |
| 1.2.2 基于计算机视觉的手语识别方法 |
| 1.3 问题的提出 |
| 1.3.1 手语识别和手势识别的关系 |
| 1.3.2 聋哑人手语识别亟待解决的问题 |
| 1.3.3 本研究聚焦的关键问题 |
| 1.4 本文的主要贡献和论文结构 |
| 1.4.1 论文的主要贡献 |
| 1.4.2 论文结构 |
| 第2章 聋哑人手语识别相关基础 |
| 2.1 深度神经网络基础 |
| 2.1.1 卷积神经网络 |
| 2.1.2 循环神经网络 |
| 2.2 手语数据的采集 |
| 2.2.1 采集设备 |
| 2.2.2 数据采集系统开发 |
| 2.2.3 数据采集方案 |
| 2.3 本章小结 |
| 第3章 基于多模态数据的3D卷积神经网络手语识别 |
| 3.1 概述 |
| 3.2 相关研究 |
| 3.2.1 基于传统机器学习的手语识别方法 |
| 3.2.2 基于深度学习的手语识别方法 |
| 3.3 方法介绍 |
| 3.3.1 多模态数据的应用 |
| 3.3.2 数据预处理 |
| 3.3.3 模型架构 |
| 3.4 实验结果与分析 |
| 3.4.1 数据集SLVM实验与分析 |
| 3.4.2 数据集SKIG实验与分析 |
| 3.5 本章小结 |
| 第4章 融合宽残差和长短时记忆网络的手语识别 |
| 4.1 概述 |
| 4.2 相关问题 |
| 4.2.1 残差网络的演变及相关研究 |
| 4.2.2 深度学习融合框架的应用 |
| 4.3 方法介绍 |
| 4.3.1 三维卷积神经网络模块 |
| 4.3.2 双向可卷积LSTM网络模块 |
| 4.3.3 宽残差模块 |
| 4.4 实验结果与分析 |
| 4.4.1 在IsoGD数据集上的实验 |
| 4.4.2 在SLVM数据集上的实验 |
| 4.4.3 在SKIG数据集上的实验 |
| 4.5 本章小结 |
| 第5章 基于注意力机制的连续手语识别 |
| 5.1 概述 |
| 5.2 相关问题 |
| 5.2.1 注意力机制原理及其应用 |
| 5.2.2 视频描述的借鉴意义 |
| 5.2.3 连续手语识别 |
| 5.3 方法介绍 |
| 5.3.1 连续手语分割 |
| 5.3.2 关键词识别 |
| 5.4 实验结果与分析 |
| 5.4.1 在IsoGD数据集上的实验 |
| 5.4.2 在ConGD数据集上的实验 |
| 5.4.3 在Montalbano数据集上的实验 |
| 5.5 本章小结 |
| 第6章 总结与展望 |
| 6.1 论文总结 |
| 6.2 未来展望 |
| 参考文献 |
| 攻读博士期间发表的论文 |
| 攻读博士期间申请的专利 |
| 攻读博士期间参与的课题 |
| 致谢 |
（5）面向ELAN软件的手语汉语平行语料库构建（论文提纲范文）
| 0 引言 |
| 1 相关研究 |
| 1.1 语料库 |
| 1.1.1 国内汉英双语平行语料库 |
| 1.1.2 澳大利亚手语语料库 |
| 1.1.3 德国天气预报手语平行语料库 |
| 1.1.4 中国手语语料库 |
| 1.2 采集内容 |
| 1.3 被采集者选取 |
| 1.4 采集场景设置 |
| 1.5 ELAN工具介绍 |
| 1.6 视频相似度计算 |
| 2 手语汉语平行语料库的建设 |
| 2.1 本文采集的内容 |
| 2.2 本文被采集者选取 |
| 2.3 本文采集场景设置 |
| 2.4 标注方法 |
| 2.5 手语语料的预处理 |
| 3 手语汉语相似度的计算 |
| 3.1 算法介绍 |
| 3.2 算法流程 |
| 3.3 实验结果 |
| 4 总结 |
（6）手语计算30年:回顾与展望（论文提纲范文）
| 1 引言 |
| 2 手语计算与语言计算的关系 |
| 3 手语计算的发展回顾 |
| 3.1 手语计算与手语图像处理的关系 |
| 3.2 词法 |
| 3.2.1 手语编码 |
| 3.2.2 手语切分 |
| 3.2.3 词性空间建模 |
| 3.3 句法 |
| 3.3.1 手语语料库 |
| 3.3.2 分类词谓语计算 |
| 3.4 语义 |
| 3.5 语用 |
| 3.6 应用 |
| 3.6.1 机器翻译 |
| 3.6.2 手语生成 |
| 4 互联网时代手语计算何去何从 |
| 4.1 互联网时代给手语计算带来新的机遇 |
| 4.1.1 体感设备的出现 |
| 4.1.2 认知神经科学的兴起 |
| 4.1.3 深度学习的进展 |
| 4.2 从传统语言历史看手语计算 |
| 4.3 从技术趋势看手语计算 |
| 5 未来的研究方向 |
| 5.1 资源建设 |
| 5.2 文景转换 |
| 5.3 隐喻处理 |
| 6 总结与展望 |
| Background |
（8）面向手语信息处理的维吾尔文本语料库构建技术的研究（论文提纲范文）
| 摘要 |
| Abstract |
| 第一章 绪论 |
| 1.1 研究背景及意义 |
| 1.1.1 研究背景 |
| 1.1.2 研究意义 |
| 1.2 研究目标 |
| 1.3 国内外研究现状 |
| 1.3.1 国外研究现状 |
| 1.3.2 国内研究状况 |
| 1.4 主要研究内容 |
| 1.4.1 研究内容 |
| 1.5 遇到的问题及解决方案 |
| 1.5.1 遇到的问题 |
| 1.5.2 科学规划与解决方案 |
| 1.6 本章小结 |
| 第二章 相关的理念概述 |
| 2.1 手语的简介 |
| 2.2 手势语与手指语 |
| 2.2.1 手势语的简介 |
| 2.2.2 手指语的简介 |
| 2.2.3 维吾尔自然手语 |
| 2.3 本章小结 |
| 第三章 采集训练语料分析 |
| 3.1 采集文本语料的基本原则 |
| 3.2 采集流程 |
| 3.3 采集训练文本语料 |
| 3.3.1 分词 |
| 3.3.2 分句 |
| 3.4 建立训练词元库 |
| 3.4.1 构建训练词元库 |
| 3.4.2 训练词元库作用 |
| 3.4.3 词元库的构建结果 |
| 第四章 相关技术及方法的描述 |
| 4.1 基于词干提取方法的手语文本研究 |
| 4.1.1 词干提取算法的描述 |
| 4.1.2 算法的设计与实现 |
| 4.2 手语文本转换技术的指导思想 |
| 4.3 文本信息转换成手语信息技术 |
| 4.4 本章小结 |
| 第五章 总体设计与实验 |
| 5.1 采集训练文本语料系统的设计与实现 |
| 5.2 词干提取方法的设计与实现 |
| 5.3 总体设计的实现 |
| 5.4 总体设计的实现与结果 |
| 5.5 实验结果与分析 |
| 5.5.1 实验分析 |
| 5.5.2 实验结果 |
| 第六章 总结与展望 |
| 6.1 本文研究总结 |
| 6.2 研究展望 |
| 参考文献 |
| 在读期间发表论文清单 |
| 致谢 |
（9）中国手语信息处理述评（论文提纲范文）
| 1引言 |
| 2中国手语的信息表示及手势切分问题 |
| 3手语语料库的建设 |
| 4手语语料库标注 |
| 5基于语料库的手语信息处理 |
| 6手语的机器翻译 |
| 7手语生成器 |
| 8总结 |
（10）超文本语境下的翻译形态变化研究（论文提纲范文）
| 摘要 |
| Abstract |
| 第一章 绪论 |
| 第一节 研究缘起：网络时代的翻译 |
| 一、翻译对象的变化 |
| 二、翻译手段的变化 |
| 三、主流翻译活动的变化 |
| 第二节 超文本语境下翻译理论的“局促” |
| 一、超文本语境下应用翻译理论研究存在的不足 |
| 二、现有译论解释超文本翻译之局限性分析 |
| 第三节 超文本翻译研究现状综述 |
| 一、超文本的起源与定义 |
| 二、国外超文本翻译研究现状分析 |
| 三、国内超文本翻译研究现状 |
| 第四节 研究意义、目标、内容及方法 |
| 一、研究意义 |
| 二、研究目标 |
| 三、研究内容 |
| 四、研究思路及方法 |
| 第二章 翻译文本形态的变异及其对翻译的影响研究 |
| 第一节 超文本与传统纸质文本特点对比分析 |
| 一、超文本的多线性特点分析 |
| 二、超文本的虚拟性特点分析 |
| 三、超文本的多模态特点分析 |
| 四、超文本的交互性特点分析 |
| 第二节 超文本新特点对当代翻译的活动影响研究 |
| 一、文本碎片化与翻译的“去语境化”关系分析 |
| 二、超文本交互性对翻译主体关系的影响研究 |
| 三、超文本虚拟性与搜索引擎优化关系研究 |
| 四、译文“虚拟消费”对翻译的影响研究 |
| 第三节 超文本语境对译者工作状态的影响研究 |
| 一、超文本给译者工作形式带来的变化 |
| 二、超文本语境下译者与互联网的关系分析 |
| 本章小结 |
| 第三章 超文本语境下翻译伦理的思考 |
| 第一节 超文本语境下翻译伦理的反思 |
| 一、翻译伦理：由“忠实”到“差异” |
| 二、超文本语境下“忠实伦理”与“差异伦理”的质疑 |
| 第二节 翻译职业化背景下的翻译伦理探究 |
| 一、翻译伦理研究的“职业化倾向” |
| 二、超文本语境下译者的职业伦理反思 |
| 第三节 从翻译主体间性看众包翻译带来的伦理困惑 |
| 一、“众包翻译”模式中的主体构成分析 |
| 二、众包翻译带来的伦理困惑分析 |
| 本章小结 |
| 第四章 超文本语境下技术因素对翻译的影响研究 |
| 第一节 超文本语境下电子工具大量应用的原因探究 |
| 一、不同电子工具在超文本翻译中的功能分析 |
| 二、电子工具在超文本翻译中大量应用的原因分析 |
| 第二节 翻译记忆工具对翻译的影响研究 |
| 一、翻译记忆工具对译者认知过程的影响 |
| 二、翻译记忆工具对译文搜索引擎优化的影响研究 |
| 三、翻译记忆带来的语言资产归属问题研究 |
| 第三节 超文本语境下机器翻译对译者主体性的影响研究 |
| 一、机器翻译获得更多应用的原因分析 |
| 二、翻译“去主体化”与译者“电子化”现象研究 |
| 本章小结 |
| 第五章 超文本语境下的“多维符号转换”现象研究 |
| 第一节 超文本中自然语言符号翻译特点研究 |
| 一、“字符串替换”翻译现象分析 |
| 二、“译创”在超文本翻译中的体现 |
| 三、网络语境对超文本翻译的影响分析 |
| 四、超文本中的语音种类及翻译策略分析 |
| 第二节 超文本多维符号特点及转换规律研究 |
| 一、不同维度的符号及表意特点分析 |
| 二、本地化“多维符号转换”特点及规律研究 |
| 第三节 超文本文字与图像符号特点及相互关系研究 |
| 一、模态视角下文字与图像符号的差异比较 |
| 二、超文本中的文字与图像相互关系研究 |
| 第四节 多模态语境下译者认知过程探析 |
| 一、不同模态的信息之间的相互作用分析 |
| 二、多模态翻译的认知过程分析 |
| 本章小结 |
| 第六章 “符际翻译”拓展到“非语言符号转换”的可行性研究 |
| 第一节 信息、符号、语言、图像之间的关系研究 |
| 一、信息、符号之间的关系分析 |
| 二、自然语言与信息、逻辑之间的关系分析 |
| 三、文字、图像、信息之间的关系研究 |
| 第二节 “符际翻译”解释“非语言符号转换”的可行性研究 |
| 一、“翻译”概念拓展到“非语言符号”的可行性分析 |
| 二、非自然语言符号“翻译”现象考察 |
| 三、图像符号翻译的可行性研究 |
| 四、超文本中图像符号的可译度分析 |
| 第三节 信息视角下的“符际翻译”现象研究 |
| 一、信息视角下“翻译”的重新定义 |
| 二、现实生活中的“符际翻译”现象研究 |
| 三、符号转换的中间过程分析 |
| 四、“符际翻译”拓展到“非语言转换”对翻译研究的影响 |
| 本章小结 |
| 第七章 结语 |
| 参考文献 |
| 后记 |
四、面向机器翻译的中国手语的理解与合成（论文参考文献）
- [1]基于深度学习的视频手语识别研究[D]. 蒲俊福. 中国科学技术大学, 2020(01)
- [2]基于感官代偿的听障大学生的生活辅助产品情感设计研究[D]. 冯蕙榕. 北京服装学院, 2020
- [3]中国手语光场构建及识别研究[D]. 王文通. 北京工业大学, 2020(06)
- [4]聋哑人手语识别关键技术研究[D]. 梁智杰. 华中师范大学, 2019(01)
- [5]面向ELAN软件的手语汉语平行语料库构建[J]. 吴蕊珠,李晗静,吕会华,姚登峰. 中文信息学报, 2019(02)
- [6]手语计算30年:回顾与展望[J]. 姚登峰,江铭虎,鲍泓,李晗静,阿布都克力木·阿布力孜. 计算机学报, 2019(01)
- [7]手语机器翻译综述[A]. 吴蕊珠,李晗静. 中国计算机用户协会网络应用分会2018年第二十二届网络新技术与应用年会论文集, 2018
- [8]面向手语信息处理的维吾尔文本语料库构建技术的研究[D]. 艾山江·亚生. 新疆大学, 2018(12)
- [9]中国手语信息处理述评[J]. 姚登峰,江铭虎,阿布都克力木·阿布力孜,李晗静,哈里旦木·阿布都克里木,夏娣娜. 中文信息学报, 2015(05)
- [10]超文本语境下的翻译形态变化研究[D]. 刘剑. 华东师范大学, 2014(11)