本申请涉及输入法
技术领域:
,更具体地说,涉及一种信息显示方法、装置、设备及可读存储介质。
背景技术:
:目前智能手机客户端的输入法系统已经日益发展精进,可以准确获取客户输入文本。进一步地,随着语音技术在输入法领域的大规模推广使用,给输入法领域带来了更快更方便的新的人机交互渠道,极大丰富了输入法的输入途径,提升了输入法效率。本案发明人研究发现,现有的输入法系统重点都放在如何提高输出的候选词的准确度上,即如何给出用户所想上屏的候选词。对于输入文本上屏之后,用户还存在对上屏的文本进行再次编辑的情况,按照用户情感所想表达的方式,对文本进行加粗、调整字体大小等编辑操作。按照现有输入法的功能,仍需要用户自行对上屏后的文本进行编辑,以满足用户情感所想表达的方式,导致操作繁琐、输入效率低的问题。技术实现要素:有鉴于此,本申请提供了一种信息显示方法、装置、设备及可读存储介质,用于解决现有输入法需要用户对上屏后的文本进行编辑,导致操作繁琐、输入效率低的问题。为了实现上述目的,现提出的方案如下:一种信息显示方法,包括:获取输入的语音数据及所述语音数据对应的识别文本数据;根据所述语音数据及所述识别文本数据,确定对象在输入所述语音数据时的情绪信息;确定与所述情绪信息匹配的文本显示模式;按照确定的所述文本显示模式,对所述识别文本数据进行显示。优选地,所述根据所述语音数据及所述识别文本数据,确定对象在输入所述语音数据时的情绪信息,包括:根据所述语音数据,确定对象在输入所述语音数据时的第一情绪信息;根据所述识别文本数据,确定对象在输入所述语音数据时的第二情绪信息;将所述第一情绪信息及所述第二情绪信息进行整合,得到整合后的对象在输入所述语音数据时的情绪信息。优选地,所述根据所述语音数据,确定对象在输入所述语音数据时的第一情绪信息,包括:将所述语音数据输入预置的语音情绪识别模型,得到语义情绪识别模型输出的情绪信息,作为对象在输入所述语音数据时的第一情绪信息;所述语音情绪识别模型为,以所述对象的语音训练数据为训练样本,以标注的生成语音训练数据时对象的情绪信息为样本标签训练得到。优选地,所述根据所述识别文本数据,确定对象在输入所述语音数据时的第二情绪信息,包括:将所述识别文本数据输入预置的文本情绪识别模型,得到文本情绪识别模型输出的情绪信息,作为对象在输入所述语音数据时的第二情绪信息;所述文本情绪识别模型为,以所述对象的语音训练数据对应的识别文本训练数据为训练样本,以标注的生成语音训练数据时对象的情绪信息为样本标签训练得到。优选地,所述根据所述识别文本数据,确定对象在输入所述语音数据时的第二情绪信息,包括:计算所述识别文本数据与预设的每一类型情绪特征的文本相似度;根据所述文本相似度,结合各类型情绪特征确定对象在输入所述语音数据时的第二情绪信息。优选地,所述根据所述文本相似度,结合各类型情绪特征确定对象在输入所述语音数据时的第二情绪信息,包括:根据识别文本数据与每一类型情绪特征的文本相似度,确定每一类型情绪特征的得分;将每一类型的情绪特征及对应的得分组合为,对象在输入所述语音数据时的第二情绪信息。优选地,所述根据所述识别文本数据,确定对象在输入所述语音数据时的第二情绪信息,包括:匹配所述识别文本数据与预设的情绪关键词集合,得到所述识别文本数据包含的目标情绪关键词;参考预设的情绪关键词对每一类型情绪特征的表征能力得分,获取所述目标情绪关键词对每一类型情绪特征的表征能力得分;根据所述目标情绪关键词对每一类型情绪特征的表征能力得分,汇总每一类型情绪特征的表征能力得分的总得分;将每一类型情绪特征及对应的表征能力得分的总得分组合为,对象在输入所述语音数据时的第二情绪信息。优选地,第一情绪信息和第二情绪信息各自包含每一类型的情绪特征及对应的得分;所述将所述第一情绪信息及所述第二情绪信息进行整合,得到整合后的对象在输入所述语音数据时的情绪信息,包括:将第一情绪信息包含的每一类型的情绪特征的得分,按照对应类型的情绪特征的语音表现权重进行加权,得到对应类型情绪特征的语音表现加权得分;将第二情绪信息包含的每一类型的情绪特征的得分,按照对应类型的情绪特征的文本表现权重进行加权,得到对应类型情绪特征的文本表现加权得分;将每一类型的情绪特征的语音表现加权得分与文本表现加权得分相加,得到对应类型情绪特征的综合加权得分;将每一类型的情绪特征及对应的综合加权得分组合为,对象在输入所述语音数据时的情绪信息。优选地,所述文本显示模式包括至少一个显示属性,所述确定与所述情绪信息匹配的文本显示模式,包括:确定与所述情绪信息匹配的每一显示属性的属性值。优选地,所述确定与所述情绪信息匹配的每一显示属性的属性值,包括:以所述情绪信息作为待匹配项,确定与所述待匹配项匹配的每一显示属性的属性值。优选地,以所述情绪信息作为待匹配项,确定与所述待匹配项匹配的每一显示属性的属性值,包括:以所述情绪信息作为待匹配项,以系统默认和/或上一时刻显示文本的各显示属性的属性值作为匹配修正项,匹配得到当前时刻每一显示属性的属性值;其中,所述匹配修正项用于保证所述当前时刻每一显示属性的属性值趋近于所述系统默认和/或上一时刻显示文本的各显示属性的属性值。一种信息显示装置,包括:数据获取单元,用于获取输入的语音数据及所述语音数据对应的识别文本数据;情绪信息确定单元,用于根据所述语音数据及所述识别文本数据,确定对象在输入所述语音数据时的情绪信息;模式确定单元,用于确定与所述情绪信息匹配的文本显示模式;文本显示单元,用于按照确定的所述文本显示模式,对所述识别文本数据进行显示。优选地,所述情绪信息确定单元包括:第一情绪信息确定单元,用于根据所述语音数据,确定对象在输入所述语音数据时的第一情绪信息;第二情绪信息确定单元,用于根据所述识别文本数据,确定对象在输入所述语音数据时的第二情绪信息;整合单元,用于将所述第一情绪信息及所述第二情绪信息进行整合,得到整合后的对象在输入所述语音数据时的情绪信息。优选地,所述文本显示模式包括至少一个显示属性,所述模式确定单元包括:显示属性值确定单元,用于确定与所述情绪信息匹配的每一显示属性的属性值。优选地,所述显示属性值确定单元,包括:匹配单元,用于以所述情绪信息作为待匹配项,确定与所述待匹配项匹配的每一显示属性的属性值。优选地,所述匹配单元,包括:修正匹配单元,用于以所述情绪信息作为待匹配项,以系统默认和/或上一时刻显示文本的各显示属性的属性值作为匹配修正项,匹配得到当前时刻每一显示属性的属性值;其中,所述匹配修正项用于保证所述当前时刻每一显示属性的属性值趋近于所述系统默认和/或上一时刻显示文本的各显示属性的属性值。一种信息显示设备,包括存储器和处理器;所述存储器,用于存储程序;所述处理器,用于执行所述程序,实现如上所述的信息显示方法的各个步骤。一种可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,实现如上所述的信息显示方法的各个步骤。从上述的技术方案可以看出,本申请实施例提供的信息显示方法,获取输入的语音数据及语音数据对应的识别文本数据,根据该语音数据及识别文本数据,确定对象在输入语音数据时的情绪信息,进一步确定与该情绪信息匹配的文本显示模式,按照确定的文本显示模式,对识别文本数据进行显示。由此可见,本申请能够根据输入的语音数据及对应的识别文本数据,确定对象在输入语音时的情绪信息,通过确定的情绪信息可以匹配对应的文本显示模式,进而能够控制识别文本数据按照匹配的文本显示模式进行显示,由于该显示的文本已经是按照用户情绪匹配的显示模式进行显示的,因此无需用户再次对显示的文本进行编辑操作,简化了操作步骤且提高了输入效率。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。图1为本申请实施例公开的一种信息显示方法流程图;图2为本申请实施例公开的一种信息显示装置结构示意图;图3为本申请实施例公开的一种信息显示设备的硬件结构框图。具体实施方式下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。在介绍本申请方案之前,首先通过一个具体实例来引出现有技术的缺陷。一个示例场景下:用户与好友通过即时通讯软件聊天,收到对方发来的一条信息,阅读后表示非常吃惊,想要向对方询问:“真的???”,并且为了表示自己当前很震惊,想要把字号调大,且加粗表示。按照现有技术,输入法输出上屏的“真的???”是按照系统默认设置显示,需要用户对上屏的文本进行二次编辑,包括调整字号、加粗等。显然,按照现有输入法系统输出上屏的文本,需要用户根据自己的情感再次对文本进行编辑,以达到用户情感所想表达的文本显示模式。整个文本输入过程,由于需要用户对上屏的文本进行编辑操作,增加了操作步骤,且降低了输入效率。为了解决上述现有技术的缺陷,本申请实施例提供了一种信息显示方案,接下来通过附图1对本申请的信息显示方法进行说明,如图1所示,该方法可以包括:步骤s100、获取输入的语音数据及所述语音数据对应的识别文本数据。具体地,对象可以使用语音形式进行输入。本步骤中获取到对象输入的语音数据,以及与该语音数据对应的识别文本数据。其中,语音数据对应的识别文本数据,可以通过现有的语音识别技术,将语音数据识别为对应的识别文本数据。步骤s110、根据所述语音数据及所述识别文本数据,确定对象在输入所述语音数据时的情绪信息。具体地,情绪信息可以包括多类情绪特征,如:愤怒、惊讶、喜悦、盼望、恐惧、悲伤、信任、厌恶等。对象的情绪信息可以影响其对识别文本数据显示时的显示模式。示例如,当用户愤怒时,其可能想要将识别文本以更大字号进行显示。而当用户悲伤时,需要体现一种低沉的效果,对应的识别文本以更小字号进行显示。当然,除此字号之外,显示模式还可以包括其他属性信息,如字体颜色、是否加下划线、是否加粗等等。由于情绪信息的多样化,某些类型的情绪在文本数据中能够很好的体现,而在语音数据中体现的可能不够明显。而另外一些类型的情绪可能恰恰相反,即在语音数据中体现的很明显,而在文本数据中体现的不够明显。示例如,悲伤、喜悦这类的情绪信息,能够通过文本数据很好的体现。而愤怒、惊讶这类的情绪,无法通过文本数据很好的进行体现,但是能够通过语音数据很好的进行体现,如通过语音的音调、强度等特征体现。因此,本步骤中综合考虑语音数据及对应的识别文本数据,确定对象在输入所述语音数据时的情绪信息。确定的该情绪信息更加全面,能够更真实的反映对象在输入语音数据时的情绪。并且,用户在持续的信息输入过程中,每次输入语音数据时的情绪可能也会发生变化,因此,本步骤中根据语音数据及对应识别文本数据所确定的,也是对象在输入该语音数据时的情绪信息,该确定的情绪信息能够准确反映该语音数据输入时对象的情绪。步骤s120、确定与所述情绪信息匹配的文本显示模式。具体地,不同类型的情绪信息对应的文本显示时的显示模式也可能不同。本申请预先统计得到各类型的情绪信息匹配的文本显示模型。进而针对上一步骤确定的对象在输入语音数据时的情绪信息,查询与其匹配的文本显示模式。步骤s130、按照确定的所述文本显示模式,对所述识别文本数据进行显示。本申请实施例提供的信息显示方法,能够根据输入的语音数据及对应的识别文本数据,确定对象在输入语音时的情绪信息,通过确定的情绪信息可以匹配对应的文本显示模式,进而能够控制识别文本数据按照匹配的文本显示模式进行显示,由于该显示的文本已经是按照用户情绪匹配的显示模式进行显示的,因此无需用户再次对显示的文本进行编辑操作,简化了操作步骤且提高了输入效率。在本申请的另一个实施例中,对上述步骤s110,根据所述语音数据及所述识别文本数据,确定对象在输入所述语音数据时的情绪信息的过程进行介绍,该过程可以包括:s1、根据所述语音数据,确定对象在输入所述语音数据时的第一情绪信息。s2、根据所述识别文本数据,确定对象在输入所述语音数据时的第二情绪信息。本实施例提供的方法中,针对语音数据和识别文本数据分别处理,即根据语音数据来确定对象输入语音数据时的第一情绪信息。以及,根据识别文本数据,确定对象输入语音数据时的第二情绪信息。这里,第一情绪信息和第二情绪信息主要是为了便于区分。对于语言数据确定第一情绪信息,以及识别文本数据确定第二情绪信息的具体实现方式,下述实施例进行展开说明。s3、将所述第一情绪信息及所述第二情绪信息进行整合,得到整合后的对象在输入所述语音数据时的情绪信息。在前述分别确定了第一情绪信息及第二情绪信息之后,对二者进行整合,整合后得到的情绪信息作为对象在输入语音数据时的情绪信息。除了上述实施方式之外,本申请还可以采用其它方式来实现。示例如,预先训练整体情绪识别模型,训练时将对象的语音训练数据及对应的识别文本训练数据作为训练样本,将对象在生成语音训练数据时的情绪信息作为样本标签。基于训练后的整体情绪识别模型,可以将获取到的输入的语音数据及对应的识别文本数据输入该模型,得到模型输出的对象在输入语音数据时的情绪信息。接下来,分别对上述s1、s2的实现过程进行展开描述。首先,介绍s1,根据所述语音数据,确定对象在输入所述语音数据时的第一情绪信息的过程。一种可选的实施方式下,本申请可以预先训练语音情绪识别模型,该模型以所述对象的语音训练数据作为训练样本,以标注的生成语音训练数据时对象的情绪信息作为样本标签训练得到。基于训练后的语音情绪识别模型,可以将语音数据输入语音情绪识别模型,得到语音情绪识别模型输出的情绪信息,作为对象在输入语音数据时的第一情绪信息。除了上述实现方式之外,还可以采用其他方式,示例如:从语音数据中提取表达情绪的声学特征,并结合提取的声学特征匹配与之对应的情绪信息,作为对象在输入语音数据时的第一情绪信息。这里,声学特征可以包括声调、响度、基频变化、重读等能够表达情绪的特征。本申请可以预先定义多类情绪特征,如:愤怒、惊讶、喜悦、盼望、恐惧、悲伤、信任、厌恶等。基于此,第一情绪信息的表现形式可以是:每一类型的情绪特征及对应的得分组合。其中,情绪特征的得分表明对应类型情绪特征对对象在输入语音数据时情绪的表达程度。示例如,用户语音输入为:“今天天气很好,我们出去玩吧”根据该语音数据,确定的第一情绪信息为:[愤怒=0、惊讶=20、喜悦=70、盼望=20、恐惧=0、悲伤=0、信任=70、厌恶=0]。进一步地,对s2,根据所述识别文本数据,确定对象在输入所述语音数据时的第二情绪信息的过程进行介绍。一种可选的实施方式下,本申请可以预先训练文本情绪识别模型,该模型以所述对象的语音训练数据对应的识别文本训练数据为训练样本,以标注的生成语音训练数据时对象的情绪信息为样本标签训练得到。基于训练后的文本情绪识别模型,可以将语音数据对应的识别文本数据输入语音情绪识别模型,得到语音情绪识别模型输出的情绪信息,作为对象在输入语音数据时的第二情绪信息。另一种可选的实施方式下,本申请可以预先定义多类情绪特征,如:愤怒、惊讶、喜悦、盼望、恐惧、悲伤、信任、厌恶等。基于此,可以计算识别文本数据与预设的每一类情绪特征的文本相似度。并根据该文本相似度,结合各类情绪特征,确定对象在输入语音数据时的第二情绪信息。其中,文本相似度表明了识别文本数据与情绪特征之间的语义间的相似程度,基于该文本相似度可以确定文本数据与哪一类情绪特征更加贴近。在计算文本相似度时,可以对识别文本数据进行分词,并通过词向量模型确定分词的词向量,进而计算识别文本数据包含的每一分词与情绪特征对应分词的词向量间的距离,对每一分词的距离求平均值,作为识别文本数据与情绪特征间的相似度。可选的,可以将上述文本相似度最高的一个或若干个情绪特征作为第二情绪信息。另外一种可选的情况,可以根据识别文本数据与每一类型情绪特征的文本相似度,确定每一类型情绪特征的得分,该得分表明对应类型情绪特征对对象在输入语音数据时情绪的表达程度。示例如,用户语音输入:“真的可以成功吗!”这句话表明了用户此时的惊讶,但是更多的是一种喜悦,也即,相比于惊讶,喜悦更加能够表征用户当前的情绪,如果通过得分的形式来说明,“惊讶”得分可以是10分,而“喜悦”得分可以是90分。基于上述确定的每一类型情绪特征的得分,可以将每一类型的情绪特征及对应的得分组合为,对象在输入语音数据时的第二情绪信息。为了便于理解,通过一个具体实例进行说明。预先定义8类情绪特征,包括:愤怒、惊讶、喜悦、盼望、恐惧、悲伤、信任、厌恶。用户语音输入对应的识别文本为:“今天天气很好,我们出去玩吧”分别计算上述识别文本与每一类情绪特征的文本相似度,并基于文本相似度确定每一类情绪特征的得分,结果如下表1所示:表1上表1中,将文本相似度转换为情绪特征的得分,如“惊讶”的文本相似度为10%,转换后的得分为10。对于某些类型的情绪特征,其文本相似度可能为0,则对应的转换后的得分也是0。进一步地,可以将每一类型的情绪特征及对应的得分组合为,对象在输入语音数据时的第二情绪信息:[愤怒=0、惊讶=10、喜悦=60、盼望=40、恐惧=0、悲伤=5、信任=60、厌恶=0]。再一种可选的实施方式下,本申请实施例可以预先生成情绪关键词集合,该情绪关键词集合中包含若干情绪关键词。具体地,情绪关键词能够表征情绪特征,且同一情绪关键词可以表征一个或多个不同类型的情绪特征,对不同情绪特征的表征能力也可能不同。进一步,不同情绪关键词可以表征相同类型的情绪特征,也可以表征不同类型的情绪特征。本实施例在预先生成情绪关键词的基础上,进一步预先给定了情绪关键词对每一类型情绪特征的表征能力得分,该表征能力得分表明了对每一类型情绪特征的表征能力。举例说明如下:情绪关键词集合可以包括:开心、中奖、呵呵,难受等。以“开心”为例,其对每一类型情绪特征的表征能力得分为:[愤怒=0、惊讶=0、喜悦=30、盼望=5、恐惧=0、悲伤=0、信任=0、厌恶=0]。再以“中奖”为例,其对每一类型情绪特征的表征能力得分为:[愤怒=0、惊讶=20、喜悦=40、盼望=0、恐惧=0、悲伤=0、信任=0、厌恶=0]。基于情绪关键词集合,确定第二情绪信息的过程可以包括:1)、匹配所述识别文本数据与预设的情绪关键词集合,得到所述识别文本数据包含的目标情绪关键词。具体地,通过对识别文本书数据与情绪关键词集合进行匹配,得到识别文本数据所包含的情绪关键词集合中的目标情绪关键词。2)、参考预设的情绪关键词对每一类型情绪特征的表征能力得分,获取所述目标情绪关键词对每一类型情绪特征的表征能力得分。3)、根据所述目标情绪关键词对每一类型情绪特征的表征能力得分,汇总每一类型情绪特征的表征能力得分的总得分。具体地,目标情绪关键词可以是一个或多个,每一目标情绪关键词对每一类型情绪特征都存在表征能力得分,汇总各目标情绪关键词的表征能力得分,可以得到每一类型情绪特征的表征能力得分的总得分。4)、将每一类型情绪特征及对应的表征能力得分的总得分组合为,对象在输入所述语音数据时的第二情绪信息。举例说明如下:识别文本数据为:“没想到今天中奖了竟然,真开心啊”将其与情绪关键词集合匹配,得到匹配的目标情绪关键词:“中奖”和“开心”。按照前述示例的“中奖”和“开心”这两个情绪关键词对每一类型情绪特征的表征能力得分,汇总可以得到每一类型情绪特征的表征能力得分的总得分:[愤怒=0+0=0、惊讶=0+20=20、喜悦=30+40=70、盼望=5+0=5、恐惧=0+0=0、悲伤=0+0=0、信任=0+0=0、厌恶=0+0=0]。最终得到的第二情绪信息为:[愤怒=0、惊讶=20、喜悦=70、盼望=5、恐惧=0、悲伤=0、信任=0、厌恶=0]。在本申请的又一个实施例中,对上述s3,将所述第一情绪信息及所述第二情绪信息进行整合,得到整合后的对象在输入所述语音数据时的情绪信息的过程进行说明。根据上述对s1、s2步骤的介绍可知,第一情绪信息和第二情绪信息各自可以包含每一类型的情绪特征及对应的得分。基于此,整合过程可以包括:1)将第一情绪信息包含的每一类型的情绪特征的得分,按照对应类型的情绪特征的语音表现权重进行加权,得到对应类型情绪特征的语音表现加权得分。由于不同类型的情绪特征,通过语音表现的程度不一定相同,因此可以为每一类型的情绪特征设置对应的语音表现权重,并将其得分乘以对应的语音表现权重,得到情绪特征的语音表现权重得分。示例如,用户语音输入为:“今天天气很好,我们出去玩吧”根据该语音数据,确定的第一情绪信息为:[愤怒=0、惊讶=20、喜悦=70、盼望=20、恐惧=0、悲伤=0、信任=70、厌恶=0]。以“愤怒”为例,相比于文本,其更加能够通过语音得到很好的表现,因此可以设置“愤怒”的语音表现权重高于文本表现权重,如语音表现权重为0.8,文本表现权重为0.2。再以“盼望”为例,相比于语音,其更加能够通过文本得到很好的表现,因此可以设置“盼望”的文本表现权重高于语音表现权重,如文本表现权重为0.9,文本表现权重为0.1。同理,针对其他类型的情绪特征。本步骤中,对于每一类型情绪特征,将其得分按照对应的语音表现权重相乘,得到语音表现加权得分。如以“盼望”为例,语音表现加权得分=0.8*20=16。2)将第二情绪信息包含的每一类型的情绪特征的得分,按照对应类型的情绪特征的文本表现权重进行加权,得到对应类型情绪特征的文本表现加权得分。本步骤中,对于每一类型情绪特征,将其得分按照对应的文本表现权重相乘,得到文本表现加权得分。示例如,用户语音对应的识别文本为:“今天天气很好,我们出去玩吧”根据该识别文本,确定的第二情绪信息为:[愤怒=0、惊讶=10、喜悦=60、盼望=40、恐惧=0、悲伤=5、信任=60、厌恶=0]。仍以“盼望”为例,文本表现加权得分=0.2*40=8。3)将每一类型的情绪特征的语音表现加权得分与文本表现加权得分相加,得到对应类型情绪特征的综合加权得分。具体地,对于情绪特征x1,根据其语音表现加权得分s1和文本表现加权得分s2,相加得到其综合加权得分s=s1+s2。以上述“盼望”为例,综合加权得分s=16+8=24。4)将每一类型的情绪特征及对应的综合加权得分组合为,对象在输入所述语音数据时的情绪信息。示例如:第一情绪信息为:[愤怒=0、惊讶=20、喜悦=70、盼望=20、恐惧=0、悲伤=0、信任=70、厌恶=0]。第二情绪信息为:[愤怒=0、惊讶=10、喜悦=60、盼望=40、恐惧=0、悲伤=5、信任=60、厌恶=0]。各情绪特征的语音表现权重及文本表现权重参照下表2所示:情绪特征语音表现权重文本表现权重愤怒0.80.2惊讶0.70.3喜悦0.50.5盼望0.10.9恐惧0.60.4悲伤0.40.6信任0.10.9厌恶0.60.4表2基于此,各类型情绪特征按照表2示例的权重加权得到综合加权得分如下:[愤怒=0、惊讶=20*0.7+10*0.3、喜悦=70*0.5+60*0.5、盼望=20*0.1+40*0.9、恐惧=0、悲伤=0+5*0.6、信任=70*0.1+60*0.9、厌恶=0]每一类型的情绪特征及对应的综合加权得分组合为对象在输入所述语音数据时的情绪信息:[愤怒=0、惊讶=17、喜悦=65、盼望=38、恐惧=0、悲伤=3、信任=61、厌恶=0]。进一步可选的,本申请实施例对于确定的情绪信息中,如果某一类型的情绪特征的综合加权得分小于设定阈值,则可以认为该情绪特征不具有表现价值,因此可以将其综合加权得分置为0。假设阈值为10,则针对上述示例的情绪信息,其中“悲伤”的得分3小于10,因此将其得分置为0,最终得到的情绪信息如下:[愤怒=0、惊讶=17、喜悦=65、盼望=38、恐惧=0、悲伤=0、信任=61、厌恶=0]。在本申请的又一个实施例中,对上述步骤s120,确定与所述情绪信息匹配的文本显示模式的过程进行介绍。其中,文本显示模式可以包括至少一个显示属性,如字体大小可以作为一个显示属性、字体颜色可以作为另一个显示属性,除此之外,字体显示特效的类型、显示背景的类型(包括背景亮度、颜色等)、字体显示场景的类型等,均可以作为显示属性。则确定与所述情绪信息匹配的文本显示模式的过程,可以看作:确定与所述情绪信息匹配的每一显示属性的属性值。具体地,在确定与情绪信息匹配的每一显示属性的属性值的过程中,可以以所述情绪信息作为待匹配项,确定匹配的每一显示属性的属性值。对于情绪信息,可以将其量化为数学表达形式,并按照预先建立的情绪信息量化值与每一显示属性的属性值间的对应关系,来确定待匹配项所匹配的每一显示属性的属性值。以前述介绍的情绪信息包含每一类型的情绪特征及对应的得分为例,对情绪信息进行量化时,可以按照下述公式进行量化:m=c1*z1+c2*z2+...+ci*zi+...+cn*zn其中,m为量化后的情绪信息,ci表示第i个情绪特征的权重系数,zi表示第i个情绪特征的得分,n表示情绪信息所包含的情绪特征的数量。可选的,为了避免得分较低的情绪特征对最终量化结果的影响,在对情绪信息进行量化时,可以仅取情绪特征得分排名前n的情绪特征,并对选取的情绪特征按照上式进行量化。此外,考虑到为了避免用户每次输入上屏的文本显示模式不至于过于突兀,如上一条上屏文本的字体为1号,下一条上屏文本的字体变成100号;或者,系统默认字体大小为5号,当前时刻上屏文本的字体变成100号,导致字体大小差异过大影响观感,本实施例在确定与情绪信息匹配的每一显示属性的属性值时,可以在以所述情绪信息作为待匹配项的基础上,增加匹配修正项,匹配得到当前时刻每一显示属性的属性值。其中,匹配修正项可以包括:系统默认的各显示属性的属性值、上一时刻显示文本的各显示属性的属性值中的任意一个或多个。当匹配修正项包括系统默认的各显示属性的属性值时,匹配修正项用于保证所述当前时刻每一显示属性的属性值趋近于系统默认的各显示属性的属性值。当匹配修正项包括上一时刻显示文本的各显示属性的属性值时,匹配修正项用于保证所述当前时刻每一显示属性的属性值趋近于所述上一显示文本的各显示属性的属性值。以字体大小为例,说明确定当前时刻字体大小的过程,具体可以参照下述公式:f=f1(m、f1、f2),f1是系统默认字体大小,f2是上一时刻显示文本的字体大小。其中,f1()函数的形式并不限定,示例如下:进一步,以背景亮度为例,说明确定当前时刻背景亮度的过程,具体可以参照下述公式:b=f2(m、b1、b2、t),b1是系统默认背景亮度,b2是上一时刻显示背景亮度,t是系统时间。其中,f2()函数的形式并不限定,示例如下:上式中t按照24小时制设置,引入系统时间作为修订参数,在不同的时间,环境亮度不同,因此需要结合考虑。当系统时间越接近正午时,亮度会越高,反之,则越低。下面对本申请实施例提供的信息显示装置进行描述,下文描述的信息显示装置与上文描述的信息显示方法可相互对应参照。参见图2,图2为本申请实施例公开的一种信息显示装置结构示意图。如图2所示,该装置可以包括:数据获取单元11,用于获取输入的语音数据及所述语音数据对应的识别文本数据;情绪信息确定单元12,用于根据所述语音数据及所述识别文本数据,确定对象在输入所述语音数据时的情绪信息;模式确定单元13,用于确定与所述情绪信息匹配的文本显示模式;文本显示单元14,用于按照确定的所述文本显示模式,对所述识别文本数据进行显示。可选的,所述情绪信息确定单元可以包括:第一情绪信息确定单元,用于根据所述语音数据,确定对象在输入所述语音数据时的第一情绪信息;第二情绪信息确定单元,用于根据所述识别文本数据,确定对象在输入所述语音数据时的第二情绪信息;整合单元,用于将所述第一情绪信息及所述第二情绪信息进行整合,得到整合后的对象在输入所述语音数据时的情绪信息。可选的,所述第一情绪信息确定单元可以包括:语音情绪识别模型预测单元,用于将所述语音数据输入预置的语音情绪识别模型,得到语义情绪识别模型输出的情绪信息,作为对象在输入所述语音数据时的第一情绪信息;所述语音情绪识别模型为,以所述对象的语音训练数据为训练样本,以标注的生成语音训练数据时对象的情绪信息为样本标签训练得到。可选的,本申请实施例还公开了几种第二情绪信息确定单元的结构,如下:一种可选的情况,所述第二情绪信息确定单元可以包括:文本情绪识别模型预测单元,用于将所述识别文本数据输入预置的文本情绪识别模型,得到文本情绪识别模型输出的情绪信息,作为对象在输入所述语音数据时的第二情绪信息;所述文本情绪识别模型为,以所述对象的语音训练数据对应的识别文本训练数据为训练样本,以标注的生成语音训练数据时对象的情绪信息为样本标签训练得到。另一种可选的情况,所述第二情绪信息确定单元可以包括:文本相似度计算单元,用于计算所述识别文本数据与预设的每一类型情绪特征的文本相似度;文本相似度使用单元,用于根据所述文本相似度,结合各类型情绪特征确定对象在输入所述语音数据时的第二情绪信息。可选的,所述文本相似度使用单元可以包括:得分确定单元,用于根据识别文本数据与每一类型情绪特征的文本相似度,确定每一类型情绪特征的得分;特征及得分组合单元,用于将每一类型的情绪特征及对应的得分组合为,对象在输入所述语音数据时的第二情绪信息。再一种可选的情况,所述第二情绪信息确定单元可以包括:关键词确定单元,用于匹配所述识别文本数据与预设的情绪关键词集合,得到所述识别文本数据包含的目标情绪关键词;表征能力得分确定单元,用于参考预设的情绪关键词对每一类型情绪特征的表征能力得分,获取所述目标情绪关键词对每一类型情绪特征的表征能力得分;表征能力得分汇总单元,用于根据所述目标情绪关键词对每一类型情绪特征的表征能力得分,汇总每一类型情绪特征的表征能力得分的总得分;特征及表征能力得分组合单元,用于将每一类型情绪特征及对应的表征能力得分的总得分组合为,对象在输入所述语音数据时的第二情绪信息。可选的,第一情绪信息和第二情绪信息各自可以包含每一类型的情绪特征及对应的得分,基于此,上述整合单元可以包括:第一加权单元,用于将第一情绪信息包含的每一类型的情绪特征的得分,按照对应类型的情绪特征的语音表现权重进行加权,得到对应类型情绪特征的语音表现加权得分;第二加权单元,用于将第二情绪信息包含的每一类型的情绪特征的得分,按照对应类型的情绪特征的文本表现权重进行加权,得到对应类型情绪特征的文本表现加权得分;加权相加单元,用于将每一类型的情绪特征的语音表现加权得分与文本表现加权得分相加,得到对应类型情绪特征的综合加权得分;特征及加权得分组合单元,用于将每一类型的情绪特征及对应的综合加权得分组合为,对象在输入所述语音数据时的情绪信息。可选的,所述文本显示模式可以包括至少一个显示属性,基于此,模式确定单元可以包括:显示属性值确定单元,用于确定与所述情绪信息匹配的每一显示属性的属性值。可选的,所述显示属性值确定单元可以包括:匹配单元,用于以所述情绪信息作为待匹配项,确定与所述待匹配项匹配的每一显示属性的属性值。可选的,所述匹配单元可以包括:修正匹配单元,用于以所述情绪信息作为待匹配项,以系统默认和/或上一时刻显示文本的各显示属性的属性值作为匹配修正项,匹配得到当前时刻每一显示属性的属性值;其中,所述匹配修正项用于保证所述当前时刻每一显示属性的属性值趋近于所述系统默认和/或上一时刻显示文本的各显示属性的属性值。本申请实施例提供的信息显示装置可应用于信息显示设备,如移动终端、pc终端、云平台、服务器及服务器集群等。可选的,图3示出了信息显示设备的硬件结构框图,参照图3,信息显示设备的硬件结构可以包括:至少一个处理器1,至少一个通信接口2,至少一个存储器3和至少一个通信总线4;在本申请实施例中,处理器1、通信接口2、存储器3、通信总线4的数量为至少一个,且处理器1、通信接口2、存储器3通过通信总线4完成相互间的通信;处理器1可能是一个中央处理器cpu,或者是特定集成电路asic(applicationspecificintegratedcircuit),或者是被配置成实施本发明实施例的一个或多个集成电路等;存储器3可能包含高速ram存储器,也可能还包括非易失性存储器(non-volatilememory)等,例如至少一个磁盘存储器;其中,存储器存储有程序,处理器可调用存储器存储的程序,所述程序用于:获取输入的语音数据及所述语音数据对应的识别文本数据;根据所述语音数据及所述识别文本数据,确定对象在输入所述语音数据时的情绪信息;确定与所述情绪信息匹配的文本显示模式;按照确定的所述文本显示模式,对所述识别文本数据进行显示。可选的,所述程序的细化功能和扩展功能可参照上文描述。本申请实施例还提供一种可读存储介质,该可读存储介质可存储有适于处理器执行的程序,所述程序用于:获取输入的语音数据及所述语音数据对应的识别文本数据;根据所述语音数据及所述识别文本数据,确定对象在输入所述语音数据时的情绪信息;确定与所述情绪信息匹配的文本显示模式;按照确定的所述文本显示模式,对所述识别文本数据进行显示。可选的,所述程序的细化功能和扩展功能可参照上文描述。最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。当前第1页1 2 3 
技术特征:
1.一种信息显示方法,其特征在于,包括:
获取输入的语音数据及所述语音数据对应的识别文本数据;
根据所述语音数据及所述识别文本数据,确定对象在输入所述语音数据时的情绪信息;
确定与所述情绪信息匹配的文本显示模式;
按照确定的所述文本显示模式,对所述识别文本数据进行显示。
2.根据权利要求1所述的方法,其特征在于,所述根据所述语音数据及所述识别文本数据,确定对象在输入所述语音数据时的情绪信息,包括:
根据所述语音数据,确定对象在输入所述语音数据时的第一情绪信息;
根据所述识别文本数据,确定对象在输入所述语音数据时的第二情绪信息;
将所述第一情绪信息及所述第二情绪信息进行整合,得到整合后的对象在输入所述语音数据时的情绪信息。
3.根据权利要求2所述的方法,其特征在于,所述根据所述识别文本数据,确定对象在输入所述语音数据时的第二情绪信息,包括:
匹配所述识别文本数据与预设的情绪关键词集合,得到所述识别文本数据包含的目标情绪关键词;
参考预设的情绪关键词对每一类型情绪特征的表征能力得分,获取所述目标情绪关键词对每一类型情绪特征的表征能力得分;
根据所述目标情绪关键词对每一类型情绪特征的表征能力得分,汇总每一类型情绪特征的表征能力得分的总得分;
将每一类型情绪特征及对应的表征能力得分的总得分组合为,对象在输入所述语音数据时的第二情绪信息。
4.根据权利要求2所述的方法,其特征在于,第一情绪信息和第二情绪信息各自包含每一类型的情绪特征及对应的得分;
所述将所述第一情绪信息及所述第二情绪信息进行整合,得到整合后的对象在输入所述语音数据时的情绪信息,包括:
将第一情绪信息包含的每一类型的情绪特征的得分,按照对应类型的情绪特征的语音表现权重进行加权,得到对应类型情绪特征的语音表现加权得分;
将第二情绪信息包含的每一类型的情绪特征的得分,按照对应类型的情绪特征的文本表现权重进行加权,得到对应类型情绪特征的文本表现加权得分;
将每一类型的情绪特征的语音表现加权得分与文本表现加权得分相加,得到对应类型情绪特征的综合加权得分;
将每一类型的情绪特征及对应的综合加权得分组合为,对象在输入所述语音数据时的情绪信息。
5.根据权利要求1所述的方法,其特征在于,所述文本显示模式包括至少一个显示属性,所述确定与所述情绪信息匹配的文本显示模式,包括:
确定与所述情绪信息匹配的每一显示属性的属性值。
6.根据权利要求5所述的方法,其特征在于,所述确定与所述情绪信息匹配的每一显示属性的属性值,包括:
以所述情绪信息作为待匹配项,确定与所述待匹配项匹配的每一显示属性的属性值。
7.根据权利要求6所述的方法,其特征在于,所述以所述情绪信息作为待匹配项,确定与所述待匹配项匹配的每一显示属性的属性值,包括:
以所述情绪信息作为待匹配项,以系统默认和/或上一时刻显示文本的各显示属性的属性值作为匹配修正项,匹配得到当前时刻每一显示属性的属性值;
其中,所述匹配修正项用于保证所述当前时刻每一显示属性的属性值趋近于所述系统默认和/或上一时刻显示文本的各显示属性的属性值。
8.一种信息显示装置,其特征在于,包括:
数据获取单元,用于获取输入的语音数据及所述语音数据对应的识别文本数据;
情绪信息确定单元,用于根据所述语音数据及所述识别文本数据,确定对象在输入所述语音数据时的情绪信息;
模式确定单元,用于确定与所述情绪信息匹配的文本显示模式;
文本显示单元,用于按照确定的所述文本显示模式,对所述识别文本数据进行显示。
9.根据权利要求8所述的装置,其特征在于,所述情绪信息确定单元包括:
第一情绪信息确定单元,用于根据所述语音数据,确定对象在输入所述语音数据时的第一情绪信息;
第二情绪信息确定单元,用于根据所述识别文本数据,确定对象在输入所述语音数据时的第二情绪信息;
整合单元,用于将所述第一情绪信息及所述第二情绪信息进行整合,得到整合后的对象在输入所述语音数据时的情绪信息。
10.根据权利要求8所述的装置,其特征在于,所述文本显示模式包括至少一个显示属性,所述模式确定单元包括:
显示属性值确定单元,用于确定与所述情绪信息匹配的每一显示属性的属性值。
11.根据权利要求10所述的装置,其特征在于,所述显示属性值确定单元,包括:
匹配单元,用于以所述情绪信息作为待匹配项,确定与所述待匹配项匹配的每一显示属性的属性值。
12.根据权利要求11所述的装置,其特征在于,所述匹配单元包括:
修正匹配单元,用于以所述情绪信息作为待匹配项,以系统默认和/或上一时刻显示文本的各显示属性的属性值作为匹配修正项,匹配得到当前时刻每一显示属性的属性值;
其中,所述匹配修正项用于保证所述当前时刻每一显示属性的属性值趋近于所述系统默认和/或上一时刻显示文本的各显示属性的属性值。
13.一种信息显示设备,其特征在于,包括存储器和处理器;
所述存储器,用于存储程序;
所述处理器,用于执行所述程序,实现如权利要求1-7中任一项所述的信息显示方法的各个步骤。
14.一种可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,实现如权利要求1-7中任一项所述的信息显示方法的各个步骤。
技术总结
本申请公开了一种信息显示方法、装置、设备及可读存储介质,本申请能够根据输入的语音数据及对应的识别文本数据,确定对象在输入语音时的情绪信息,通过确定的情绪信息可以匹配对应的文本显示模式,进而能够控制识别文本数据按照匹配的文本显示模式进行显示,由于该显示的文本已经是按照用户情绪匹配的显示模式进行显示的,因此无需用户再次对显示的文本进行编辑操作,简化了操作步骤且提高了输入效率。
技术研发人员:金超;翟吉博
受保护的技术使用者:科大讯飞股份有限公司
技术研发日:.07.16
技术公布日:.01.24