TTS有声书制作平台主要分为内容预处理、内容结构化、后期处理三个部分。

2.1 内容预处理

网文作为一种较新的内容形式，作者的表述多样化，行文风格较传统出版文学有较大的差异性。内容预处理模块即是针对输入小说进行风格提取、文本校对、角色图谱构建等预处理步骤，为下一步合成奠定基础。

2.1.1风格提取

基于网文领域化预训练模型在海量样本构建的小说标签端到端深度语义模型，通过小说个性化标签提取确定小说风格，并基于此自动匹配小说整体音色风格和背景音。

例如：输入《大奉打更人》输出标签仙侠、幻想修仙，匹配得到背景音风格候选为古风系列音频文件。

2.1.2文本校对

（1）文本纠错。基于网文预训练模型构建纠错模型，并在自构建网文纠错样本上进行训练，经评估自研模型远优于开源纠错方案，通过文本纠错极大的减少小说文本易错字提升语音合成准确率。

例如：“之间一个小光点正朝着这边移动”其中“之间”会被纠正成“只见”。

（3）非正文过滤。针对小说中存在非小说正文内容进行过滤，通过海量文本中存在的非小说正文沉淀规则，章末经常出现的ps、注、请假、通知等。

2.1.3 角色图谱构建

为了更好的输出每个角色独有的音色，首先需要做的便是角色的挖掘。故而角色图谱构建，是小说画本构建和音色匹配的基本，主要分成角色、属性挖掘、角色关系三个部分。

（1）角色挖掘。通过现有小说角色信息构建命名实体识别任务，并融合数据样本增强等策略进行端到端模型学习，使用网文预训练bert模型进行文本深度语义提取。例如：输入《大奉打更人》小说正文，提取对应角色名许七安、魏源、李秒真等同时提取其性别属性。

目前已构建男女角色、宝物、神兽、灵丹、功法等6种实体识别。其中角色识别在网文领域实现97%角色提取准确率。

（3）角色关系属性

角色关系属性有利于增强音色筛选的完备性，在小说文本中易出现别名，在进行音色匹配时需要统一，例如“相比起他们，名叫采薇的黄裙少女更多的是充当客卿身份，辅助办案。”其中采薇和黄裙少女是同一个人，应具备相同的音色。构建角色关系及正文组合样本，基于网文预训练模型构建深度语义角色关系模型。目前模型支持别名、兄妹、情侣等6种关系挖掘，例如：

2.2 内容结构化

在TTS生成的过程中，如果希望做到丰富的表达形式，就需要对网文的内容进行结构化，识别出不同的场景、人物、动作甚至不同情感下，具体的表述内容。而这个关于不同部分内容表达形式的分割过程，我们把它定义成“网文内容结构化”，在这个处理过程之后，原先混沌的文本内容，则变成TTS转化过程中可以精准调控的输入。最终在输出TTS内容时，可以指定每段内容，以哪个角色的音色，以什么样的情绪，以及具体常见的一些附属背景音，进行输出。

内容结构化是创建小说画本最核心一环，而小说画本也是实现多角色多情感合成音频自动化的基础。

拆解成对话如下：

在小说文本中单角色、多角色、无角色占比约为17:2:1。故单角色提取已覆盖大部分场景，对于单角色可通过正则关系提取对话正文和旁白中的角色即可，但对于多角色和无角色场景则更为复杂。借助bertsum在文档中进行句子级别分类，构建章节句子角色标注。

在构建样本时将角色名用符号屏蔽，使得模型学习到更多是句式结构特征。

如图，连续的句子通过CLS符号进行连接，经过网文预训练模型对CLS的输出接入分类器网络层进而得到每一个片段对应的分类。

2.2.2 情感和特效场景识别

（1）情感识别

基于Bert构建文本情感分类模型实现文本细颗粒度情感（喜怒哀乐惊恐）分类，通过赋予文本情感属性，再进行语音合成具有情感的音频。

（2）特效场景识别

TTS合成平台维护30余类、超500种特效音库，通过关键词及场景语义提取对小说片段中存在特效的文字位置，并进行准确对轨，提升音频层次丰富度和代入感。

2.2.3 特效音对轨合成

同时对于音色情感波动较大的音色单从耗时无法推算出文字在音频中位置，通过音频静音切割，将音频切成自然句，再进行ASR进行文字转换，针对每个片段精确定位到瀑布所在场景

2.3 后期处理与在线投放

2.3.1 TTS有声书制作平台