分分10分快三官方_10分快三登入强化学习在生成对抗网络文本生成中扮演的角色(Role of RL in Text Generation by GAN)(上)

  • 时间:
  • 浏览:81
  • 来源:彩神大发快3下载

雷锋网 AI科技评论按,本文作者华南理工大学胡杨,本文首发于知乎专栏GAN + 文本分分10分快三官方_10分快三登入生成 + 读博干货,雷锋网(公众号:雷锋网) AI科技评论获其授权转载。

1.基础:文本生成模型的标准框架

文本生成(Text Generation分分10分快三官方_10分快三登入)通过 机器学习 + 自然语言处理 技术尝试使AI具他们类水平的语言表达能力,从一定程度可不后能 够反应现今自然语言处理的发展水平。

下面用极简的描述介绍一下文本生成技术的大体框架,具体可不后能 参阅各种网络文献(比如:CSDN经典Blog“好玩的文本生成”[1]),论文等。

文本生成按任务来说,比较流行的有:机器翻译、分分10分快三官方_10分快三登入话语生成、对话生成等,本文着重讨论底下一种。基于深层学习的Text Generator 通常使用循环神经网络(Basic RNN,LSTM,GRU等)进行语义建模。在话语生成任务中,一种常见的应用:“Char-RNN”(这里“Char”是广义上的称谓,可不后能 泛指另另另五个 字符、单词或或多或少文本粒度单位),嘴笨 简单基础但可不后能 清晰反应话语生成的运行流程,首先需要建立另另另五个 词库Vocab中有 机会突然出显的所有字符或是词汇,每次模型将预测得到话语中下另另另五个 将突然出显的词汇,要知道softmax输出的时候 另另另五个 概率分布,其维度为词库 Vocab 的size,需分分10分快三官方_10分快三登入再通过函数将输出概率分布转化为 One-hot vector,从词库 Vocab 中检索得出对应的词项;在“Char-RNN”模型训练时,使用窗口在语料上滑动,窗口之内的上下文及其后紧跟的字符配合分别为一组训练样本和标签,每次以按照固定的步长滑动窗口以得出完全“样本-标签”对。

与话语生成任务之类,对话生成以每组Dialogue作为“样本-标签”对,循环神经网络RNN_1对Dialogue上文进行编码,再用原先循环神经网络RNN_2对其进行逐词解码,并以上另另另五个 解码神经元的输出作为下另另另五个 解码神经元的输入,生成Dialogue下文,需要注意的是:在解码前需配置“开始英语 英语 ”标记 _,用于指示解码器Decoder开启Dialogue下文首词(or 字)的生成,并配置“开始英语 英语 ”标记 _,用于指示解码器开始英语 英语 当前的 Text Generation 守护多多线程 。

这便是众所周知的“Seq2Seq”框架的基础形态,为了提高基础Seq2Seq模型的效果,直接从解码器的深层有诸如 Beam-Search Decoder[2]、Attention mechanism Decoder[3](配置注意力机制的解码器)等改进,而从神经网络的形态入手,就有诸如Pyramidal RNN[4](金字塔型RNN)、Hierarchical RNN Encoder[5](分层循环网络编码器)等改进。改进不计其数,不一一详举,但不管要怎样,预测结果的输出始终也另另另五个 多维度为词库大小的概率分布,需要再甄选出最大值的Index,到词库Vocab中检索得出对应的单词(or 字符)。

2.什么的问题:GAN缘何不到直接用于文本生成

2.1. GAN基础知识

GAN对于他们而言想必机会脍炙人口了,这里做或多或少简单的复习。GAN从形态上来讲巧妙而简单(尽管有与或多或少经典工作Idea之类的争议[6~7]),也非常易于理解,整个模型只另另另五个 多部件:1.生成器G;2.判别器D。生成模型嘴笨 由来已久,什么都有有生成器也无须新鲜,生成器G的目标是生成出最接近于真实样本的假样本分布,在以前没办法 判别器D的以前,生成器的训练依靠每轮迭代返回当前生成样本与真实样本的差异(把这一 差异转化成loss)来进行参数优化,而判别器D的突然出显改变了这一 点,判别器D的目标是尽机会准确地辨别生成样本和真实样本,而这时生成器G的训练目标就由最小化“生成-真实样本差异”变为了尽量弱化判别器D的辨别能力(这以前训练的目标函数中中有 了判别器D的输出)。GAN模型的大体框架如下图所示: