最新微软官方MSDN原版Win10系统下载

当前位置:主页 > 系统教程 > XP教程 >

OpenAI的GPT-2:用Python构建世界上最先进的文本生成器-爱赢体育

时间:2021-07-24    来源:爱赢体育    人气:

本文摘要:先容“The world’s best economies are directly linked to a culture of encouragement and positive feedback.”你能猜到上面那句话是谁说的吗?这并不是某位总统或首相,固然也不是像Raghuram Rajan那样的顶尖经济学家说出来的。这句话是由我们的机械发生的!是的,你没听错,这是一个在OpenAI的GPT-2框架上训练的自然语言处置惩罚(NLP)模型训练“说出”了这句话。

爱赢体育

先容“The world’s best economies are directly linked to a culture of encouragement and positive feedback.”你能猜到上面那句话是谁说的吗?这并不是某位总统或首相,固然也不是像Raghuram Rajan那样的顶尖经济学家说出来的。这句话是由我们的机械发生的!是的,你没听错,这是一个在OpenAI的GPT-2框架上训练的自然语言处置惩罚(NLP)模型训练“说出”了这句话。所以你现在以为机械学习的状态完全在另一个条理上了吗?在NLP真正的黄金时代,OpenAI的GPT-2改变了我们处置惩罚文本数据的方式。

ULMFiT和谷歌的BERT轻松地为NLP喜好者打开了大门,而GPT-2则打破了这一局势,使NLP任务(主要是文本生成)的事情变得越发容易。在本文中,我们将使用GPT-2构建我们自己的文本生成器。

有没有一点小期待呢?让我们开始进入正文。我们将首先直观明白GPT-2,然后直接进入Python构建文本生成模型。另外,如果你是一个狂热的NLP追随者,我想你会喜欢下面关于NLP最新生长的指南和教程:8个优秀的预训练模型:https://www.analyticsvidhya.com/blog/2019/03/pretrained-models-get-started-nlp/?utm_source=blog&utm_medium=openai-gpt2-text-generator-pythonTransformers先容:https://www.analyticsvidhya.com/blog/2019/06/understanding-transformers-nlp-state-of-the-art-models/?utm_source=blog&utm_medium=openai-gpt2-text-generator-pythonPyTorch-Transformers先容:https://www.analyticsvidhya.com/blog/2019/07/pytorch-transformers-nlp-python/?utm_source=blog&utm_medium=openai-gpt2-text-generator-pythonStanfordNLP先容:https://www.analyticsvidhya.com/blog/2019/02/stanfordnlp-nlp-library-python/?utm_source=blog&utm_medium=openai-gpt2-text-generator-pythonOpenAI的GPT-2框架有什么新特性?自然语言处置惩罚(NLP)在已往的几年里以惊人的速度生长,机械现在能够明白句子背后的语境,当你思考这个问题时,你会发现这是一个真正具有里程碑意义的成就。

由OpenAI开发的GPT-2是一个预训练语言模型,我们可以使用它来完成种种NLP任务,好比:文本生成语言翻译建设问答系统等等语言模型(LM)是现代自然语言处置惩罚的重要任务之一。语言模型是预测文档中下一个单词或字符的概率模型。

GPT-2是OpenAI最初的NLP框架GPT的继续者,完整的GPT-2模型有15亿个参数,险些是GPT参数的10倍。正如你可能已经猜到的那样,GPT-2给出了最先进的效果(稍后我们将会看到)。这个预训练的模型包罗了从Reddit的出站链接中收集的800万个网页的数据。

让我们花一分钟来相识一下GPT-2是如何事情的。架构GPT-2的架构是基于谷歌在他们的论文“Attention is all you need”中提出的很是著名的Transformers观点。Transformers提供了一种基于编码器息争码器的机制来检测输入输出依赖关系。

在每个步骤中,模型在生成下一个输出时,将前面生成的符号作为分外的输入使用。除了有更多的参数和Transformers层外,GPT-2只有少量架构修改:模型使用更大的上下文和词汇量在最后一个self-attention块之后,添加了一个分外的normalization层与“building block”类型的残差学习单元类似,将层规范化移动到每个子块的输入。

它在权重层之前应用批量尺度化,这与原来的“bottleneck”类型差别 "GPT-2在种种领域特定的语言建模任务上取得了最先进的结果。我们的模型不是针对任何特定于这些任务的数据举行训练的,而是作为最终测试对它们举行评估,这就是所谓的zero-shot设置。当对相同的数据集举行评估时,GPT-2的性能优于针对领域特定数据集(如Wikipedia、news、books)训练的模型。

" --OpenAI团队训练了四种差别参数的模型,以适应差别的场景:GPT-2能够基于小的输入语句生成整篇文章,这与早期的NLP模型形成了鲜明的对比,早期的NLP模型只能生成下一个单词,或者在一个句子中找到缺失的单词。下面是GPT-2如何与其他类似的NLP模型举行比力: Base model pre-training Downstream tasks Downstream model Fine-tuning GPT Transformer decoder unsupervised m。


本文关键词:OpenAI,的,爱赢体育,GPT-2,用,Python,构建,世界上,最,先进

本文来源:爱赢体育-www.sfwhstudio.com

相关文章

XP教程排行榜

更多>>

U盘装系统排行榜

更多>>

系统教程排行榜

更多>>

公众号