自然语言处理NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 Training a GPT-2 language model
目录
GPT模型简介
- GPT模型简介
- Training a GPT-2 language model
- Step 1: Prerequisites
- 星空智能对话机器人系列博客
- 生成式预训练转换器（GPT）是由OpenAI团队构建的一系列基于深度学习的语言模型。GPT-3是一个预先训练过的NLP系统，提供了5000亿标记训练数据集，包括维基百科（wikipedia）和通用爬网（Common Crawl），它可以抓取大多数互联网页面。据称，由于其xunl数据集的全面性，它不需要特定领域的培训。
5000亿标记论文：https://arxiv.org/pdf/2005.14165.pdf
