CA周记 - 带你进⼊ OpenAI 的世界.doc
版权申诉
43 浏览量
2022-07-10
09:50:40
上传
评论
收藏 1.54MB DOC 举报
CA 周记 - 带你进⼊ OpenAI 的世界
2021 年 11 月的 Microsoft Ignite ， 微软带来了全新的 Azure OpenAI Service，通过新的
Azure 认知服务能够访问 OpenAI 强大的 GPT-3 模型 。 虽然微软还没有正式开放 Open AI
Service ， 但 GitHub 和 OpenAI 已经推出了基于 GPT-3 的新模型 Codex 的工具 -
Copilot ，通过它可以帮助软件开发人员更高效地编写代码。我相信不少小伙伴都已经开始
在 Visual Studio Code / Visual Studio 使用 Copilot 感受到 GPT-3 的威力。 作为开发者，
希望微软能尽快开放相关文档， 能尽快掌握相关技能 。 为了满足各位要求， 今天我就带
大家进入 OpenAI 。
GPT-3 介绍
2020 年 5 月，Open AI 发表了一篇开创性的论文，题为 Language Models Are Few-Shot
Learners。 他们展示了 GPT-3 语言模型，它使用了一个具有 1750 亿个参数的神经网络。
GPT-3 使用来自 CommonCrawl、WebText、维基百科和书籍语料库的数据进行训练， 并
在各种自然语言处理任务中表现出惊人的性能，包括翻译、问答和完形填空任务。在性能上
GPT-3 也是非常优秀， 超过了很多现有的模型。2020 年 7 月，也就是论文发表两个月后，
OpenAI 开放了一个 beta API playground，大家可以通过 API 方式访问 GPT-3 模型。
GPT-3 的几个主要特点
1. 零/单/少样本学习(Zero/one/few-shot learning)： 通常，深度学习会针对一组特定的类别
进行训练和测试。 如果计算机视觉中对星球大战中的 BB8 , R2D2 , C3PO 进行分类，在测
试过程中就只能针对这三个类别进行。 但在零样本学习设置中，系统在测试时，可以使用
不在训练内的类别（例如，用曼努达人做测试）。 单/少样本学习(one-shot 和 few-shot) 也
是一个道理，在测试时，系统会分别看到一个或几个新的类别。
2. 零/单/少样本任务迁移(Zero/one/few-shot task transfer)： 这个整合了 零/单/少样本学习
和多任务学习的概念。 新任务（或者显示零个、一个或几个新任务的示例）可以随时执行，
而不是在测试时才展示新类。 例如， 输入 “I love you -> 我爱你。 I miss you -> ____。”
GPT-3 就可以通过单样本任务迁移 ，把之前没有训练过的英语转中文的任务执行起来
3. Transformers： Transformers 是解决机器翻译问题的框架, 有一个简单的网络结构，基
于自注意机制，不依赖于递归和卷积完全。通过并行计算使 Transformer 效率高，需要更少
的训练时间。
资源评论
