1 简介
互联网上有很多有关提示的材料,例如《30 prompts everyone has to know》之类
的文章。这些文章主要集中在 ChatGPT Web 用户界面上,许多人在使用它执行
特定的、通常是一次性的任务。但是吴恩达教授认为 LLM 或大型语言模型作为
开发人员的更强大功能是使用 API 调用到 LLM,以快速构建软件应用程序。
随着大型语言模型(LLM)的发展,LLM 大致可以分为两种类型,即基础 LLM 和
指令微调 LLM。
基础 LLM 是基于文本训练数据,训练出预测下一个单词能力的模型,其通常是
在互联网和其他来源的大量数据上训练的。例如,如果你以“从前有一只独角兽”
作为提示,基础 LLM 可能会继续预测“生活在一个与所有独角兽朋友的神奇森林
中”。但是,如果你以“法国的首都是什么”为提示,则基础 LLM 可能会根据互联
网上的文章,将答案预测为“法国最大的城市是什么?法国的人口是多少?”,因
为互联网上的文章很可能是有关法国国家的问答题目列表。
许多 LLMs 的研究和实践的动力正在指令调整的 LLMs 上。指令调整的 LLMs
已经被训练来遵循指令。因此,如果你问它,“法国的首都是什么?”,它更有可
能输出“法国的首都是巴黎”。指令调整的 LLMs 的训练通常是从已经训练好的基
本 LLMs 开始,该模型已经在大量文本数据上进行了训练。然后,使用输入是指
令、输出是其应该返回的结果的数据集来对其进行微调,要求它遵循这些指令。
然后通常使用一种称为 RLHF(reinforcement learning from human feedback,人
类反馈强化学习)的技术进行进一步改进,使系统更能够有帮助地遵循指令。
因此,本课程将重点介绍针对指令调整 LLM 的最佳实践,这是我们建议您用于
大多数应用程序的。
2 编写 Prompt 的原则
2.1 环境配置
前提: 使用百度的 notebook jupyter(aistudio.baidu.com/),也可以使用阿里云或…
安装库:
!mkdir /home/aistudio/external-libraries
!pip install openai -t /home/aistudio/external-libraries
!pip install python-dotenv -t /home/aistudio/external-libraries
import sys
sys.path.append('/home/aistudio/external-libraries')复制代码
openai 的 API:
!export OPENAI_API_KEY='api-key'
import openai