ChatGPT之训练自己的模型

ChatGPT是“⼤⼒出奇迹”的经典表现，⼤模型给ChatGPT带来了惊⼈的智能，但是 要训练这样的⼤模型，可是⼗分烧钱的，根据OpenAI给出的数据，1700亿参数的 Davinci模型从头训练⼀遍，⼤概需要耗时3个⽉，耗资150万美元。那我们普通⼈ 或者⼩公司⾯对这个⾼⻔槛，对⾃定义模型是不是就完全没有希望了呢？其实除了从 头训练⼀个模型，我们还可以选择基于⼀个基础模型进⾏训练，这样，我们可以往⾥ 添加⾃⼰的个性化数据，最终得到⼀个领域增强的个性化模型，这个技术被OpenAI 称为Fine-tuning。 个性化模型有什么⽤？我们知道，OpenAI给的模型（如Davinci、Curie、gpt- 3.5-turbo）都是通⽤化模型，⽽现代社会的⾏业和知识如此之庞⼤，每个领域都有 ⾃⼰细分的专业知识，⽐如，我们知道ChatGPT的⼀个典型应⽤场景就是智能客服， 但同样是客服，保险领域的客服和淘宝店铺的客服需要⾯对的客⼾和需要解答的问题 就完全不⼀样，想要给出更好的答案，我们就需要打磨⾃⼰的个性化模型。