从一个外行视角看GPT

被ChatGPT震撼已经不是什么新鲜事了，作为一个AI算法和架构的外行，今天想到了一个看待GPT的新视角： LLM/GPT的本质，其实是压缩，或者可以称为编解码。 人类从动物演化为人，其实一直在通过编解码（压缩）来传递信息和知识，但编解码处理的单元和范畴一直在跃升。 原始人，可以编解码（压缩）十个数字，十来个动物植物，十来个自然现象，十来个人。也就是将数字、动植物、自然现象、人，进行编码表征，从而可以沟通，从而可以传递，从而可以记录。 到了文明时代，文字可以编解码（压缩）更多的信息，从而表征、沟通、传递和记录更多的知识。 到了计算机时代，乃至后面的互联网、移动互联网时代，编解码的对象更加复杂，但单位始终是一个一个独立的信息单元（比如一张图片，一段声音，乃至一本书，其实一本书的编解码的单元也是一个一个独立的字，但算法可以根据前后文取得更好的压缩比，也就是编码效率）。 现在到了AI时代，伟大的AI架构师们，似乎正在把人类的全部知识作为编解码的单元，用更大（更大，更大）的压缩比，允许更多（更多、更多）的失真，换来整个通用知识的编解码（压缩），压缩后就是一个LLM（大模型），从而可以将整个人