星辰语义大模型TeleChat超详细部署文档手册
=================星辰语义大模型概述 1,星辰语义大模型TeleChat是由中电信人工智能科技有限公司研发训练的大语言模型,采用1.5万亿 Tokens中英文高质量语料进行训练。 2,开源了对话模型 TeleChat-7B-bot ,以及其 huggingface格式的权重文件。此外,还开源了7B模型的int8和int4量化版本。 ============3,开源的TeleChat模型的优点 3.1,支持deepspeed微调 3.2,开源了基于deepspeed的训练代码,支持Zero并行显存优化,同时集成了FlashAttention2。 3.3,多轮能力支持 3.4,开源了多轮数据构建方式,针对多轮模型训练集成了针对多轮的mask loss训练方式,更好的聚 3.5,焦多轮答案,提升问答效果。 外推能力提升 3.6,开源了8K训练版本模型,采用NTK-aware外推和attention saling外推方式,可以外推到96K。 3.7,具备较好的长文生成能力 在工作总结,工作计划,PPT大纲,申论,招标书,邮件,方案,周报,JD写作等长文写作任务具有较好的表现。