中国联通AI创新中心发布业界第一个Llama 3中文指令微调模型，以Meta Llama 3为基础，增加中文数据进行训练，实现Llama 3模型高质量中文问答，模型上下文保持原生长度8K，支持长度64K版本将于后续发布。
地址：UnicomLLM/Unichat-llama3-Chinese-8B
介绍
- 中国联通AI创新中心发布业界第一个llama3中文指令微调模型，2024年4月19日22点
- 本模型以Meta Llama 3为基础,增加中文数据进行训练,实现llama3模型高质量中文问答
- 模型上下文保持原生长度8K，支持长度64K版本将于后续发布
- 陆续发布700亿参数中文微调版本，长文本版本和加入中文二次预训练版
- 基础模型Meta-Llama-3-8B
数据
- 高质量指令数据，覆盖多个领域和行业，为模型训练提供充足的数据支持
- 微调指令数据经过严格的人工筛查，保证优质的指令数据用于模型微调
相关内容