小黑盒游戏新闻 ( ) • 2024-04-28 17:36

通义千问于4月28日宣布推出1100亿参数模型Qwen1.5-110B,成为全系列首个达到千亿级参数的开源模型。

该模型沿用了Qwen1.5系列的Transformer解码器架构,并采纳了分组查询注意力方法,显著提高了推理效率。模型支持长达32K的上下文长度,具备卓越的多语言处理能力,兼容包括中文、英语、法语、德语等在内的多种语言。

在MMLU、TheoremQA、GPQA等多个基准测评中,Qwen1.5-110B展现出卓越性能,基础能力与Meta发布的Llama-3-70B模型相媲美。目前,通义千问已累计开源10款大模型,模型下载量超过700万。此外,通义千问的大模型已在多个领域得到应用,如新东方、同程旅行、长安汽车等企业已接入通义大模型。