开源中国-最新资讯 ( ) • 2024-05-08 10:35

幻方量化旗下组织深度求索发布了第二代开源 MoE 模型:DeepSeek-V2。

据介绍,在目前大模型主流榜单中,DeepSeek-V2均表现出色:

  • 中文综合能力(AlignBench)开源模型中最强,与GPT-4-Turbo,文心4.0等闭源模型在评测中处于同一梯队

  • 英文综合能力(MT-Bench)与最强的开源模型LLaMA3-70B同处第一梯队,超过最强MoE开源模型Mixtral 8x22B

  • 知识、数学、推理、编程等榜单结果也位居前列

  • 支持128K上下文窗口

各大模型API或Chat版本效果对比

此外,DeepSeek-V2 在模型架构也进行创新,采用了自研的 MLA(Multi-head Latent Attention)和 Sparse 结构,可大幅减少模型计算量、推理显存。

价格方面,DeepSeek-V2 API的定价为:每百万tokens输入1元、输出2元(32K上下文),价格为GPT-4-Turbo的近百分之一。

各大模型API价格对比

就中文能力来看,DeepSeek-V2在全球模型中处于第一档的位置,但其成本却是最低的(下图)。

横轴为每百万输入/输出Tokens平均单价

模型&论文双开源

DeepSeek-V2模型和论文完全开源,免费商用,无需申请:

模型权重:

https://huggingface.co/deepseek-ai

技术报告:

https://github.com/deepseek-ai/DeepSeek-V2/blob/main/deepseek-v2-tech-report.pdf