InfoQ 推荐 ( ) • 2024-05-15 16:50

作者 | 华卫

5 月 15 日,火山引擎发布了字节跳动研发的豆包大模型家族,今天起正式开启对外服务。而豆包的定价,让大模型从以分计价进入到了以厘计价的时代。

“不仅效果好,人人用得起的才是好模型。”火山引擎总裁谭待表示,大的使用量,才能打磨出好模型,也能大幅降低模型推理的单位成本。

据披露,豆包主力模型 pro-32k 版的模型推理输入价格仅为 0.0008 元 / 千 Tokens,相当于一元钱就能买到 125 万 Tokens,比行业价格低 99.3%;在处理 128K 长文本时,豆包通用模型 pro 的推理输出价格为 0.005元/ 千 Tokens。

谭待认为,大模型要做好有三个关键挑战:模型效果、推理成本、落地难度,用的人越多,调用量越大,才能让模型越来越好。在 2024 火山引擎春季 Force 原动力大会上,火山引擎推出的一站式大模型服务平台火山方舟、扣子应用也带来了最新的技术升级动态升级。

豆包模型官网:https://www.volcengine.com/product/doubao

豆包模型家族亮相

日均处理 1200 亿 Tokens

豆包系列模型由字节跳动研发,包括从语义、声音到图像的多模态内容家族,还可以创建个性化定制的智能体,能够通过便捷的自然语言或语音交互,高效完成互动对话、信息获取、协助创作等任务。

其中,豆包通用模型 pro 是字节跳动自研 LLM 模型专业版,具有理解、生成、逻辑和记忆等综合能力,窗口尺寸最大支持 128K 长文本,并可精调,适配场景更加通用。豆包通用模型 lite 是性价比更高的轻量版,对比 pro 版本千 Tokens 成本下降 84%、延迟降低 50%,为企业提供灵活经济的模型选择。

在声音方面,豆包有具备语音合成、声音复刻和语音识别方面的三个模型,不仅善于表达多种情绪,而且 5 秒即可实现声音一比一克隆,对音色相似度和声音自然度进行高度还原,还支持复刻声音的跨语种迁移。语音识别效果尤其在科技,教育,医疗等垂直领域表现突出,并善于处理口音、噪音等复杂场景的语音识别。

而豆包·文生图模型擅长对中国特色文化的理解和输出,豆包·Function Call 模型是当前支持扣子的主力模型,可根据不同的输入指令和情景,选择不同的函数和算法来执行相关任务。

豆包·角色扮演模型则可以根据人物设定进行演绎,具备个性化的角色创作能力、上下文感知能力强和剧情推动能力,可以满足用户更加个性化的角色扮演需求。据字节跳动产品和战略副总裁朱骏透露,豆包上已有超过 800 万个智能体被创建。

此外,朱骏还谈到很多豆包在产品设计上的思考。“用户的核心需求没有变化,包括高效获取信息、工作提效、自我表达、社交娱乐等,在快速演化的是技术。对于大模型的应用,其定义了三个设计原则:拟人化、离用户近、个性化。

豆包名字的由来正是,希望产品的名字和大模型一样是拟人化的,像身边亲密的朋友或家人在日常生活当中愿意用的昵称一样,能够成为用户随身携带的“语音百事通”、桌面端文案创作小助手、嵌入到用户现有使用环境的代码生成和注释助手。

“经过一年时间的迭代和市场验证,豆包大模型正成为国内使用量最大、应用场景最丰富的大模型之一,目前日均处理 1200 亿 Tokens 文本,生成 3000 万张图片。”谭待表示。

现场,谭待还首次披露了豆包大模型的月度活跃用户情况,双端月活用户量达到 2600 万。目前,豆包模型已用于豆包 App、扣子、河马爱学、飞书智能伙伴、抖音电商、剪映、番茄小说等字节跳动旗下产品及业务,并通过火山方舟向智能终端、汽车、金融、消费等行业的众多客户提供服务。

火山方舟升级 2.0 版来了

此次火山方舟平台进行了全新的升级,推出方舟 2.0 平台,新平台发布了三个重要的大模型插件。火山方舟是火山引擎发布的大模型服务平台,提供模型训练、推理、评测、精调等全方位功能与服务,并重点支撑大模型生态。

火山方舟 2.0 升级的主要亮点如下:

联网插件:提供抖音头条同款搜索能力,能够实时连接海量优质互联网数据和抖音的独有数据,并且可以通过业内领先的意图识别能力,提供给用户更准确和更全面的回答。内容插件:独家上架了抖音内容插件,可以独家的提供抖音丰富的视频和图文内容,并且作为相关重要信息去丰富大模型和用户的交互过程。RAG 知识库插件:内置了字节跳动多年实践沉淀的大规模高性能向量检索能力,百亿级别数据可以实现毫秒级检索,支持秒级索引流式更新,可以实现新增数据能够实时被检索到,知识库插件也内置了豆包向量化模型,中文场景效果领先, 可以给用户提供更好的搜索相关性。同时,文档解析环节集成了飞书优秀的文档解析能力,支持 pdf、doc、ppt、excel、txt、markdown 等多种复杂类型文档解析能力。

除了核心插件外,方舟 2.0 也对系统的承载能力、安全保护能力和算法服务能力进行全面提升。首先是系统承载能力,火山方舟提供了超过万卡公有云 GPU 资源池来支持大模型的推理服务,并能够提供 5 秒接入新建精调模型的弹性调度,仅需 3 分钟就能完成千卡扩容,来支撑企业在应用大模型过程中可能出现的突发流量和业务高峰。

在安全可信上,方舟 2.0 通过传输加密、数据加密和独有的大模型安全沙箱功能,能够在模型精调、部署和应用的过程中实现安全增强,不仅可以防止恶意攻击模型的污染,而且可以有效保护企业内部数据不会发生泄露。

算法服务方面,火山方舟平台配备了专属的大模型的算法团队。

“人人都是 AI 应用开发者”

扣子专业版发布

“AI 在通常的理解中是一个难且贵的概念,难在于大模型本身的技术复杂性,而贵在于它的训练和推理成本。目前其主要的时间场景仍局限在搜索引擎和修图工具,但大语言模型真正的潜力远不止于此。”扣子产品经理潘宇扬表示,扣子产品能够连接大模型和用户场景。

据介绍,作为新一代 AI 应用开发平台,无论是否有编程基础,都可以在扣子上快速搭建基于大模型的各类 bot,并将其发布到各种社交平台、通讯软件或部署到网站等其他渠道。

目前,扣子专业版已集成在火山引擎的大模型服务平台“火山方舟”上,提供企业级 SLA 和高级特性。招商银行、海底捞火锅、超级猩猩、猎聘等企业,已在扣子上搭建了智能体。复旦大学、浙江大学等名校也为课程和实验搭建 AI“助教”。