即時財經 - 聯合新聞網 ( ) • 2024-04-10 09:15
联发创新基地负责人 许大山博士(左二)、联发创新基地 资深技术经理 陈宜昌(左一)、联发科技 人工智慧暨数据工程处协理 叶家顺(右二)、联发科技 人工智慧暨数据工程处副处长 杨建洲 (右一)。联发科提供联发创新基地负责人 许大山博士(左二)、联发创新基地 资深技术经理 陈宜昌(左一)、联发科技 人工智慧暨数据工程处协理 叶家顺(右二)、联发科技 人工智慧暨数据工程处副处长 杨建洲 (右一)。联发科提供

「对于(营收)4,500亿的公司来说,这是ESG的概念,即使收费也一点都不显著。」联发科(2454)人工智慧暨数据工程处副处长杨建州谈到开发生成式AI服务平台「MediaTek DaVinci」(联发科技达哥)及大语言模型(LLM)MR BreeXe背后的动机,除董事长蔡明介要求追求技术力,更希望台湾产业加速导入生成式AI。

联发科9日发表450亿参数的繁中语言模型MR BreeXe,为何这家IC设计公司坚持投资大语言模型LLM?联发创新基地负责人许大山表示,董事长蔡明介曾说联发科是一个以技术力为主,而不是以产品为主的公司,所以要做就做对世界有最重要影响的技术,以最好的人才去掌握,「而AI最重要的技术就是大语言模型」。

/*.innity-apps-underlay-ad {z-index: 34 !important; }*/ .innity-apps-underlay-ad ~ .header {z-index: 35;} .innity-apps-underlay-ad ~ .main-content .inline-ads { background: transparent;} #eyeDiv ~ .footer{ position: relative; z-index: 2;} /* sizmek_underlay 投递调整置底 z-index 权重 */ .article-content__abbr__text {display:inline-block;} /* to be remove */

另外,联发科运用「达哥」作为集团内部提高生产力的生成式AI工具平台已久,目前应用渗透率96%,跨部门生成式AI专案超过50个,88%使用同仁认同可以提升工作效率,从软体开发需求分析、人资自动媒合、财务报销都有用AI协助。

如今达哥变身成有40多家企业参与的开放平台生态系,能串接各家大语言模型如Anthropic公司Claude2/3、Google Vertex AI、Amazon Bedrock、微软Cognitive AI、GPT3.5/4、DALLE3、及Google Gemini等,开放开发者上传客制化外挂插件,成为百工百业都能应用的生成式AI工具平台,尤其是企业希望在「地端」使用生成式AI时,而目前国际开源大语言模型(LLM)可落地的选择少,联发科打造自有LLM就十分重要。

「在企业内部封闭环境,很多模型用不了,要就得自己下载去DIY,做得头破血流,所以我们做了这个450亿参数的模型,有很好的表现,看在这方面能不能帮大家一点?」许大山表示,MR BreeXe强调可以支援全地端或部分地端。

许大山透露,2年前联发科决投入生成式AI,就是对标OpenAI,目标打造的大语言模型要成为繁中版GPT4。

联发科这套LLM用辉达(NVIDIA)16台「DGX H100」AI系统,训练历时一个月,在繁中测试项目上表现超过GPT3.5。

许大山透露,2年前联发科锁定投入生成式AI时,同仁都不知怎么做,「不会做,才更要做!」许大山指出,MR BreeXe不是联发科最后一个大语言模型,「期望技术力能跟世界上最强的一样强。」

不过,随联发科发布旗下大语言模型MR BreeXe,AI业者认为,该模型是基于Mixtral所开发,而Mixtral的弱点是呼叫外部功能能力不如OpenAI,后者目前是在功能呼叫上做得最好的,但若企业将生成式AI落地,则势必是不能用OpenAI。

联发科「MR BreeXe」是以Mixtral 8x7B模型为基础去开发,具备Mixtral多专家模型的特色,运算资源节省,而联发科又根据繁中进行优化,并导入生成式AI检索增强生成(RAG)功能,可以让企业在地端取用内部文件档案协助工作,速度比Mixtral快,「我希望生成式AI可以普及台湾各产业,生成式AI是一个平台,联发科已经做出来了,大家不要再花时间做。」许大山说。

而助攻联发科训练该大语言模型的伙伴是NVIDIA,NVIDIA去年在台湾设立「人工智慧创新研发中心」,去年底建置完成超级电脑「Taipei-1」后,建置64个DGX H100系统,而第一个从Taipei-1训练出来的AI模型就是MR BreeXe,用掉系统资源1/4,凸显联发科与辉达关系密切。辉达的Taipei-1预计7月将释出25%算力给一般企业团队免费申请。

不仅辉达助攻,生成式AI服务应用平台「达哥」背后整合8个大模型服务,云端服务由微软Azure支援,联发科很快将对外宣布达哥的服务方案,并透过协力系统整合商对外提供导入服务,目前系统整合商包括宏碁资讯、云馥数位、赛微科技及纬创软体。

意蓝科技是AI语意分析、搜寻引擎、商业数据分析业者,在达哥平台上也推出相关应用。意蓝策略行销副总经理张建文表示,透过舆情资料库开发出两个小助理,一个是风向小精灵,另一个反向推出炎上小精灵,让AI可以像幕僚一样提前预警企业什么事件可能会导致公司被「炎上」,联发科透过广邀开发者加入,在达哥平台推出并分享AI插件,未来商业模式将随生态系逐渐丰富化进一步落实。