新聞 | iThome ( ) • 2024-04-26 14:39

玉山银行智能金融处负责打造通用型GenAI平台GENIE,目前已开放内部行员使用11项应用服务,1项应用服务正在开发中。中为玉山金控科技长张智星,担任智能金融处处长,带领团队发展生成式AI。左为玉山银行智能金融处资深副总工程师林钲育,右为玉山银行智能金融处副主任工程师徐铭霞,是GENIE平台的开发团队成员。(摄影/洪政伟)

去年11月,玉山在一场公开活动中展示一个生成式AI应用服务——智能法律回复生成系统,提供内部行员快速检索法规内容。系统介面是一个Chatbot,当行员输入法遵相关提问,介面上会显示简短回复和法源依据,并提供内外规范的法条比对,协助行员快速掌握内外规范,因应外部变动调整内部法规。

这个案例不只是玉山发展的唯一一项生成式AI服务。经过一年来的开发、测试,今年初,玉山正式对内推出通用型GenAI平台GENIE,开放行员使用11项生成式AI应用服务,另有1项服务正在开发中。

这12项应用服务中,可区分为基础和进阶应用服务。起初,玉山仅单纯将GENIE平台介接LLM模型服务,提供基础版应用服务,例如,纯文字和图片生成、会议记录生成和摘要总结翻译等,每项应用服务都能适用于多种场景。

随著平台收到更多使用资料,玉山开始挖掘使用者常在哪些情境下使用特定应用服务,接著针对场景开发进阶版应用服务,提升平台在特定场景的服务能力。例如,法规文件比对、市场资讯摘要和生成,或运用客服资料进行顾客情绪分析。

基础和进阶应用服务各有6项

玉山规画的基础应用服务共有6项,最基础的服务包括纯文字和图片生成、会议记录生成服务,复杂度一路提升,从摘要总结翻译、分类和分析,到Chatbot知识搜索,最后则是支援非文字形式的音档、影像资料萃取服务。目前,玉山将基础服务延伸至特定场景,开发出6项进阶应用服务。其中,摘要总结翻译的进阶服务有1项,分类和分析的进阶服务有3项,Chatbot知识搜索的进阶服务则有2项。

相比最常见的纯文字生成、会议记录生成服务,摘要总结翻译服务的定位是解读大量文件,提取出重要资讯。玉山选择将摘要总结翻译服务延伸至KYC(know your customer)调查场景,协助摘要和生成市场资讯,结合RPA技术,不仅能快速搜集、摘要客户的负面新闻,还能定期产出客户交易对手的负面新闻和报告。这项进阶应用服务能协助理专人员快速撰写征审报告,也能协助一般银行行员掌握时事对金融产品带来的冲击。

选定技术开发、客服和商业数据分析场景,发展进阶分类和分析应用服务

分类和分析则是更进阶的摘要总结翻译服务,汇入资料形式不局限于文字,还包括数据、程式码,这项服务是运用LLM模型理解大量文件和数据资料后,协助快速归类,同时提供对数据、程式码的分析解读。玉山看准3种应用场景,发展出3项分类和分析的进阶服务,分别是程式码教学服务、数据分析与教学,和顾客情绪分析。

第一种场景是技术开发,玉山发展程式码教学服务,当技术人员在开发时面对卡关情况,可以借由LLM模型服务提供教学指示,或是用来分析结构较复杂的程式码,并提供建议注解,加速开发流程。玉山金控科技长张智星指出,完全让模型生成程式码,反而容易出错。因此,玉山并未发展程式码生成工具,而是开发程式码教学服务。

第二种场景是客服应用。玉山推出导入生成式AI的顾客情绪分析服务,不仅能协助行员分析来自客服Chatbot和留言板的文字讯息,也能将语音讯息转为文字,让行员直接从文字来分析顾客情绪和进线意图。未来,玉山预计使用生成式AI提升原有的意图判断模型,精准导流进线意图较特殊的顾客。

第三种场景是协助业务分析商业数据。玉山开发数据分析与教学服务,协助行员快速分析表格资料,了解资料潜藏趋势。例如,信用卡刷卡资料包含顾客ID、刷卡时间、特店和金额等栏位,行员可以将顾客信用卡刷卡资料汇入LLM模型服务,分析特定顾客样态行为模式。

建立Chatbot协助知识库搜索,首先提供内部行员搜寻法规文件、产品优惠讯息和教育训练讲义

Chatbot知识搜索结合了知识库和搜寻功能,可以协助摘要、分类和分析大量文件,更重要的是,能让使用者以简短的文字提问快速掌握大量文件。这个基础应用服务运用LLM模型服务和检索增强生成(RAG)技术,搜集和汇整大量文件资料或网路新闻资讯,并以Chatbot形式提供内部使用者查询。系统会根据使用者的提问提供简短回复,协助行员省下翻阅大量文件资料的时间。

针对Chatbot知识搜索,玉山锁定两个场景开发进阶服务,分别是提供内部员工使用的智能客服与专业知识库搜寻,和法规文件比对服务。前者目前提供行员搜寻金融产品优惠讯息,以及协助新进行员快速查询教育训练讲义和文件,提升训练成效。后者则是当行员遇上法遵问题时,可以快速查询法源依据,了解公司内部法条和外部规范,进一步衡量是否须因应外规变动调整内规。

最后一项基础服务是音档、影像资料萃取,当使用者输入音讯或影片时,LLM模型服务会将语音或影片转为文字,接著回应使用者针对输入资料的提问。这项应用服务目前尚在开发中,还未提供内部使用。

除了现有服务,玉山预计在今年发展更多进阶应用服务。

他们计划要提升会议记录摘要功能,让模型能读懂会议中出现的专有名词,例如能辨识出产品名称,甚至是分辨出发言者身份,以及透过LLM协助企金业务整理客户资讯,将企业客户在网上的资料纳入系统,包括公司财报、年报和新闻稿等资料,以及上下游相关企业资讯,建立征审文件草稿,加速企金业务的征信工作流程。技术上,玉山也期望能发展出多轮对话功能,创造更多应用服务。

  玉山12项GenAI应用服务介绍  

 基础应用服务: 功能说明 

纯文字和图片生成类生成文字和图片

会议记录生成快速摘要会议内容

摘要总结翻译摘要、总结、翻译大量文件资料

Chatbot知识搜索运用LLM模型服务和RAG技术,搜集和汇整大量文件资料或网路新闻资讯,并以chatbot形式提供服务,系统会根据使用者输入的问题提供回复

分类/分析运用LLM模型服务来快速分类或分析大量资料

音档、影像资料萃取当使用者输入音讯或影片时,LLM模型服务会将语音或影片转为文字,并回应使用者对输入资料的提问

 进阶应用服务: 功能说明和应用场景 

程式码教学:分类/分析的进阶服务,使用生成式AI来分析较复杂的程式码,并提供注解建议,或是当技术人员开发时卡关,可以使用生成式AI提供教学指示,来辅助开发 

智能客服/专业知识库搜寻:Chatbot知识搜索的进阶服务,供内部行员搜寻金融产品优惠讯息,或是协助新进行员搜寻教育训练讲义和文件 

法规文件比对:Chatbot知识搜索的进阶服务,可供行员搜寻和比对内部规范和外部规范 

市场资讯摘要/生成:摘要总结翻译的进阶服务,可供行员快速汇整产业和新闻资讯和趋势,主要应用在KYC调查。也可以协助行员快速掌握时事对金融产品的冲击 

数据分析与教学:分类/分析的进阶服务,协助行员快速分析表格资料,了解资料潜藏的趋势。例如,信用卡刷卡资料包含顾客ID、刷卡时间、特店和金额等栏位,行员可将顾客的信用卡刷卡资料汇入LLM模型服务,分析特定顾客样态的行为模式 

顾客情绪分析:分类/分析的进阶服务,协助行员分析来自客服Chatbot和留言板的文字讯息,也能将语音讯息转为文字,让行员直接从文字分析顾客情绪和进线意图 

 相关报导