2022年11月，ChatGPT横空出世，全球掀起了生成式AI浪潮，各行各业开始研究创新应用，金融业也不例外地投入研发能量。隔年三月中，短短一周内，OpenAI推出GPT-4模型、图像生成工具Midjourney v5释出，更有百度推出中国版ChatGPT文心一言，用来对抗ChatGPT。AI的快速进展再次震撼全球，连掌舵全集团多年AI发展的玉山金控科技长张智星，在那一周的心情，都兴奋地「难以入睡」。

在台湾，玉山金控是第一批率先采用微软ChatGPT方案的金融业者。早在2023年三月初，微软Azure OpenAI服务推出没多久，张智星和团队就立刻展开评估，筛选使用场景，最后决定先将ChatGPT用于内外部的KYC调查应用上，帮助银行行员从大量新闻内容中，找出开户顾客有无负面行为或记录的资讯。实际采用后，开户时间从原本的30分钟，缩短到只要几分钟，大大减少了开户顾客的等待时间。

当时，张智星就透露，玉山AI团队采用ChatGPT技术前，曾评估过，能不能建立玉山自己的ChatGPT，也就是先自建一套LLM模型，再用来开发Chatbot应用。不过，玉山团队很快意识到，训练LLM模型不仅需要庞大算力，还很烧钱，不是一般企业可以自己来。

他以当时玉山的算力资源来估算，若要训练出媲美ChatGPT的对话水准，就算投入所有算力，也要一到两年才能训练出LLM模型。单是训练一次GPT-3模型的成本就要140万美元，若是参数量更大的LLM模型，训练成本更是要花费200万美元到1,200万美元之间，价格非常昂贵。

发现自建模型这条路不可行，玉山很快地调整策略。当时，张智星指出，他们要直接善用ChatGPT在对话式AI的卓越能力，让玉山把同类型AI应用发挥得更好。例如，将玉山过去打造的Chatbot接上ChatGPT，使用供应商提供的服务，来发展生成式AI。

这个战略转向看似单纯，却是玉山在AI发展上迎来的一次大转变。

2021年立下三年AI愿景，发展NLP技术自建多个Chatbot

早在2021年，玉山就订下了三年AI愿景，当时，他们将自然语言处理（NLP）技术作为AI发展核心，围绕Chatbot发展相关应用，除了要全面使用Chatbot，抓住顾客意图，还要大量分析语音客服，不只做数位导流还要调整服务，更要打造24小时全智能语音Chatbot。

玉山过去靠NLP技术开发出玉山小i随身金融顾问，能一次回答房贷评估、外汇咨询和信用卡推荐3大问题。当时，为了开发出这个Chatbot，他们组了40人团队发想Chatbot应用场景，找来外部厂商进行各项测试，完成这款Chatbot，为了持续精进技术力，还找上台大自然语言处理实验室，锁定使用者意图分析与侦测技术，要从使用者在各种公开网路平台上的异质源资料，来探索、拼凑出完整使用者资讯，建立更好的预测模型。

这些经验让玉山团队培养了丰富的NLP能力，玉山团队还进一步深化NLP客服应用，自己建立一套NLP模型，来分析每通客服通话、判断顾客遭遇的问题，并以简讯发送相关连结和使用教学，来给顾客参考。他们甚至要进一步发展语音生成，开发一套语音引擎，让自动拨号系统能以语音方式提供顾客一次性密码（OTP）。

玉山希望以NLP技术作为核心，来发展自己的AI蓝图，但是，随著更进阶的NLP模型—LLM模型横空出世，玉山想快速拥抱对话水准更高的生成式AI，就不得不放弃自建模型的策略，转而使用科技大厂提供的服务来使用LLM模型。

玉山下一步是将生成式AI走向业务

玉山能直接面对这项挑战，奠定在过往累积的AI基础。去年三月，张智星就强调，AI策略的转变，不会让他们过去的投入白费，「正因为先打下了基础设施，当ChatGPT出现后，很顺利就能衔接。」张智星指出。

张智星所说的基础设施之一，就是玉山在2019年所打造的机器学习即服务（MLaaS）平台，采API形式提供AI服务，这个平台成了后来玉山各项AI落地的关键。

随著玉山新一代核心系统在2020年上线，原本大型主机的「大核心」模式，转换为小核心的微服务架构和开放式平台之后，玉山不只能更快速更迭服务，也更容易共享资料。为了因应快速增加的数据量和AI应用规模，玉山在2021年，重新改造MLaaS平台，推出2.0版，改采用微服务架构，来增加平台资源调度弹性，这个关键改变，让玉山有能力走向云端，也是玉山能快速衔接生成式AI服务的主因之一。

两年前，玉山就开始布局生成式AI。他们从导入生成式AI至单一应用，一路发展出多个应用服务。去年下半年，玉山打造出通用型GenAI平台GENIE，并开始在内部测试，搜集使用资料，了解适合运用生成式AI的潜在场景。到了今年初，玉山正式推出GENIE平台，行员能透过API串接使用生成式AI服务，来加速各项工作流程。

目前，玉山利用GENIE平台推出11项生成式AI应用服务，开放全行行员使用，另有1项服务正在开发中。这12项应用服务可分为基础和进阶应用服务。起初，玉山仅单纯将GENIE平台介接LLM模型服务，提供基础版应用服务，例如，纯文字和图片生成、会议记录生成和摘要总结翻译等，每项应用服务都能适用于多种场景。

随著平台搜集更多资料，玉山以「工人智慧」逐笔查看行员查询的内容，挖掘使用者常在哪些情境下使用特定应用服务，接著针对场景开发进阶版应用服务，整合行内知识库和检索增强生成（RAG）技术，提升平台在特定场景的服务能力。

去年金管会松绑上云规范，开放金融机构能将非涉及重大消金业务的系统迁至公云，玉山团队也开始筹划让GENIE平台的架构能上公云，把平台转为混合云架构。预计最快今年中就会推出新一代GENIE平台。

目前，玉山仍在搜集更多适用生成式AI的场景，他们不仅关注旧场景，也在探索因新技术诞生的新场景。「我们要用新架构瞄准新场景，先从RAG开始。」玉山银行智能金融处资深副总工程师林钲育说。

放眼今年，玉山的生成式AI发展目标是「走向业务」。一方面，经过去年的摸索和测试，玉山逐渐了解生成式AI的运作模式，另一方面，在金管会公布金融AI指引后，玉山会以此指引为基础，来发展自己的生成式AI应用，将这项技术推向内部使用的业务场景，让生成式AI在玉山逐渐开枝散叶。

    玉山高层大力支持生成式AI    

玉山金控董事长黄男州提出AI未来发展的三个重要角色，分别是智能伙伴、沟通大师，和时光压缩机。摄影／洪政伟

玉山能快速因应生成式AI浪潮转变策略，除了仰赖过去奠定的技术基础，更重要的是高层对AI的支持。

今年二月，玉山金控董事长黄男州在法说会前记者会中，提出他对生成式AI的看法。「AI可能在未来发展进程会有几个重要角色。」黄男州点出，AI可能担任的第一个角色是智能伙伴，能和人类共同进行创造。第二个是沟通大师，能在物联网中协助人与物沟通。第三，是时光压缩机，能处理许多过去需耗费大量时间学习的产业知识。最后，黄男州也表示，AI将和云端结合，因此云端也是重要议题。

玉山金控科技长张智星事后解释这三个想像的实现方式。智能伙伴类似副驾驶（copilot），能协助人类完成工作。沟通大师的模式，类似透过GPT模型从物连网抓取各种感应器资料，向使用者摘要设备运作情况。时光压缩机意谓加速学习，例如，过往学习英文须要花费大量时间查找字典，但现在透过ChatGPT就能修改文法和用字错误，节省大量时间，提升了学习效率。

「我们三不五时都会和他（黄男州）沟通，说明技术进步到哪个阶段。」张智星表示，玉山的技术团队时常和黄男州沟通新技术，当团队询问高层建议，黄男州也会提供回馈。但，张智星表示，「事前并不知道董事长会说这些。」

ChatGPT诞生后，大众对生成式AI技术并不陌生，更容易发想应用场景，另一方面，玉山大力发展AI，高层和技术团队长期沟通，培养绝佳的默契，所以，当玉山技术团队开始跨足生成式AI，不需要解释太多技术细节，高层也能自己展开技术发展的愿景，描绘AI蓝图。

「董事长会自己想像应用场景。」例如，团队曾和黄男洲提到生成式AI可以用来摘要会议记录，「他很兴奋地说，这样可以整理每个人说的内容，列出待办事项。」张智星回忆道。

有了高层的支持，玉山科技团队更放心创新。「其实，很多细节董事长帮我们补全了。」张智星说。例如，技术团队曾提出，将OCR扫描后的文件转换成文字后，可以使用LLM模型进行修改。当时，黄男州则提议，利用公司30年来累积的文件建立知识库，协助企金业务整合客户资料，快速整理上下游公司之间的关系。

当时的提议，也成为玉山今年计划发展的重点应用之一。今年，玉山计划透过LLM模型协助企金业务整理客户资讯，将企业客户在网上的资料纳入系统，包括公司财报、年报和新闻稿等资料，以及上下游相关企业资讯，建立征审文件草稿，加速企金业务的征信工作流程。

这个例子也显示，生成式AI浪潮的关键，并非仅是发展技术能力，更多来自高层和业务团队的加入，共同想像更多应用场景，提供技术团队素材向前推进。因此，ChatGPT爆红后，玉山接著在内部举办黑客松活动，邀请副总级高层，共同了解AI，发想更多应用场景。

   玉山生成式AI发展历程   

 2017年 

 组织  成立创新实验室，钻研AI、区块链、身分辨识、电子支付等前瞻技术

 应用  推出玉山小i随身金融顾问，为大中华地区第一个金融Chatbot

图片来源／玉山金控

 2018年 

 战略  定调玉山AI发展，终止多个千万元等级专案，改将资源投注在AI上

 组织  成立科技长办公室

摄影／王宏仁

 技术与架构  开始建置MLaaS平台、AI研发云

 2019年 

 组织  大数据分析团队CRV转型为智能金融处，负责开发AI应用

 技术与架构  MLaaS 1.0平台上线，提供AI推论、模型训练、资料ETL等三大类服务

图片来源／玉山金控

 应用  信用卡盗刷侦测模型、票据手写辨识模型上线

 2020年 

 组织  成立资料治理专责小组，推动规范和分级

 技术与架构  

●新一代银行核心系统上线，全面API化、加速资料累积和运用能力

●决定将MLaaS平台底层部署至Kubernetes（简称K8s），打造MLaaS 2.0平台

 2021年 

 组织  展开29年来最大一次组织改造、组成千人科技联队，形成资讯处、数金处与智金处的铁三角组织

图片来源／玉山金控

 战略  订定AI三年愿景，以自然语言处理（NLP）技术作为关键技术核心，围绕Chatbot发展相关应用

 技术与架构  MLaaS 2.0平台上线，拥抱K8s、容器等主流开源工具，引进多项自动化机制

图片来源／玉山金控

 应用  推出数位导流系统平台、单一大影像模型、推荐系统Smart Channel、数存秒开服务

 2022年 

 战略  生成式AI爆红，玉山开始布局生成式AI发展

 2023年上半年 

 战略  玉山决定不走自建LLM模型的策略，改为采用厂商提供的商用生成式AI服务

 技术与架构  开始打造玉山生成式AI平台GENIE

 应用  KYC调查开始尝试用生成式AI

 2023年下半年 

 组织  制定生成式AI执行内规

 技术与架构  

● 玉山生成式AI平台GENIE开始测试

● 因应金融上云松绑，MLaaS 2.0平台转为混合云架构

 应用  对外展示用GPT模型打造的智能法律回复生成系统

摄影／李昀璇

 2024年年初 

 技术与架构  正式启用GENIE平台（除音档、影像萃取服务尚在开发），整合行内知识库

 应用  向内部推出11项生成式AI应用服务，包括纯文字和图片生成、会议记录生成服务、摘要总结翻译、分类和分析，和Chatbot知识搜索服务

图片来源／玉山金控

资料来源：玉山金控，iThome整理，2024年4月

 相关报导