「要训练出媲美ChatGPT的对话水准，就算玉山投入所有算力，也要一到两年才能训练出LLM模型。」玉山金控科技长张智星指出，去年3月初，ChatGPT API一发布，玉山AI团队就马上开始评估，决定先用KYC调查中负面新闻查询的重点整理和摘要来测试，发现效果不错，也替作业人员省下不少时间。但问题来了，当时若不是采用云端企业级的ChatGPT服务，就得自行训练LLM模型。要不要自己训练LLM？成了关键的抉择。
因为算力不够，玉山要自行训练LLM模型得花上2年，但是可以拥有最大的自主权，若是采用业者的LLM服务，虽然可以快速上手，但得考虑绑定风险，还有金融业诸多严格的法遵和资安规范。
玉山早在2021年订定了三年AI愿景，以NLP技术作为全集团AI发展的核心，围绕Chatbot发展相关应用，除了要全面使用Chatbot，抓住顾客意图，还要大量分析语音客服，发展数位导流，更想要打造出可以24小时运作的全智能语音Chatbot。他们也训练出了自己的NLP模型，用于大量客服通话内容、分析顾客问题。
如今ChatGPT隔空出世，为了运用更先进的LLM来实现AI愿景，玉山毅然决然，放弃自建模型的策略，转而采用第三方业者的云端LLM服务。
不过，玉山多年AI的投入，并没有白费，而是让他们很快就能衔接到最新生成式AI技术。这其中，最关键的是，玉山有一套MLaaS平台（机器学习即服务平台），全面以API形式来提供AI服务，而不是直接把AI技术写入到每一套系统中。
在金融业，对内要全面用API来串接不同的系统，不是一件容易的事，但是，玉山当年决定全力发展AI，就计划要能够全面地使用AI，因此，玉山将不同的AI功能，打造成一只又一只的API，方便以API形式整合到各式各样的系统上。也搭配发展出了一套从训练、开发、部署、提供服务到维运，涵盖整个开发到维运生命周期的MLaaS平台。这不仅是金融业，也是台湾大型企业中少见如此系统化、大规模发展AI的作法。
云端业者提供的各种生成式AI服务、LLM服务，正是以API形式来串接，玉山当年所做的选择，正好是现在当红的生成式AI主流服务提供形式。玉山只需要外部的第三方生成式AI的API，串接到原本的MLaaS平台中，就能延续原本的作法，甚至不需要重新调整、修改MLaaS平台对内部系统的串接方式，累积3年的API化AI应用开发经验，一点都没有白费。
随著金融主管机关这两年逐渐松绑金融上云的规范，金融业者更容易使用公云上的服务，刚好解了玉山采用云端生成式AI的一大难题，不过，还有另一个挑战，要将内部资料抛转到外部的第三方服务上，如何彻底避免机敏资料外泄是另一项考验。
许多企业为了预防机密外流，都会对上传到云端生成式AI的资料进行遮蔽，将机敏资料移除，来避免外泄。但是，生成式AI是依据上下文来进行推论，一但提供的内容中有缺漏，就可能会影响生成的结果。
玉山找到了两全其美也更进阶的作法，采取等价交换的方式，将机敏资料替换成类似但却是模拟的假资料，例如原本提到了真实的信用卡号，则替换为假的信用卡资料，或是用假姓名来取代真实的姓名，既能避免外泄机敏资料，又能让生成式AI有较完整的上下文脉络可用。
玉山在这套机器学习即服务平台MLaaS上，提供和维运了AI五大类服务，包括行销AI、风控AI、服务AI、流程AI以及赋能AI，生成式AI就是流程AI类的其中一只API。玉山也发展出了一整套的生成式AI平台称为GENIE，以RAG作法为核心。
GENIE是一只独立的API，容易串接、整合到多种延伸应用服务或是各种内部系统上。玉山也搭配自建的金融知识库，运用RAG技术来提升LLM模型的回答精准度。
透过这个平台，玉山先发展出了12类生成式AI应用服务，其中11项已经正式启用，一项还在开发中。这只是玉山生成式AI的一小步，这套涵盖整个生命周期的MLaaS是玉山发展更多AI应用的加速器，从自建NLP到拥抱第三方LLM服务，玉山的AI战略，换了更先进的新引擎，可以站在更高的技术力上，让AI 继续全面落地。
