新聞 | iThome ( ) • 2024-04-01 18:00

为了提高模型回答精准度,凯基人寿建立了三道提示工程的改进机制。 第一道机制是由内部技术部门和外部技术伙伴合作,以机器乱数产生500笔问题,和实际答案比对。第二道是透过跨部门小组以实务经验手动产生500笔题目,再进行测试和比对。最后一道机制,是借由第一线业务员使用者提供回馈,交由技术团队修正提示。(图片来源:凯基人寿)

业务员是贩售保险商品的最大通路,也是保险业的重要战力。根据寿险公会截至今年二月的统计,凯基人寿(原为中国人寿)内部有超过一万5千名业务员,每年还会增加不少新进业务员。根据寿险公会统计,光是2022年,全台就有超过2万1千名新进业务员通过人身保险资格测验,正式成为保险业务员。如何将这批年龄、学经历各不同的新手,快速训练成保险专业人才,是每一家保险业的重要课题。凯基人寿用生成式AI找到了新的作法。

因为新人数量多又分散全台,传统保险业务员训练方式大多按北、中、南分区培训,不仅训练时间长,再加上讲师功力和教材不一,培训效果也有落差。为了解决这个痛点,凯基人寿早在去年就用NLP,开发出一套业务员训练系统,称为智能对练1.0版,可以在线上模拟业务人员与顾客的对话,来提供新手业务员进行对话演练,也能汇整多达700页的业务手册,协助业务员快速查找大量资讯,至少缩短了一半的新人训练时间。

不过,用NLP打造的对话形式较生硬,训练效果有限。随著生成式AI技术浪潮来袭,凯基人寿看中它模拟真人对话的能力,开始将这项技术应用在内部工具中。

今年二月初,凯基人寿开始在业务员训练系统中导入生成式AI,发表了智能对练2.0版,可以更拟真的模拟业务员与顾客的对话过程,协助业务员演练销售技巧,还能快速摘要700页业务手册的内容。在模拟客户功能中,他们除了使用提示工程和检索增强生成技术(RAG),也应用微调(Fine-Tuning)和虚拟人和情绪侦测等技术。而在业务手册摘要功能中,他们主要运用提示工程和RAG,限定LLM模型的回应范围,让模型尽可能根据业务手册或商品内容提供回应,协助新进业务员以问答方式,快速掌握手册资讯。

这是国内首家在业务员训练正式导入生成式AI的寿险业者,也是国内少数正式启用生成式AI应用的金融业者。

作为技术采用的先行者,没有太多先例可循,凯基人寿从技术验证,到实际落地并正式启用,不仅是技术面的挑战,更多的挑战来自非技术层面,像是如何降低模型回应错误率,抑或是因应指引原则,调整内部治理规范。

挑战一:提升模型回应精准度

导入生成式AI必定会面临的挑战,便是AI幻觉。凯基人寿网路数位部资深副总经理宋健荣说明,以GPT模型新版GPT 4 Turbo为例,约有3%的幻觉率,即便使用提示工程、检索增强生成技术(RAG),甚至是微调(Fine-Tuning),都不易做到百分之百精准。这是生成式AI目前的技术限制,也是受高度监管的金融业者谨慎看待这项技术的关键原因。

实际导入生成式AI的过程中,凯基人寿面临了许多困难。凯基人寿网路数位部专案副理王姿云以第一线实作经验举例说明,一本多达700页的业务手册中,有时使用者的提问较模糊,手册多处会有类似的内容,模型难以判断哪一处的叙述才是正确答案,需要借助提示工程,才能减少回应错误率。例如,有两至三处的描述相似,皆能回应提问,系统就要引导使用者提出更精准的问题,才能给予较精准的回复。

为了进一步提高模型回答的精准度,凯基人寿还建立了三道提示工程的改进机制。

第一道机制是由内部技术部门和外部技术伙伴合作,以机器乱数产生500笔问题,得到回复后再和实际答案比对。对内联合了网路数位部团队和IT部门的研究小组,对外则找来工研院和技术厂商来精进技术。第二道是透过跨部门小组根据实务经验,找来业务员代表,手动产生500笔题目,进行第二次测试和比对。最后一道机制,是借由第一线业务员使用者提供回馈,再交由技术团队修正提示。宋健荣表示,这批使用者是业务员中的数位代表,负责对数位工具提供使用回馈。未来,他们预计建立200位业务员组成的数位部队,共同精进数位工具。

挑战二:搜集模型训练资料

凯基人寿的业务员训练系统提供模拟客户的功能,让业务员能随时和AI模拟客户进行对话,学习销售技巧。这个功能在过去是利用NLP技术打造,团队透过聆听经验丰富的业务员演绎销售技巧,搜集各种话术,萃取出精华,最后统整为模型训练资料。为了运用生成式AI提升模拟客户的拟真度,使用者需要搜集实际场景的话术,作为模型训练资料,过程也是一大挑战。

王姿云解释,起初,只能将顾客类型分为感性和理性两种来进行对话角色的模拟,也仅需搜集基础的知识话术,就能完成教材,统整资料的过程相对容易。但到了导入生成式AI的2.0版系统,模拟客户的功能升级,可以增加更多类型的顾客角色,团队需要搜集更多达人式、接地气的话术,作为模型训练资料,「但达人不一定照著设定的步骤来念,要萃取出精华是蛮辛苦的事。」另一方面,他们也要将教材缩减至20分内的训练时长,才有助学员快速吸收。这段话术萃取的过程考验团队能否掌握贩售技巧的关键,不仅需要和负责训练的单位密切合作,了解第一线的培训需求,也要掌握商品框架,才能制定系统化的萃取方式,厘清可作为模型训练的资料。

挑战三:AI监管环境尚未成形,金融业者尚需摸索内部控管机制

「这次经验是一个训练过程,让我们不断精进。」宋健荣坦言,作为导入生成式AI的先行者,多数情况没有参考解方,同仁也尚未熟悉新技术,需要长时间摸索,才能逐渐确立内部机制。另外,因应金管会去年年底发布的「金融业运用AI指引草案」,凯基人寿正根据指引内容研拟内部规范,摸索适当的管理机制。

不过,目前综观全球,仅有欧洲制定AI法案,全世界仍在摸索AI治理机制,没有人具备实质经验。宋健荣解释,以资安管理标准而言,从最早世界经济合作开发组织(OECD)在1990年草拟的「资讯系统安全指导方针」,到1995年,英国标准协会订定的「资讯安全管理实务准则」之BS7799。直到2000年,BS7799通过ISO审议,才成为较成熟的ISO/IEC 17799。反观AI,目前尚未发展相对成熟的认证标准,业者也较难掌握监理标准。

此外,无论是国内外,AI相关规范或指引皆强调了模型透明性和可解释性,但是,宋健荣指出,多数金融业者不易掌握模型,更难以自建LLM模型,较难符合这项监管要求。目前,多数金融业透过Azure OpenAI服务使用GPT模型,无法得到模型全部资料,「即便是开源模型,也只有部分资料揭露。」宋健荣解释,生成式AI模型掌握在大型科技公司手中,多数企业无法控制整体资料品质,也较难解释模型透明性。目前金融业者主要透过RAG或Findtune调教模型,「你可以控管自己的资料,但是基础模型的资料就做不到。」

凯基人寿的实作经验显示,金融业者导入生成式AI不仅需要面临技术挑战,背后更要面临包括合规、治理面等非技术的挑战,许多内部机制也得透过阶段性的试错,才能逐渐成形。

「希望透过这次应用,累积足够经验再发展。」宋健荣表示,当生成式AI技术足够成熟后,他们会进一步扩大应用范围。第一,使用大量业务手册、业务规则的部门,利用生成式AI辅助摘要大量资讯。第二是,针对核保和理赔等需要专业判断的场景,利用AI协助专员进行判断。「凯基人寿的终极目标,是利用AI打造一个业务员的副驾驶(Copilot),整合所有业务员工具,包括辅销、客户管理、日常业绩管控、报到、推播等工具,透过AI实现业务员超级助理。」宋健荣说。

凯基人寿网路数位部资深副总经理宋健荣认为,这次导入生成式AI的经验是一段训练过程,让他们不断精进。当生成式AI技术足够成熟后,他们会进一步扩大应用范围,终极目标是为业务员打造一个副驾驶(copilot),实现业务员超级助理。(摄影:洪政伟)

 金融业者对生成式AI的观点 

「生成式AI的出现是一个拐点,它跟传统AI间已经有一道分水岭。」对于生成式AI技术对金融业的影响,凯基人寿网路数位部资深副总经理宋健荣明确给出这个回应。不过,他也认为,生成式AI技术目前尚在雏形阶段,综观现有的商业应用中,除了Chatbot形式较为成熟,其他的应用还尚在发展中,「类似苹果推出的iPod,但还没到iPhone。」

其实,早在2017年,凯基人寿就以AI作为转型策略核心,内部早已建立大数据资料库和标签库,还能运用AI自动贴标快速分析客户行为,为日后发展AI奠定不少基础。不过,宋健荣认为:「目前的生成式AI离通用型AI还有一段路。」待技术成熟,凯基人寿期望能以过往AI基础,加值至生成式AI应用。「改变跟进步一直往前,你不知道最后会怎样。」