大模型在金融业的应用探索

ChatGPT的出现让金融业感受到了强烈的焦虑。这个对技术充满信仰的行业生怕被时代的浪潮甩在后面。有业内人士表示,今年5月她在大理出差时,甚至在寺庙里都能听到金融从业者在讨论大模型。

不过,这种焦虑情绪正在逐渐平复,人们的思路也变得更加清晰和理性。软通动力银行业务CTO孙洪军描述了今年金融业对大模型态度的几个阶段:2-3月份,普遍感到焦虑;4-5月,纷纷组建团队开展工作;接下来几个月,在落地过程中遇到困难,开始变得理性;现在,他们在关注标杆案例,尝试验证过的场景。

值得注意的是,不少金融机构已经开始从战略层面重视大模型。据不完全统计,A股上市公司中,至少有11家银行在最新半年报中明确提出正在探索大模型的应用。从近期动作来看,他们也正在从战略和顶层设计层面进行更深入的思考和规划。

从热情高涨到理性回归

一位大厂金融行业资深人士表示,相比几个月前,现在金融客户对大模型的理解明显提升。年初ChatGPT刚出现时,虽然大家热情很高,但对大模型的本质和应用方式其实了解有限。

在这个阶段,一些大型银行率先行动,开始做各种"蹭热度"的宣传。例如今年3月,某银行就上线了类ChatGPT的大模型应用。但业界对此评价不一,有人认为这个应用名称过于强调ChatGPT中不那么重要的"Chat"部分,而忽视了更关键的"GPT"。

与此同时,随着国内多家厂商陆续发布大模型,一些头部金融机构的科技部门开始积极与大厂探讨大模型建设事宜。上述资深人士透露,这些金融机构普遍希望自己构建大模型,寻求厂商在数据集制作、服务器采购和模型训练等方面的指导。某大型银行旗下的金融科技公司甚至提出,希望完成后还能向同业输出。

5月以后,情况开始出现变化。受限于算力资源短缺、成本高昂等因素,许多金融机构不再单纯追求自建算力和模型,转而更加关注应用价值。现在每家金融机构都在关注其他机构如何应用大模型及取得的效果。

对于不同规模的企业,也形成了两种路径。拥有海量金融数据和应用场景的大型金融机构,可以引入业界领先的基础大模型,自建企业大模型,同时采用微调方式,形成专业领域的任务大模型,快速赋能业务,以弥补大模型建设周期过长的不足。而中小金融机构则可以综合考虑投资回报,按需引入各类大模型的公有云API或私有化部署服务,直接满足赋能需求。

然而,由于金融行业对数据合规性、安全性和可信性等有着高要求,一些人士认为,这个行业大模型的落地进展实际上略慢于年初的预期。软通动力的孙洪军表示,他们最初预计金融行业可能会最先大规模使用大模型,但从最终对接客户的情况来看,金融行业的进展不如法律、招聘等行业快。

一些金融机构已经开始寻找解决大模型落地过程中各种"瓶颈"的办法。

例如在算力方面,业内人士观察到金融业目前出现了几种解决思路:

第一,直接自建算力,成本较高但安全性最佳。适合实力雄厚、希望自建行业或企业大模型的金融机构,如部分国有大型银行。

第二,采用混合部署方式,在敏感数据不出域的前提下,从公有云调用大模型服务接口,同时通过私有化部署处理本地数据服务。这种方式成本相对较低,只需投入几十万元购买几张GPU卡即可满足需求,适合资金实力较弱、按需应用的中小型金融机构。

不过,即便如此,许多中小机构仍面临买不到也买不起大模型所需GPU卡的难题。针对这个问题,上述资深人士透露,监管部门最近正在开展一些课题研究,探索是否能以折中方式,牵头搭建面向行业的大模型基础设施,集中算力和通用大模型等资源,让行业中的中小金融机构也能使用大模型服务,防止它们在技术上落后。

除了算力问题,随着近半年来对大模型落地的探索,不少金融机构也逐步加强了数据治理工作。

某知名云服务提供商高管介绍,目前除了在数据治理领域有成熟实践的头部大行,越来越多的中型金融机构也开始陆续构建数据中台和数据治理体系,如今年上半年的一些地方性银行。他认为,构建完善的数据治理体系和数据湖技术平台,将成为未来金融机构IT建设的重要主题。

也有银行正通过大模型+MLOps的方式解决数据问题。例如某大型银行通过采用MLOps模式建立大模型数据闭环体系,实现了整个流程的自动化,以及多源异构数据的统一管理和高效处理,据悉目前已构建和沉淀2.6TB高质量训练数据集。

从外围场景切入

过去半年多,无论是大模型的服务商,还是各大金融机构,都在积极寻找应用场景。智慧办公、智能开发、智慧营销、智能客服、智慧投研、智能风控、需求分析等领域都被逐一探索。

正如某知名金融科技公司高管所说,"金融业务链条上每一个关键职能,都值得用大模型技术重做一次。"该公司最近发布了金融大模型,并正与合作机构内测共建面向金融产业的大模型产品,目标是为理财顾问、保险代理、投研、金融营销、保险理赔等金融从业专家打造全链条的AI业务助手。

每家金融机构对大模型的应用都有丰富的构想。某大型银行称内部已有20多个场景投放应用,另一家银行表示他们在30多个场景中进行了试点,某证券公司则表示正在探索将大模型与此前推出的虚拟数字人平台打通......

但当要真正将大模型落地到业务中时,普遍共识是先从内部开始,再向外部推广。毕竟,当前阶段大模型技术尚不成熟,存在诸如幻觉等问题,而金融行业又是一个强监管、高安全、高可信的领域。

"短期内不建议直接对客户使用。"某大型银行的技术负责人认为,金融机构应优先将大模型应用于金融文本和金融图像分析理解创作的智力密集型场景,以助手形式实现人机协同,提升业务人员工作效率。

上述云服务提供商高管也表示,很多金融客户都认为代码助手和客服助手是前期能直接产出成果的场景。而像投研、投顾等场景,虽然价值很大,但很难快速见效,且对数据要求较高。

目前,代码助手已在不少金融机构落地。例如某大型银行构建了基于大模型的智能研发体系,编码助手生成的代码量占总代码量的比例达到40%。又如在保险领域,某保险公司研发了基于大模型的辅助编程插件,直接嵌入内部开发工具。

基于此,一些厂商也在围绕大模型的代码生成能力,为金融客户提供开箱即用的产品。某IT服务公司高管介绍,他们的一款产品在大模型本身的代码补全能力基础上,增加了任务分解、精准回答、突破上下文限制等一系列功能,实现用户的开箱即用。目前,该产品在某国际银行已为3000多人使用,代码自动补全率为50%~90%。

智慧办公领域也有不少落地案例。某大型科技公司负责金融行业大模型产品的专家介绍,他们基于金融大模型推出的网点问答功能,7月在某大型银行上线后已陆续推广到几百个网点,答案采纳率超过85%。目前,文档问答孵化成的标准解决方案又快速复制到其他多家银行和金融机构。

不过,业内人士判断,这些已经广泛落地的场景,实际都还不是金融机构的核心应用,大模型距离深入金融行业的业务层面还有一定距离。

"我们自己判断,在业务应用场景这块儿做的难度还是挺大的。"某IT服务公司高管表示,营销、风控、合规等场景都是大模型可能带来变革,同时也是金融客户需求点所在的部分,但就目前的情况而言,这些工作还要取决于底层大模型厂商们的能力提升情况,再去把业务场景做起来。

上述大厂大模型资深人士则预测,到今年底之前,会有一批真正在金融机构核心业务场景里应用大模型的项目建设或招标信息出现。

在此之前,一些顶层设计层面的改变正在进行。

9月初的一场行业大会上,某知名大学教授做出这样一个判断:未来的整个智能化、数字化系统,都将重新建立在大模型的基础之上。这就要求金融行业在推动大模型落地过程中,要重新架构系统。同时,也不能忽视传统小模型的价值,而应该让大模型、小模型协同起来。

这一趋势已在金融行业得到广泛体现。"现在金融机构试点做大模型,基本上会采取分层的模式。"某云服务提供商高管介绍,不同于过去一个场景需要搭建一个平台的烟囱化模式,大模型其实给了金融机构们一个从零开始,更加科学地去做整体系统规划的机会。

可以看到,目前已经有多家头部金融机构基于大模型,搭建了包含基础设施层、模型层、大模型服务层、应用层等多个层级的分层系统框架,如多家大型银行、证券公司和保险公司等。

这些框架体系普遍有两大突出特点:其一,大模型发挥中枢能力,将传统模型作为技能进行调用;其二,大模型层采用多模型策略,内部赛马,选出最优效果。

实际上,不止金融机构,在当前格局未定的情况下,一些大模型应用提供商也在采用多模型策略,优选服务效果。某IT服务公司高管透露,他们的底层模型层也融合了大量大语言模型,会根据每个大模型返回的回答,组装优选后给到用户。

人才缺口依然庞大

大模型的应用,已经开始对金融行业的人员结构带来一些挑战和变革。

此前,上海一家金融科技公司的人士曾表示,随着ChatGPT的出现,从今年初到5月底,他所在的公司已经裁掉了300多位大数据分析师。而在几年前,这还是一个炙手可热的职业。这一度引发他的焦虑,甚至开始提前考虑起自己女儿将来的择业问题。

来自某大型银行的金融领域资深人士也分享了大模型对人的替代效应。该行原来每天早上都会有实习生将各方面的信息归纳汇总,再给到投研部门的人,但现在实习生的这些工作通过大模型即可完成。

不过,一些银行其实并不希望大模型带来减员。例如拥有20万网点员工的某大型银行,就明确向技术供应商提出,他们不希望员工被大模型取代,而应该是大模型带来新的机会,提升员工的服务质量和工作效率,同时也释放出部分员工,做更多高价值的事情。

这其中不乏人员和结构稳定的考量。但另一方面,也是因为行内很多岗位还有人才缺口。

某IT服务公司高管表示,大型银行有大量未完成的工作,部分IT需求的工期甚至排到了明年年底,他们期望大模型能助力员工完成更多工作,提高效率和速度,而不是带来人员的缩减。

更