引言

随着金融行业的快速发展和数字化转型，客户对于便捷、快速、个性化的金融服务的需求越来越高[1]。为了满足这些需求，金融智能客服应运而生。金融智能客服通过自然语言处理和人工智能技术，能够自动化地回答客户的问题，提供个性化的建议和服务。然而，传统的金融智能客服存在一定的局限性，无法完全满足客户的需求和金融机构的期望，亟需新技术的加持来实现突破。

近年来，随着AIGC逐渐被基于大数据量、大参数量、强算法的大模型所取代[2]，其中，LLM的快速发展为自然语言处理领域带来了新的突破。尤其是ChatGPT的出现，堪称AI技术新的里程碑，LLM是一种基于预训练的大型自然语言模型，具有更强大的自然语言处理能力，可以更好地理解和生成人类语言。与传统的基于有监督学习的自然语言处理模型相比，LLM能够更好地捕捉上下文信息和语义，从而实现更准确的自然语言理解和生成。在金融行业中，LLM的应用也越来越广泛。随着金融机构对于客户服务的要求越来越高，LLM的应用也越来越受到关注。金融机构可以利用LLM技术，开发更加智能、高效、个性化的金融智能客服，从而更好地满足客户需求，提高客户满意度和忠诚度。

ChatGLM作为一种LLM，具有强大的自然语言处理能力，可以应用于各种领域，因此，本文提出了ChatGLM在金融智能客服中的应用。ChatGLM是一种基于千亿基座模型的对话语言模型，经过了1.4T中英标识符的预训练与人类偏好对齐训练，能够学习金融知识、理解客户需求，并提供更加精准和高效的服务。与传统的金融智能客服相比，ChatGLM具有更强的金融专业知识和自然语言处理能力，可以更好地应用于金融智能客服中，从而提高金融机构的运营效率，降低运营成本，并提升金融机构的客户服务水平。

1 大语言模型技术

1.1 ChatGLM技术

ChatGLM是由清华技术成果转化的公司智谱AI推出的基于千亿基座模型GLM-130B中通过预训练、监督微调、人类反馈强化学习等技术方式实现的对话语言模型[3]，具备问答和对话功能，智谱AI还开源了GLM系列模型的中英双语对话模型ChatGLM-6B，支持在单张消费级显卡上进行推理使用。它拥有超过62亿个参数，并采用了多种技术手段进行训练和优化。首先，ChatGLM-6B模型的训练思路融合了多种技术的优势，包括基座模型的预训练、监督微调、反馈自助和人类反馈强化学习等[4]。这些技术使得模型能够更好地理解和生成文本，并更加关注人类的需求和偏好。其次，ChatGLM-6B模型针对中英双语问答和对话任务进行了优化，使得模型能够更好地适应不同语言场景的任务需求。同时，该模型还支持在消费级显卡上进行本地开源模型离线私有部署，并且可以在在CPU上运行，降低了硬件要求，使得更多的中小型金融机构可以享受到其带来的便利。此外，ChatGLM-6B模型还实现了INT4量化技术，大大提高了使用效率。特别是ChatGLM2-6B模型，扩展了基座模型的上下文长度，从ChatGLM-6B的2K扩展到了32K，并在对话阶段使用8K的上下文长度训练，这样可以允许更多轮次的对话，ChatGLM2-6B还实现了更高效的推理，在官方的模型实现下，其推理速度相比初代ChatGLM-6B模型提升了42%，本研究采用就是ChatGLM2-6B的版本。

1.2 Embedding技术

Embedding技术是一种在词向量空间中将词汇映射到连续向量的方法[5]。这种映射是通过训练神经网络模型来实现的，例如text2vec-large-chinese模型。这些模型通过利用大量文本数据训练神经网络，从而学习词汇的向量表示。金融机构的数据语料库内容可以经过Embedding技术将文本向量化存入向量数据库VectorStore，形成金融机构专有的向量知识库，然后用户每一次提问也会经过Embedding，利用向量相似性算法找到最匹配的几个知识库片段，将这些知识库片段作为上下文，与用户问题一起作为prompt提交给大模型ChatGLM生成回答。

1.3 VectorStore技术

VectorStore是一个向量数据库，专门设计用于存储、索引和查询非结构化数据生成的嵌入向量[6]。这些嵌入向量主要来自于图像、文本、音频和视频等非结构化数据，通过某种变换或者嵌入学习转化为向量数据存储到VectorStore中。VectorStore的主要特点包括高效存储与检索，可以实现对非结构化数据的相似性搜索和检索。它采用了向量索引技术，如相似度索引，通过计算两个向量之间的相似程度返回查询结果，这种索引技术可以支持高维大数据下的快速响应。在大模型时代，VectorStore已经成为大模型的记忆能力来源。

1.4 LangChain-ChatGLM技术

LangChain是一个基于语言模型开发应用程序的框架，它可以让AI开发人员把大型语言模型（LLM）和外部数据结合起来。具体来说，LangChain可以通过API将ChatGLM和向量数据库、交互层Prompt、外部知识、外部工具等整合到一起，形成一个完整的对话系统。这样，用户可以更加方便地与系统进行交互，提高交互的效率和准确性，以提高系统的智能水平。其整体架构见图1。

图1

2 智能金融客服的介绍

智能客服作为市场营销中直接接触客户的关键渠道,对推动行业数字化转型、提升客户体验和落实均衡发展战略具有重要意义[7]。智能金融客服是一种综合性、个性化的金融服务工具，旨在为用户提供更便捷、高效、个性化的理财服务和指导，帮助用户更好地管理自己的财务和投资，提高投资效率和收益。同时，智能金融客服也可以为金融机构提供更高效、更精准的客户服务，降低人工成本和运营风险，提升服务水平和用户满意度。但是，传统的智能金融客服在应用过程中存在一些问题。首先，一些智能金融客服在设计和使用上不够人性化，无法很好地满足用户的需求。其次，由于人工智能技术的不完善，有些智能金融客服在推荐金融产品和服务时可能不够精准，无法真正帮助到用户。此外，传统的智能金融客服缺乏实时性，不能及时响应用户的需求，而且往往无法提供24小时的服务。最后，传统的智能金融客服在数据安全和隐私保护方面也可能存在一定的问题。

在传统的智能金融客服中，用户需要填写大量的表格和信息来建立个人档案。但是，这种填写方式不仅繁琐，而且可能导致用户信息的泄露和滥用。同时，传统的智能金融客服不能很好地解决用户之间的信任问题。许多用户可能担心使用智能金融客服进行交易会涉及到个人隐私和资产安全问题。此外，由于传统的智能金融客服缺乏人工智能技术的支持，无法根据用户的反馈和行为进行自我学习和改进，这也会影响到用户体验和服务质量。

3 ChatGLM模型技术的应用

ChatGLM技术在金融行业的应用主要体现在自然语言处理和智能客服方面。首先，ChatGLM技术可以通过自然语言处理技术，对大量的非结构化数据进行处理和分析，提取出有价值的信息。在金融行业中，这种技术可以帮助企业和机构更好地理解和分析市场趋势、客户需求、产品反馈等信息，为决策提供支持。其次，ChatGLM技术还可以应用于智能客服领域。通过自然语言处理和机器学习技术，智能客服可以理解客户的语音和文字信息，并提供个性化的回复和解决方案。这种技术可以大大提高客服效率和客户满意度，降低人工成本和运营风险，另外，ChatGLM技术的应用，可以帮助传统的智能金融客服解决以下问题：

（1）数据安全和隐私保护：ChatGLM可以帮助智能金融客服利用加密技术保护用户数据的安全性和完整性，避免数据被未经授权的人员或系统访问或篡改，从而建立更安全的数据存储机制；还可以在用户输入或交流时自动识别和保护用户的隐私信息，避免敏感信息被无关的人员或系统获取。

（2）用户体验和服务质量：ChatGLM通过优化交互、响应速度和准确性、提供个性化服务、实时反馈以及持续学习和改进等方式，可以帮助智能金融客服提高用户体验和服务质量。

（3）精准推荐金融产品和服务：ChatGLM可以利用自然语言处理技术，对用户的个人特点和需求进行分析，理解用户的需求和偏好，根据用户的投资偏好、风险承受能力、资金状况等因素，从而更加精准地推荐合适的金融产品和服务，提高用户满意度。

（4）建立用户信任：ChatGLM可以通过自然语言处理技术，理解和解释金融产品和服务，以及相关的风险和费用，用户可以获得清晰、准确的信息，从而更好地理解并做出明智的决策。另外，ChatGLM还可以为用户提供可解释的模型和算法。这些模型和算法可以帮助用户理解智能金融客服的决策过程和推荐逻辑，从而增强用户对助手的信任。

（5）风险监控与资产安全：ChatGLM可以帮助智能金融客服监控和预测安全风险和欺诈行为。通过自然语言处理和机器学习技术，ChatGLM可以分析用户的行为和交易记录，及时发现和预警可疑或风险较高的行为，从而保护用户的资金安全和隐私权益。

（6）24小时服务：ChatGLM可以提供24小时的服务，随时响应用户的需求，并及时解决用户的问题，提高用户满意度。

4 ChatGLM技术实现方案

4.1 数据准备工作

收集以WORD、PDF、TXT、CSV、MarkDown、XML、DOC、PPT等格式的电子文档，整理公司客服应答记录、与公司产品服务相关的文本记录；但是，为了提高本地知识库的数据质量，应当采用多方面的方法，如数据筛选、质量审核、数据采集来源的管控等，避免不准确、有偏差、虚假数据的影响；另外，在数据的收集和整理过程中，可以引入不同类型、多样化的数据来源，增强 ChatGLM多角度对于知识的掌握和理解，避免知识的狭隘化和局限性，收集公司在售产品的不同部门、不同角色的产品手册、操作说明书、售后服务协议、客服人员培训资料等文本资料都可以作为LLM的本地知识库的数据来源。

4.2 搭建LangChain-ChatGLM

（1）准备一台具备消费级GPU或者CPU的服务器。

（2）软件环境准备好以后，创建模型安装目录。

（3）下载源码

git clone https://github.com/imClumsyPanda/langchain-ChatGLM.git

（4）安装依赖

cd langchain-ChatGLM

pip install -r requirements.txt

（5）下载模型

git lfs install

git clone https://huggingface.co/THUDM/chatglm2-6b $PWD/chatglm2-6b

git clone https://huggingface.co/GanymedeNil/text2vec-large-chinese  $PWD/text2vec

（6）参数调整

cd config/

cp model_config.py.example model_config.py

cp server_config.py.example server_config.py

修改Embeding模型路径，将“text2vec”的路径修改为本地路径。

修改ChatGLM2-6B的模型文件路径。

修改LLM模型名称，改为chatglm2-6b。

（7）知识库初始化

项目的知识库信息存储在向量数据库中，在运行项目之前请先初始化数据库

python init_database.py

（8）启动依赖服务

python startup.py -a &  

python startup.py --all-webui &   

streamlit run webui.py --server.port 6365 &  

4.3 上传语料数据

使用本地浏览器访问LangChain-ChatGLM的WebUI界面，通过“知识库管理”新建知识库，并上传4.1整理好的的各种格式的电子文档上传知识文件到知识库，选中上传的知识文件添加到向量库并完成向量化存储。

4.4 问答与调试

准备若干与上传的语料数据相关的问题，分别在LLM对话、知识库问答两种对话模式下与金融智能客服模型对话，记录在两种不同模式下，模型回答的效果。对于知识库问答模式下，模型答复的内容，要进行业务规则判断，通过不断交互反馈和优化知识库的文本数据来过滤不合要求的内容。此外要准备默认回复以处理无法匹配的问题。

5 模型效果分析

对比两种模式下，回答相同的问题，可以看到，在未使用本地知识库的情况下，ChatGLM模型会根据其训练的数据来生成答案。虽然它可以生成流畅和符合语法的回答，但是由于缺乏特定领域的知识，可能使人产生知识幻觉。然而，当结合了本地知识库数据后，ChatGLM模型可以利用这些知识来生成更准确的答案。这是因为本地知识库通常包含了特定领域的详细信息，可以为模型提供更准确的上下文和信息。因此，在结合本地知识库的情况下，ChatGLM模型可以生成更精确和有用的答案。

6 结论

研究表明，通过ChatGLM大模型与向量知识库的结合应用，可以有效的提高问题回答的准确性、性能和效率。但是，在与智能金融客服的对话过程中还是会产生LLM幻觉的问题，它可能导致不准确、误导性或不负责任的回答。幻觉现象的存在确实严重影响了LLM应用的可靠性。在许多情况下，LLM生成的文本可能看起来很有说服力，但这并不意味着它的内容是真实或准确的。为了解决这个问题，需要对ChatGLM2-6b模型做小样本参数微调工作[8]，使其能够更准确地理解、处理和生成金融领域的文本。另外，实验搭建的智能金融客服如果需要应用在真实的业务场景，还需要做两方面的工作，一方面，继续收集和整理公司客服应答记录、与公司产品服务相关的文本记录等，提高语料数据的质量，以丰富智能金融客服的知识库；另一方面，设置专门的prompt工程师岗位，负责创建和优化prompt，合适的prompt能在自然语言理解任务上表现很好，prompt工程师需要深入理解业务场景的需求，根据需求和目标创建适当的文本提示，包括调整文本提示的措辞、增加额外的上下文信息或修改问题的顺序，还需要管理和维护智能金融客服系统，并根据新的数据和情境来优化和调整提示，从而达到改善金融服务的质量和效率的目的。

参考文献：

[1] Sivasubramanian S.机器学习：行业挑战的应对之道[J].软件和集成电路,2022(11):2-3.DOI:10.19609/j.cnki.cn10-1339/tn.2022.11.010.

[2] 杜雨，张孜铭.AIGC：智能创作时代[M].北京：中译出版社，2023：21-22.

[3] Zeng A, Liu X, Du Z, et al. Glm-130b: An open bilingual pre-trained model[J]. arXiv preprint arXiv:2210.02414, 2022.

[4] Liu X, Zheng Y, Du Z, et al. GPT Understands, Too[J]. arXiv preprint arXiv:2103.10385, 2021.

[5] Wang J, Huang P, Zhao H,et al.Billion-scale Commodity Embedding for E-commerce Recommendation in Alibaba[J].ACM,2018.

[6]Jianguo Wang, Xiaomeng Yi,et al. VectorStore: A High-Performance Vector Database for Machine Learning[J].Proceedings of the 2021 International Conference on Management of Data (SIGMOD '21), 2021.

[7] 潘建东,徐政钧,刘逸雄等.多模态智能金融客户服务体系建设研究[J].金融科技时代,2022,30(11):53-56.

[8]Gao T, Fisch A, Chen D. Making pre-trained language models better few-shot learners[J]. arXiv preprint arXiv:2012.15723, 2020.