大语言模型金融领域应用评测指南

【适用范围】 本文件提供了大语言模型在成渝地区金融领域应用评测的指南。 本文件适用于成渝地区金融机构对大语言模型能力评测的设计与实施。 【主要技术内容】 1 范围4 2 规范性引用文件 3 术语和定义 4 缩略语 5 评测原则 6 评测维度 6.1 概述 6.2 性能效率 6.3 信息抽取能力 6.4 信息归纳能力 6.5 指令遵循能力 6.6 规避风险能力 6.7 逻辑能力 6.8 工具调用能力 6.9 文本真实性 6.10 输出稳定性 6.11 文本一致性 6.12 语言多样性 6.13 情绪与智力能力 6.14 想象力与类比关联能力 7 评测方法 7.1 准备评测数据 7.2 设计评测工具 7.3 搭建评测环境 7.4 评测执行 7.5 结果分析