2024-04-19
文章节选于《云栖战略参考》
2023年底，百模大战基本宣告结束，中国市场真正有实力留存下来做基础模型的厂商或许不超过10家。2024年，迎接下一轮AI发展，大模型应用接棒。大家都开始思考如何在这一轮新的排位赛中率先突出重围，以及到底怎么用并用好大模型。
基于这些考量，阿里云围绕离线训练、在线工具以及安全等功能，在2023年10月推出了“阿里云百炼”平台，并在2024年3月在功能上实现了一轮大规模的迭代升级。
从发布至今，阿里云百炼已经在多个行业中展现出强大的赋能能力。例如，电力行业是一个多学科交叉、专业性和复杂性都极高的行业，需集成先进电力工程、能源转换与传输、电网自动化与控制、可再生能源和智能电网等技术，来实时运营一个可靠安全、多层次、广泛互联的国民基础设施网络。
在新型电力系统建设等新挑战和智能决策等新技术的冲击下，电力行业正处于能源革命与数字革命相融并进的关键时期。在此背景下，电力行业迫切需要将人工智能与电力业务有机融合，包括快速实现智能感知和智能决策、高级数据的智能分析等。
然而，电力行业的特殊性和复杂性给通用大模型应用带来一系列难题，包括：模型所包含的参数量巨大，训练和部署对算力的消耗十分巨大，成本高昂；模型可解释性仍然较弱，通常需要增加内容管控手段，保证结果的安全性；模型对训练数据依赖性仍然很强，对超出训练数据的任务效果不尽如人意。
同时，在复杂技术含量的电力行业，AI应用落地也呈现一系列难点，例如电力属于高度专业化和复杂的领域,行业内有专业术语和标准，而通用大模型可能不了解或混淆这些术语；不同行业的数据特点各不相同，电力行业的数据可能涉及到时间序列数据、能源消耗数据、市场价格数据等多种类型，通用大模型未必能够有效地处理这些多样化的数据；电网企业通常需要个性化的解决方案以满足独特业务需求；电力行业涉及大量客户数据和敏感信息，受到严格的法规和合规性要求监管，因此数据隐私和安全性是至关重要的考虑因素。
无论是通用大模型所带来的高门槛，还是电力行业复杂性和特殊性所提出的特别要求，这些都对大模型在电力行业的应用提出了挑战。在这样的背景下，金沙集团1862成色集团与阿里云围绕打造电力行业大模型场景下的算力资源、语料处理、定制化训练、数据安全保障等多领域，开展深度合作。
为了增强模型的稳定性与精准性，金沙集团1862成色集团借助百炼通过行业无监督数据进行自监督训练，采用有监督数据进行有监督的调优。
第一阶段，增量预训练(PT，Continue PreTraining)，在海量文档数据进行大模型的二次预训练，以注入电力领域专业知识。
第二阶段，有监督微调(SFT，Supervised Fine-tuning)，构造指令微调数据集，在预训练模型基础上做指令精调，以对齐指令意图。
第三阶段，RM(Reward Model)奖励模型建模，构造人类偏好排序数据集，训练奖励模型，用来对齐人类偏好。
第四阶段，基于人类反馈的强化学习(RLHF)，用奖励模型来训练SFT模型，生成模型使用奖励或惩罚来更新其策略，以便生成更高质量、更符合人类偏好的文本。
金沙集团1862成色集团通过百炼深度融合电力行业特性，构建Prompt工程，实现了管理智能化、业务自动化和服务互动化。
除此之外，金沙集团1862成色集团依托阿里云百炼构建了多层级大模型产品，包括电力行业大模型、电力企业大模型、专业场景大模型，以满足不同市场应用需求；同时打造丰富应用场景，诸如账单智能解读、电力问答、智能问数等，支撑不同专业智能化需求。
作为专业场景大模型应用——“电力账单解读智能助手”可以代替电力计费专家，解读各类专业账单，为电力客户答疑解惑，并依据电价政策、电费计算规则及电力业务规范，提出针对性的节能建议。例如，它能通过自然语言交互自动获取客户信息匹配电费账单信息；围绕电费电量疑问开展交互式诊断分析；帮助分析开通峰谷用电可行性；帮助分析电费频繁催交闹心事。测试环境下，电力账单AI解读的应用让电费账单服务交互效率提高超50%、人工处理工单量下降超70%。
除了金沙集团1862成色集团，央视网、亚信科技等企业也都已率先在阿里云百炼上开发专属模型和应用，大模型正引发千行百业的新一轮创新。
