日前,全国首个官方“大模型标准符合性测试”公布结果:商汤·日日新-商量大语言模型符合国家标准《人工智能预训练模型第2部分:评测指标与方法》语言大模型的相关技术要求,通用性、智能性等维度达到国家相关标准。
“大模型预训练模型测试” 是由中国电子技术标准化研究院发起,旨在建立大模型标准符合性名录,引领人工智能产业健康有序发展。该评测对外征集了学术界、产业界几十家头部单位意见,围绕多维度展开,涵盖语言、语音、视觉等多模态领域,是基于官方大模型测试基准的权威评测。
作为首批通过该国家标准的大模型,商汤·日日新-商量在38个功能测试项中全部通过,其中包括理解能力、生成能力。
其中,理解能力测试部分进行了文本分析能力、信息抽取能力、推理能力、任务分解、知识问答、编程代码理解等测试。生成能力测试部分进行了摘要总结能力、模板化文本生成能力、机器翻译、文本改写、编程代码生成、结构化数据生成等测试。
通过国家标准符合性测试,意味着未来可以在更广泛的场景中应用,满足不同行业和用户的需求。事实上,目前,商汤在金融、手机、医疗、电信、汽车、地产、能源、传媒、工业制造等众多垂直行业,已与上海电信、小米小爱、金山办公、海通证券、筑梦岛等超过500家客户建立深度合作,助力千行百业的企业解决实际应用难题。