2022年1月14日，中国信息通信研究院（以下简称“中国信通院”）云计算与大数据研究所主办的“2021年可信AI成果发布会”通过线上方式成功召开。会上中国信通院云计算与大数据研究所人工智能部工程师董昊对人工智能开发平台评测结果进行了解读。

以下为演讲实录：

01. 标准介绍：

图1 标准编制单位

为解决人工智能开发平台产品质量良莠不齐的现状，助力用户方选型和产品方研发，中国信通院云计算与大数据研究所联合产业界近40余家单位联合完成了《人工智能开发平台系统功能要求》标准。目前该标准正在中国通信标准化协会（CCSA）以行标报批状态、在中国人工智能产业发展联盟（AIIA）以团标发布状态同步推进中。

图2 标准能力域介绍

《人工智能开发平台系统功能要求》标准根据AI研发生产运营的流程，综合考虑全面、独立、简洁等原则，围绕人工智能开发平台的数据处理、模型构建、模型部署和支撑与服务4个能力域对人工智能开发平台的通用功能进行了规定和要求，包含145条基本功能以及58条高级功能。

截至2022年1月，人工智能开发平台共开展了两轮功能评测，评测主要依托《人工智能开发平台系统功能要求》标准进行。对于用户方，评测在重点考察AI开发平台功能的基础上，系统评估企业应用AI开发平台的成熟度水平，同时横向对标垂直领域用户的应用情况，为产业界树立平台应用示范，为用户方提升应用水平提供参考；对于产品方，评测可以客观地评价企业AI开发平台的技术水平，横向对标企业技术能力现状，圈定国内AI开发平台企业第一梯队的行业地位，为产品方提升技术和产品能力提供参考。

图3 评测情况总览

两轮评测共11家企业参加，其中：中国工商银行、中国联通、华为云、腾讯云的平台全能力域通过4级，平台整体达到国内领先水平；百度、阿里云、第四范式平台的模型构建能力域通过4级，单能力域达到国内领先水平；马上消费、研华科技平台的模型构建能力域通过3级，单能力域达到国内先进水平。

02. 测试分析：

图4 数据处理能力域评测分析

数据处理能力域方面，数据接入、数据分析、数据管理和数据标注通过率较高，而数据预处理通过率较低。组织结构健全的团队标注成为平台标准配置，通过预训练模型实现智能标注成为平台亮点。各类数据预处理的自动化处于应用试点阶段，无监督数据增强仍需探索研究。

图5 模型构建能力域评测分析

模型构建能力域方面，算法管理、特征工程、模型开发、模型训练通过率较高，模型评估和自动学习通过率较低。平台普遍配置丰富的框架及算法，提供交互式、可视化和自动化多种开发模式，并支持单机/分布式多种训练方式。模型评估建议和模型可解释性等能力有待提高，面向文本、语音和视频场景的自动学习建模模版的支持能力还需加强。

图6 模型部署能力域评测分析

模型部署能力域方面，模型管理通过率较高，模型部署和模型推理通过率较低。平台对模型压缩、模型编排以及边缘设备的模型部署能力支持较为全面。基于规则的模型自动更新能力和模型在端云设备协同部署的能力有待进一步提升。

图7 支撑与服务能力域评测分析

支撑与服务能力域方面，用户认证、权限管理、计量计费、日志管理、监控告警和AI市场通过率较高，资源管理和安全通过率较低。权限、日志等信息化支撑能力较为完备，工作流相关基础功能正逐步完善。GPU的虚拟化和池化、数据和模型的安全仍是产业痛点。

03. 测试观察：

观察1:

图8 测试观察1

人工智能开发平台整合了多种异构资源，打造出“开箱即用”的用户体验。平台普遍支持了3种以上主流的机器学习框架、深度学习框架和计算资源，并呈现出多种网络资源和存储资源融合应用的趋势。用户无需关注繁琐的资源配置、复杂的工具选型等细节，可将精力聚焦在算法开发、模型验证和业务运营，有效提升生产运营效率。

观察2:

图9 测试观察2

大数据技术和云原生不断赋能人工智能开发平台，云数智融合趋势将加速AI应用落地。大数据方面，近半数的平台使用SparkML、Yarn等技术为用户提供大规模机器学习任务的分布式计算，为基于结构化数据的智能决策持续赋能。云原生方面，容器化技术已经成为产业届的事实标准并得到了广泛应用，云原生与人工智能的融合也催生出MLOps、KubeFlow等理念和工具。

观察3:

图10 测试观察3

自动学习逐步进入商用阶段，未来将延伸应用至更多场景。自动学习技术开始被应用在开发流程的多个环节，但算法不成熟、算力和时间成本高昂使其局限在单一环节，难以拓展至通用场景的全流程进行应用。目前，产业界为平衡技术探索和工程实践，开始沉淀和提供面向成熟场景的自动建模模版，如二分类等机器学习任务，图像分类和目标检测等深度学习任务。未来，技术的进步和场景的积累会让自动学习应用至更广泛的场景。

观察4:

图11 测试观察4

AI资产的沉淀和管理成为产业共识，但AI资产的纳管机制和安全体系有待完善。多数企业配备了AI市场对数据、特征、算法、模型、服务、工作流等AI资产进行沉淀和管理。模型作为核心AI资产在开发流程的各环节均有应用，如在数据处理环节使用预训练模型进行智能标注，在模型训练环节使用预训练模型加微调进行模型开发，在模型部署环节使用原子模型编排进行复杂场景的模型部署。虽然AI资产的纳管和安全已经受到了关注，但是完善的纳管机制和安全体系仍是产业界需要努力的方向。

观察5:

图12 测试观察5

人工智能开发平台正在成为大规模AI应用的基础设施。人工智能开发平台提供机器学习和深度学习开发、应用和运维的能力，衔接起数据科学家、算法专家、业务专家和运维专家等各类角色的协作，提供AI资产存储、应用和管理的服务。人工智能开发平台可以帮助企业将AI生产从小作坊的手工模式转化为大规模的流水线模式，推动AI应用的规模化落地。

04.工作计划

图13 工作计划

针对人工智能开发平台的发展仍面临技术壁垒、安全风险、性能优化等挑战，中国信通院云计算与大数据研究所、中国人工智能产业发展联盟（AIIA）、中国通信标准化协会（CCSA）、人工智能工程化推进委员会将持续围绕商业化人工智能工具、平台和解决方案，开展技术研究、标准制定、评估测试、产业推进和智库支撑等工作，协同行业各方推动人工智能健康发展，欢迎感兴趣的企业和专家参与到我们的工作中。

声明：本文来自可信AI评测，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。