智能座舱、AI手机、AI PC等AI产品已成为智能终端产业科技竞争的主赛道。端侧本地智能计算以其低延迟、高隐私性的优势,结合设备的环境感知能力与多样化交互方式,极大地提升了用户的使用体验,也推动了AI终端向生产力工具迈进。在大模型加持下,端侧应用场景持续拓展,典型应用不断涌现,核心应用逐渐收敛显现。然而,端侧计算设备在运行大模型和生成式AI应用时面仍临诸多挑战,设备的模型适配、性能优化和资源调度等能力直接影响消费者的AI体验。计算速度缓慢、耗电量高、发热量显著提升等问题,严重削弱了消费者的应用体验。
中国信息通信研究院(简称“中国信通院”)长期研究端侧智能计算发展态势,积极推进AI产品基准测试研究工作,联合中国计量科学研究院、行业终端企业牵头立项制订国家计量技术规范《面向人工智能大模型计算能力的终端性能测试方法》(国家标准),围绕端侧大模型典型应用制订科学计算基准。该规范围绕计算效率、响应时间、内存占用、功耗、能效等核心计算性能指标,提出端侧计算设备在执行生成式AI和大模型计算任务时的性能测试方法,测量方法可溯源、可复现,解决端侧异构系统下基准测试标准离散性问题,真正实现产品性能的科学度量。
为进一步推动端侧智能计算技术进步,促进端侧智能产品和应用的高质量发展,为行业和消费者提供AI产品性能评价的可信参考。中国信通院正式启动首批“端侧智能计算领跑计划”活动,此次活动旨在征集业界领先的端侧智能产品,遴选在端侧智能计算领域表现卓越的案例,树立行业标杆,推动产业的创新与发展,同时为消费者选择性能更优异的智能AI终端产品提供更具权威性的参考。