相比消费电脑用户需求与应用场景的多元化,商用电脑更多地体现出应用的专业化。前者也形成了多元化的性能评估手段,与之相对应的就是代表性不足、专业化程度有限以及数据可信性低等,以游戏为例,游戏数量庞大性能特性各有千秋,且性能受驱动优化、参数设定影响大,单一游戏的测试结果很难具有代表性,类型代表性都不具备。除了游戏,具有性能测试功能的软件:各种bench、各种mark非常多,它们或是标榜对某功能进行针对性测试,或是仿真某一应用场景/流程。
今天我们要介绍的,就是面向PC未来应用场景的商用PC测试软件。商用PC测试软件有不同的句读解读:商用的PC测试软件和商用PC的测试软件。
前者相对更为多样化,个人消费者常用有面向整个PC系统的PCMark、CrossMark、GeekBench、XPRT系列等产品,也有针对某一特性或零部件测试的3DMark、Sandra、Cinebench、ADIA、CPU-Z、鲁大师、安兔兔等,甚至很多游戏都提供了内置benchmark功能,也可以算作某一程度上的测试软件。随着“测试”的正规化,测试软件的开发规模越来越大,同时一些相关开发公司也从最初的共享、开源方式、工作室,转向正规化、公司化开发。
首先,商业化测试软件的开发流程是必须商业化的而不是作坊式的,需要行业相关企业广泛参与、合作开发,各自贡献自家的领先产品与技术、相关优化与参数设定,这一方式确保测试软件公平公正和具有代表性,且软件产品生命周期较长、结论稳定性较好。同时,相关测试的各项数据,包括但不限于系统平台、参数配置、测试结论,均是可验证、可核查以及防篡改的。
测试商用PC的软件,除了自身是商业化,更重要的因素还在于它所使用的测试方案是商业级,仿真运行程序有ISV开发,具有通用性。同时测试方法/脚本是公开的,即不使用自动流程/脚本,仅适用相同软件,也能得到相同的评估结论。另外,针对商用PC使用场景,相关软件的测试模式或参数,可通过GUI、命令行或代码进行调整、设定,以满足批量化、无人值守等工业化测试要求。合格的商用PC测试软件与商用PC本身一样,对测试结论的稳定性和可靠性要求更高,在参数不变的情况下,不同测试循环的数据偏差更小,普遍要求低于1%。
可以称得上商用PC的商业化测试软件的产品,相比之下是非常稀少的,并且使用本身和数据分析,都有相当门槛。具体门槛有多“高”,我们将用下一篇文章介绍,今天的主角是商用PC·测试软件本身。
商用PC测试套件产品的龙头,是一家叫做BAPCo(Business Applications Performance Corporation)的小公司,拳头产品也是各种“Mark”。具体来说,有仿真笔记本电脑(含电池续航能力测试)应用的MobileMark、聚焦办公应用流程性能表现的SYSMark和其简化版CrossMark。从上一个版本SYSMork2018/MobileMark2018于2018年发布以来,Windows 10为主流PC平台,而随着Windows 11正式发布,BAPCo也正式发布了“25”系列产品,从这一编号跨度上足以见其特性变化之大,集中体现在测试应用负载以及新硬件支持(如指令调度机制)等方面,如同样的笔记本电脑,在MobileMark 2014中续航能够突破,24小时,而2018、25版,逐级腰斩。
BAPCo公司的名字,已经清晰地指向了商业应用这一领域,其产品最大的特点是基于Microsoft、Adobe、Google等正版、主流商用软件,与UL Procyon一样。SYSMark25的工作流更为复杂,加入了Audacity、AutoIt、企业版WinZip等流行工具,能够很好地反映PC在办公室环境中的性能状态。
相比如雷贯耳的PCMark,SYSMark/MobileMark可谓非常低调,其诞生之初就是服务商业测试,因此普通消费者对它们知之甚少,而它们的测试结论,经常会出现在PC参数表格的“*”中,是标识产品基本性能的重要参数。BAPCo产品的测试成本较高,除了没有盗版、上千美元无折扣的价格,挡住了不少“玩”测试的玩家,早期版本仅支持英文系统、脚本模拟工作流易出故障(兼顾兼容性测试)、动辄2小时安装+8小时测试的时间,哪个不是被个人用户抛弃的理由!
BAPCo已经意识到了测试使用成本上的这些问题,SYSMark 25/MobileMark 25承诺未来将通过升级支持简体中文系统。国内销售的PC产品普遍预装价格较低的单简体中文Windows家庭版,想象一下,如要满足英文测试环境,需要先升级到专业版、切换为英文系统、删除中文语言包及相关特性、按要求卸载Windows的无关功能组件……这套操作最快也要2个小时完成,还要面对更高的测试失败风险。DIY平台自行安装英文系统尚可,而集成大量OEM优化的整机,特别是笔记本电脑,这样操作就非常不专业了。
BAPCo真正解决SYSMark测试成本极高的方式是推出CrossMark,并且更进一步。这款全新的测试软件,能够跨Windows、Andorid、mac OS/iOS和Linux等不同操作系统、硬件平台使用,不仅普通版具有专业版的完整测试流程及成绩评估体系,而且通过集成在Windows Store/App Store/Google Play等官方软件商店中,免费提供给所有用户。CrossMark称得上是市场上唯一能够提供不同软硬件平台的终端和桌面终端,整机性能评估及比对的测试软件。使用相同的工作流及负载,并且全方位地比对生产率、创造性和反应能力,延续SYSMark/MobileMark测试理念的CrossMark,评估结论与前者有着极大的相似度,以1/10的时间成本实现80%以上的评估精度。所谓测试精度,并非测试数据稳定性不佳,恰恰相反,同一参数设定下,同一产品的CrossMark成绩偏差远低于1%,为行业高水平。评估精度与仿真流程长度、任务模拟复杂度有关,与时间代价呈反比。借助CrossMark,用户可对PC产品进行初步、轻负载评价,对产品在不同场景中的性能表现有宏观评价,更全面、更高强度的评估,可交由SYSMark完成。
CrossMark在线数据库,罕见地提供了市场上各种主流处理器的最高性能系统成绩排行,展开后还可看到所有提交测试成绩的同处理器平台的成绩,主要硬件参数具有列出。只有通过数据准确性、正确性检验的数据才会进入排行榜。
测试成本低(跨平台、多语言、免费、测试时间短、结果可靠性高),CrossMark一经推出即获得了众多玩家的关注。短短数个月内,其在线数据库中的测试成绩已经非常丰富,各款主流架构处理器一应俱全。
通过调整测试参数,使用者可以设定运行CrossMark的3个测试套件的全部或其中一个,也可以设定运行次数,实现更具针对性的测试。总的来说,CrossMark的创造性测试项目中的音频、图像、视频、Flash等多媒体素材处理模式更接近工作流,负载相对SYSMark的对应项目轻,也小于Procyon照片编辑和视频编辑模块,更适合评价轻量化工作。
另外,CrossMark还适时加入了AI处理特性,便于评估未来使用场景。
免费是免费,但仅限于标准版——强制上传测试成绩,这也导致异常测试结果频出,好在BAPCo有Pending校验机制,能够很快地移除异常数据。对商业测试客户可以购买Pro版,从而禁止自动上传数据。
CrossMark的优势还体现在它与SYSMark的关系上,后者的门槛高,而前者实现了测试项目的100%相同、数据准确性八九不离十。这样低成本、高素质的CrossMark,未来可期!
其次要介绍的是UL Procyon。2014年,UL收购了用3DMark、PCMark系列在消费PC市场颇有建树的Futuremark(MadOnion,疯洋葱),正式进入基准测试服务市场。在继续使用PCMark产品进行工业测试过程中,开源/共享软件的基础以及流水线测试时的数据稳定性及可分析性负面影响被放大。直到2020年底,UL陆续推出全新的满足工业流水线测试要求的商用测试软件Procyon,进军商用PC、专业PC测试领域。
UL Procyon基准测试套装包括3个PC测试组件和1个Android测试组件,后者是AI 推理基准测试,用来评估移动终端的AI性能,何时能落地桌面平台,让我们拭目以待。
UL Procyon面向PC产品的3个组件是:办公室生产力基准测试、照片编辑基准测试和视频编辑基准测试(benchmarks.ul.com/zh-hans/procyon)。顾名思义,它们面向的使用场景非常清晰明确。照片编辑基准测试和视频编辑基准测试是面向DCC(Digital Content Creation数字内容创建)用户的,均支持最新版相关商业软件(测试者自行购买和安装),前者模仿专业摄影师及美编工作流程,将数位负片(Digital Negative)汇入Adobe Lightroom Classic,进行各种修图、裁剪和拉伸,而后使用Adobe Photoshop在图片套多中编辑与图层效果。视频编辑基准测试使用Adobe Premiere Pro汇入并编辑多段视频,经过调整和套入效果的中间视频还会使用H.264及H.265导出。这两项测试可视作PCMark中DCC模块的专业升级版。
办公室生产力基准测试是商用PC测试的核心模块,姗姗来迟的它于2021年10月正式发布。它采用微软Office中的Word、Excel、PowerPoint 和 Outlook等4件套仿真日常办公应用,可以说是千千万万上班族的日常。当然,你可以说,上班的时候我还要用这个或者那个软件,如视频会议、浏览器、聊天,甚至流媒体软件。这些依托网络实时应用性能测试,并且有待Procyon的新功能模块实现。
SPEC(Standard Performance Evaluation Corporation)是一家有着30年历史的老牌测试服务公司,其旗下测试软件众多,其中最为有名的就是SPEC CPU、SPECapc套件、SPECviewperf套件等产品了。
Evaluation(评估)是SPEC产品的核心竞争力,别看其软件动辄数千美元却可以免费下载和生成成绩,但是没有相应的系统评估和优化表现比对,空有一组组工作站、企业应用或工业软件的测试结果数字,对PC OEM优化产品设计和驱动程序都毫无意义。SPEC最入门的产品/测试软件也是面向PC工作站的,甚至DCC应用也只是刚入门,因此它不被个人消费者重视也就不奇怪了。
SPEC近期更新的测试软件包括SPECViewperf 2020 v3.0,它将在稍后我们的移动工作站产品测试中露面,而商用PC产品的测试不会用到它。
比起消费PC,商用PC的应用场景需求清晰、高度多任务化且流程有迹可循,但是用户对商用PC的性能表现有着更为清晰明确的要求。因此,在评价中,对于商用PC的“产品兼容性/稳定性”以及“性能稳定性/持续输出“表现,也有着较高的权重。同时,反映在商用测试软件的测试过程中,体现为以完成项目为目标的多应用并行化、流程顺序化进程,不仅全部测试软件要求正版化、商业化,且测试周期长、负载波动大而频繁,与消费PC、高性能PC(HEDT,非HPC)、工作站形成鲜明的反差。
联系客服