层级：200 类商品隶属于 17 个商品大类（如方便面、纸巾、饮料等），天然构成了层次的结构，并可作为辅助监督信息用于进一步的训练。

图 6：17 个商品大类。

难易：针对结算图设计了三种难度：Easy、Medium 和 Hard，包含的商品类别数和数量分别为：

表 2：结算图的三种难度。

强弱：在监督信息层面，我们为每张 RPC 的结算图均提供了由弱（Shopping List）到中（Point）再到强（Product BBox）的三种强度监督信息。

图 5：结算图的三种强度监督信息。

RPC 数据集基准

ACO 基线方法

旷视在本文提出了 4 个 ACO 基线方法，分别是 1）Single，2）Syn，3）Render 和 4）Syn+Render。

只使用 RPC 数据集单品图的标注信息，且直截了当地把这些单品图用于训练，这种策略即是首个基线方法，称之为 Single。另外，本文使用的检测器是 ResNet101 作为 Backbone 的特征金字塔网络 FPN。

通过把剪裁出来的单品随机粘贴在背景上以合成 10,000 张结算图，接着用其训练检测器，这是第二种基线方法，表示为 Syn。

为把上面合成的结算图渲染的更加逼真，旷视借助 Cycle-GAN 转化合成图，如图 9 所示。接着用这 10,000 张渲染的图像训练检测器，这是第三种基线方法，表示为 Render。

图 9：合成结算图与渲染结算图实例对比。

此外，还可以混合使用合成图与渲染图训练检测器，这是第四种基线方法，表示为 Syn+Render。

针对 ACO 任务提出的整个方法的 pipeline 如图 10 所示：

图 10：基线方法 pipeline。

实验结果

在进入到实验结果之前，需要说明的一点是最优的评测指标并不是传统检测任务中的 mAP50、mmAP 等指标，而是本文提出的 cAcc（Checkout Accuracy），即正确核验一张图像内所有商品的精度，简单来说，就是“整单正确率”。

这里按照上述的 Easy、Medium、Hard 三种 mode 测试了 ACO 任务在 RPC 数据集上的实验结果，如表 3 所示：

表 3：实验结果。

研究展望

虽然 RPC 数据集跨域检测方法适用于解决 ACO 问题，但并非其他方法行不通。其他研究方向也可从 RPC 数据集获得启发：

1. 在线学习解决 ACO 问题。实际的零售场景中，商品种类将会不断翻新。快速迭代模型而无需重新训练成为首要问题，这时在线学习就派上用场了。

2. ACO 任务的一个潜在解决方案是在不借助商品检测技术的前提下，直接从结算图中获取商品清单。这本质上是把 ACO 问题转化为一个物品计数问题。

3. 利用结算图的监督信息。RPC 数据集有着不同层次的结算图的监督信息，如何将其利用起来更好地完成 ACO 任务仍值得进一步研究。

4. 作为其他计算机视觉任务的补充数据集。虽然 RPC 数据集针对 ACO 问题而设计，但是标注有商品的 ground truth 定位/边界框，也就适用于物体检索、few-shot/弱监督/全监督物体检测等领域的研究。

结论

旷视在本文中发布了目前学术界最大的商品识别数据集 RPC，并定义了 ACO 任务和对应的评测指标。RPC 数据集含 200 个商品类别，83,739 张图像，包含单品图和结算图两种形态，并且配有不同监督强度的标注。借助这一数据集，本文清晰界定了 ACO 问题，并使用 4 种基线方法基准化这一数据集。实验结果表明，在这一数据集上 ACO 仍有较大提升空间。同时，该数据集还适用于多个潜在的研究方向。

北京旷视科技有限公司是一家行业领先的人工智能公司，在深度学习方面拥有核心竞争力。旷视向客户提供包括先进算法、平台软件、应用软件及内嵌人工智能功能的物联网设备的全栈式解决方案，并在多个行业取得领先地位。2017年和2019年，旷视跻身《麻省理工科技评论》发布的两项「50大最聪明公司」榜单中。

旷视是全球为数不多的拥有自主研发深度学习框架的公司之一。旷视自研的深度学习框架Brain++作为统一的底层架构，为算法训练及模型改进过程提供重要支持。Brain++帮助旷视构建了一条不断自我改进、不断更加自动化的算法生产线，实现以更少的人力和更短的时间开发出各种新算法，并能够针对不同垂直领域的碎片化需求定制丰富且不断增长的算法组合。以Brain++作为基础设施，旷视开发了可部署于云端、移动端及边缘端计算平台的先进深度神经网络。

旷视是人工智能技术商业化的先行者，通过提供多种高效的全栈式解决方案为不同垂直领域的客户赋能。旷视的个人物联网解决方案为手机提供人脸识别解锁与计算摄影功能，持续改善个人设备的用户体验，为移动应用融入身份验证功能，加强产品与服务的安全性。旷视的城市物联网解决方案使各种城市场景实现物联网设备的智能部署及管理，通过视觉数据的高效与精确分析，加强公共安全与便利，优化交通管理并改善城市资源规划。旷视的供应链物联网解决方案帮助企业数字化升级工厂、仓库及零售店，从而提高供应链整体效率。

旷视总部位于北京，拥有 2,000 多名员工，并在北京、上海、南京、成都等地都设有研发中心。旷视的典型客户包括金融科技公司、银行、智能手机公司、第三方系统集成商、物业管理者、学校、物流公司及制造商等。