干货！揭秘微信「扫一扫识物」背后的硬核技能

文章目录 [+]

微信扫码已经深入民气，微信扫物 2019年12月23日在 ios 版本正式上线，从识别特定编码形态的图片(二维码/小程序码/条形码/扫翻译)，到精准识别自然场景中商品图片(鞋子/箱包/美妆/服装/家电/玩具/图书/食品/珠宝/家具/其他商品)，有哪些难点须要去战胜? 扫物以图片(***)作为媒介，聚合微信内部有代价的生态内容如电商，百科，资讯进行展示，会催生哪些新的落地场景?本文将细细道来.

干货！揭秘微信「扫一扫识物」背后的硬核技能人工智能

一. 扫一扫识物概述1.1 扫一扫识物是做什么的?

扫一扫识物是指以图片或者***(商品图：鞋子/箱包/美妆/服装/家电/玩具/图书/食品/珠宝/家具/其他商品)作为输入媒介来挖掘微信内容生态中有代价的信息（电商+百科+资讯，如图 1 所示），并展示给用户。
这里我们基本覆盖了微信全量优质小程序电商涵盖上亿商品 SKU，可以支持用户货比 N 家并直接下单购买，百科和资讯则是聚合了微信内的搜一搜、搜狗、百度等头部媒体，向用户展示和分享与该拍摄商品干系的资讯内容。

图1. 扫一扫识物功能示意图

百闻不如一试，欢迎大家利用最新版本微信 → 扫一扫 → 识物自行体验，也欢迎大家通过识物界面中的反馈按键向我们提交体验反馈。

1.2 扫一扫识物落地哪些场景?

扫一扫识物的目的是开辟一个用户直达微信内部生态内容的一个新窗口，该窗口以用户扫图片的形式作为输入，以微信生态内容中的百科、资讯、电商作为展示页供应给用户。
除了用户非常熟习的扫操作，后续我们会进一步拓展长按识图操作，将扫一扫识物打造成用户更加触手可及的利用。
扫一扫识物的落地场景如下图所示，紧张涵盖 3 大部分：

a.科普知识。
用户通过扫物体既可以得到微信生态中关于该物体干系的百科、资讯等小知识或者趣闻，帮助用户更好的理解该物体；

b.购物场景。
同款搜索功能支持用户对付见到的喜好商品立即检索到微信小程序电商中的同款商品，支持用户扫即购；

c.广告场景。
扫一扫识物可以赞助"大众号文章、***更好的理解里面嵌入的图片信息，从而更好的投放匹配的广告，提升点击率。

1.3 扫一扫识物给扫一扫家族带来哪些新科技?

对付扫一扫，大家耳熟能详的该当是扫二维码、扫小程序码，扫条形码，扫翻译。
无论是各种形态的码还是文本字符，都可以将其认为是一种特定编码形态的图片，而识物则是识别自然场景图片，对付扫一扫家族来说是一个质的飞跃，我们希望从识物开始，进一步拓展扫一扫对自然场景图片的理解能力，比如扫酒，扫车，扫植物，扫人脸等等做事，如下图 3 所示。

图3. 扫一扫家族

二. 扫一扫识物技能解析2.1 扫一扫识物整体框架

下面我们为大家重点先容扫一扫识物的完全技能实现方案，图 4 展示的是扫一扫的整体框架示意图。
该框架紧张包含 4 大部分：

1）用户要求环节；

2）商检离线入库环节；

3）同款检索+资讯百科获取环节；

4）模型演习支配环节。

四大环节抽取核心技能模块可以总结为三个，即为数据构建、算法研发、平台培植，我们将逐一道来。

图4. 扫一扫识物整体框架

数据构建

AI 时期数据为王，数据构建的目的便是为了更好的做事于 AI 算法，比如对付用户要求图、商家入库图都须要进行主体检测、类目预测、特色提取，都须要有高质量的演习数据来支撑检测模型、分类模型以及检索模型。
一言以蔽之，数据决定了全体扫一扫识物性能上限。

算法研发

算法研发是为了充分的利用已有的数据，为识物的每一个环节如检测、类目预测，检索特色提取都在精度、速率上到达最优的折中，从而实现用户任意商品要求都能得到精准的同款召回，以及更加干系的资讯展示。
算法研发的好坏决定了扫一扫识物的性能下限。

平台培植

无论是数据培植，算法研发，模型上线都离不开一个好的平台支持，我们为扫一扫识物从数据洗濯，模型演习，支配，上线打造了一个完全的平台。
可以说，平台培植关乎研发效率，决定了扫一扫识物能否实现上线。

2.2 扫一扫识物数据培植

扫一扫识物数据构建分为两大块，一大块是用于模型演习的演习数据培植，另一大块则是支撑用户任意商品检索要求的线上检索库构建。

模型演习数据库构建演习数据库紧张是增援模型演习，犹如款检索中须要的物体检测模型，类目预测模型以及同款检索模型等，在百科资讯搜索中则须要演习商品标题文本分类模型，命名实体识别模型等。
本篇文章我们重点关注视觉语义这一块的算法策略，对付百科资讯用到 NLP 算法我们不才一篇文章中详细阐述。
2.3 章节中我们将阐述数据构建中用到的图片去重，检测数据库标注用到的半监督学习算法，以及检索数据构建提出的半自动同款去噪+合并算法。

图5. 演习数据构建（视觉模块）

在线检索数据库构建在线检索数据库的覆盖范围至关主要，决定了能否支持用户的任意商品搜索要求。
我们采取定引导入、长尾加爬、访问重放、主动创造四种策略不断扩展我们的商家图规模，目前已覆盖 95%+常见商品。
这一数字还在不断上涨中，我们希望后续对用户的任意商品要求都能够精确召回同款商品。

2.2.1 图片去重

无论是检测数据库还是检索数据库，第一步都是清理掉重复图片，这样既可以降落存储压力，也能够降落模型演习压力。
常用的图片去重算法有如下 2 种：

1）MD5 去重，去除完备相同的图片；

2）哈希去重，除完备重复图外，还能去除在原图上进行了些大略加工的图片，如改变原图的亮度、尺度、比拟度、边沿锐化、模糊、色度以及旋转角度，这些图片保留意义也不大，由于在模型演习中采取数据增强策略可以覆盖到。
常用的哈希去重紧张有 aHash，dHash，pHash 等，详细理解可以参阅干系文章[1，2]，我们重点比拟各个去重算法的速率和鲁棒性，如下图 6 所示。

图6. 常用去重算法速率和鲁棒性比拟

比拟图 6 中的数字可知，dHash 的去重速率最快，由于只须要打算附近像素的亮度差异，非常大略易处理，而且对付图片大略的 ps 操作具有较好的容忍程度，除图片旋转外，诸如亮度、尺度、比拟度、边沿锐化、模糊、色度等较小改变都具有很好的抗滋扰能力，有助于我们清理更多的无效图片。
终极我们也是采取 dHash 对我们演习库进行去重操作，11 类全量爬虫商品库中，大概清理掉了 30%的重复图片，累计有 300w 旁边。

2.2.2 检测数据库构建

从图 4 展示的整体框架可知，扫一扫识物的紧张步骤便是主体检测，即先定位用户感兴趣的区域，去除掉背景对后续环节的滋扰。
主体检测基本是大部分以图搜图产品的公认紧张操作，如下图 7 所示的阿里的拍立淘，百度的拍照识图，以及微软的识花小程序。
当然主体检测的算法各有差异，如拍立淘采取的是物体检测算法，百度识图采取的是显著性区域预测，微软识花须要用户合营定位。
为理解放用户，我们希望算法能够自动定位商品区域，考虑到显著性区域预测很难处理多个商品涌如今视野的情形，类似拍立淘，我们采取更加精确的物体检测算法来定位商品位置，并选择置信度最高的商品进行后续的商品检索以及资讯百科展示。

图7. 常用以图搜图产品的主体检测操作示意图

当然物体检测模型离不开检测数据库的支撑，这里我们比拟三种标注物体 boundbox 位置和类别的方法，即人工检测标注，弱监督检测标注以及半监督学习检测标注。

人工检测标注常用的人工检测标注工具 labelimg 如下图所示，我们须要标注爬虫的商品库中 11 类商品涌现的位置以及对应的种别标签。
考虑到人工标注的韶光和金钱本钱都非常巨大，我们只采取该策略标注少量的样本，更多的采取后续的算法进行自动检测框标注。

图8. 常用人工检测标注工具labelimg

弱监督检测标注该算法的核心思想是标注图片中所含物体的种别比较标注框+类别的韶光本钱要低很多，如何只利用全图种别信息来自动推断物体的位置信息，从而完成自动检测标注呢？学术界和工业界有大量的研究者对这一方向进行了研究和探索，紧张思路都是挖掘图片中的局部显著性区域，用其来表征全图的种别语义信息，如图 9 列举了几篇代表性文章。
图 9 左下角算法重点阐述下，它是业内第一篇用深度学习来做弱监督检测的文章，实验室师兄研发，我们还基于该算法参加过 ImageNet14 的竞赛，拿了一个小分支的冠军。
只管愿景很美好，弱监督检测算法有个严重的毛病，便是很随意马虎拟合到局部区域，比如从大量猫的图片中拟合到的位置是猫脸区域，而很难定位到完全的猫的位置，这对付我们同款商品检索来说是难于接管的，我们须要精确召回同一款商品（细粒度检索），所有信息量都非常主要，因而该算法基本被我们 pass 掉了。

图9. 常用弱监督检测算法[3，4，5，6]

半监督检测标注比较弱监督检测算法，半监督检测算法更加贴近任务本身：基于少量的人工标注检测框+检测开源数据库初始化检测模型，然后用该模型去自动标注剩下的商品数据库，并用增加的标注来重新更新检测模型，之后迭代进行模型更新和自动标注。
当然为了掌握上述环节持续正向勉励，我们为对置信度较低的标注样本进行人工校正，算法示意图如下所示。
基于该算法，我们完成了全体商品检测数据库的标注，11 类全量商品库标注了上百万个检测框，个中人工启动标注只有十几万，其他的基本都是基于算法自动标注，大大节省了标注的韶光和金钱本钱。

图10. 半监督检测算法流程示意图

2.2.3 检索数据库构建

完成了图片去重和主体检测之后，大家一个自然的想法便是，能否直接用这批抠图后的商品图结合 SKU 货号进行检索模型的演习，答案是否定的，抠图之后的商品图还存在两大问题：1.同款噪声问题，即同一个 SKU 下面存在非同款的图片，这可能是由于用户上传缺点图片、商家展示的是局部细节图、检测抠图缺点等成分导致；2.同款合并问题，不同的 SKU 可能对应的是同一个格局商品，不加以合并，会导致分类种别数目急剧膨胀，而且模型难于收敛。
因此，在演习检索模型之前，我们须要完成同款去噪和同款合并两个环节，我们提出了基于自动聚类的同款去噪算法和基于稠浊分类矩阵的同款合并算法，如下图 11 所示。
后续我们将分别对这个算法进行解析。

图11. 同款去噪+同款合并算法示意图

2.2.3.1 同款去噪

我们采取聚类算法来自动去除每个商品 SKU 中存在的噪声图片。
我们研究了常用的聚类算法，如下图 12 所示

图12. 常用聚类算法聚类效果展示及速率比拟

关于这些算法的理论及实现流程，大家感兴趣可以参阅[7]。
我们在图 13 中对上述聚类算法在常见指标上进行了比拟剖析，考虑到商品 SKU 聚类的特性，我们更加关注聚类算法的抗噪声能力，对不同 SKU 特色分布的适应性以及处理速率，综合剖析实践后，我们选择了 DBSCAN 作为我们的聚类算法，并对其进行改造来更加适配商品的聚类去噪，我们称其为层次法 DBSCAN。

图13. 常用聚类算法各种指标比拟

层次法 DBSCAN 紧张分为两个环节，分别为 step1.探求间隔最紧致的最大类簇，以及 step2.重访噪声样本，捞回同款困难样本，增加多样性。
下面我简要先容这两个步骤。

层次法 DBSCAN 步骤 1 该步骤的目的是挑选 SKU 中间隔最紧致的最大类簇，由于 SKU 中的同款样本相对噪声样本分布更有规律，数目也一样平常会更多。
算法示意图如下图 14 所示，我们邻域内最小样本数目设置为 2，将所有的核心点联通后，假设有多个类簇，我们选择数目最多的类簇作为我们挑选的商品图片，剩下的样本作为噪声样本。

图14. 层次法DBSCAN步骤一过程示意图

图 15 展示了某个实际 SKU 的步骤一聚类效果，从中我们可以创造最大聚类由于掌握的阈值很严格，样本分布很单一化，而在噪声中实际有一些误为噪声的困难正样本（用红圈示意）。
这些困难的正样本对付提升检索模型的鲁棒性和泛化能力非常主要，因而我们须要把噪声中的困难正样本捞回到左边的最大类簇中来，即为步骤 2 完成的事情。

图15. 某个SKU的步骤一实际聚类效果展示图

层次法 DBSCAN 步骤 2 为了将噪声样本中的困难正样本捞回，提升演习样本的丰富性，我们须要重访噪声样本，打算噪声样本和最大类簇的间隔，并将知足阈值条件的近间隔噪声样本重新分配给最大类簇，如下图 16 所示。

图16. 层次法DBSCAN步骤二过程示意图

2.2.3.2 同款合并

同款合并的目的是为了将不同 SKU 但是同一格局的商品进行合并，从而得到实际有效的格局类目。
我们采取分类稠浊矩阵来完全自动同款合并。
基于合并前的数据我们可以演习初始分类模型，并打算任意两个 SKU 之间的稠浊概率。
稠浊概率定义为 p_ij=c_ij/n_i，个中 p_ij 为第 i 类预测为第 j 类的稠浊概率，c_ij 为模型将第 i 类预测为第 j 类的样本个数，n_i 为第 i 类样本的实际个数。
某个 SKU 的稠浊概率矩阵如下所示，可知，当两个 SKU 实际为同一个格局时，如图 17 左中类目 1 和 3，那么他们之间很难区分，稠浊的概率就会偏大。
通过设定合并同款的分数阈值，我们能够将同款 SKU 进行合并。
实际操作过程中，我们采取下图右边的迭代步骤进行，即先采取高的阈值合并置信度最高的同款，然后更新优化分类模型，并降落阈值合并更多的同款 SKU，上述步骤迭代进行，直到没有同款 SKU 须要合并。

图17. 左：商品SKU之间的稠浊概率示意图，右：迭代合并流程示意图

合并完同款之后，我们得到的演习检索数据库的规模如下图所示，统共为 7w+多类目，1kw+演习样本，比较目前主流的开源数据库如 ImageNet（1000 类，130w+）和 OpenImage(6000 类，900w+)，在种别和数目上都要更加丰富。

2.2.3.3 本钱收益

这里我们对采取算法进行同款去噪+同款合并，和采取纯人工清理进行比拟在韶光和金钱上都有巨大的收益提升，加快了全体项目的迭代速率。

2.3 扫一扫识物算法研发

兵马未动，粮草先行，上一章节我们已经讲述了如何备好粮草（洗濯高质量的演习数据），那么这一章节自然而然便是亮兵器了（高效利用现有演习数据的算法模型）。
按照扫一扫识物整体框架，我们重点先容视觉同款搜索涉及到的三大模块，即为物体检测、类目预测和同款检索。

2.3.1 物体检测

物体检测是扫一扫识物的第一个环节，我们须要有效的定位用户拍摄图片中的商品位置，剔除掉背景对后续同款检索的滋扰。
学术界和工业界对物体检测展开了大量的研究，如下图 18 所示，研究者从不同角度对检测算法进行优化，如从速度考虑分为 one-stage 和 two-stage 检测；从 anchor 出发分为 anchor-based、anchor-free、guided anchors，近期 anchor 又开始崛起，在性能上匹配 two-stage，速率上匹配 one-stage；还有从种别不平衡出发，不同尺度物体检测等等出发。

图18. 物体检测常用深度学习算法

考虑商品检测中，紧张重视三个问题：1.速率问题；2.检测标注种别不平衡；3.物体尺度变革差异大，综合这三个问题，我们选择图 19 中的 retinanet [8]作为我们的检测器。
众所周知，retinanet 属于 one-stage 检测器，从原图出发直接回归物体的位置和种别，因而速率快，其次它采取金字塔架构，有效的适配多尺度物体检测，末了，retinanet 提出了 focal loss 可以有效的适应种别不平衡问题，以及样本难易问题。
后续我们会采取 anchor-free 的策略进一步优化 retinanet 的 head 部分，进一步加速模型的检测速率，这里不展开先容。

图19. retinanet算法架构示意图

我们将 retinanet-resnet50fpn 和经典的单阶段检测器 yolov3，和两阶段检测器 faster-rcnn-resnet50-fpn 进行比拟，如下表格 20 所示。
评测数据采取的是外包采集的 7k 张图片，涵盖了 11 大类，比拟表格结果可知，retinanet 在速率和精度上达到了很好的折中效果。
后续我们会通过 tensorRT 进一步优化 retinanet 的前向速率，剧透下最快可以达到 80FPS。

图20. retinanet算法架构示意图

2.3.1 类目预测

类目预测是为了确定检测抠图中物体的种别，从而方便后续用指定类目的模型进行特色提取和同款索引。
大家可能会有所疑虑，由于前面检测器已经识别出了商品的位置和类目，为何不直接用检测器的类目，而是要重新来过一次类目预测呢？缘故原由如下图 21 所示：演习检测器的数据有限，而用户上传的图片可能千奇百怪，那么演习库未涌现的子类很随意马虎造成检测器分类缺点，其次是类间稠浊性也会带来分类缺点。

图21. 直接采取检测器的类目存在的问题

那么该如何提升类目识别的精度呢？这里我们利用海量的线上检索库来提升类目预测的精度。
即为我们将用户 query 在检索库中进行一次检索，查询最近邻的 top-20 所属的类目，结合检测器的预测类目，来重新加权投票得到物体的终极类目。
终极，通过检测+检索，我们能极大提升类目预测的精度，将近 6 个点的提升。

2.3.2 同款检索

同款检索是扫一扫识物的灵魂。
不同于一样平常的以图搜图，只须要找出相似的图片即可，同款检索属于细粒度检索，须要检索出 query 的精确同款，比如华为 watch GT2 须要搜出来的便是该款腕表，不能是其他牌子的腕表，这就导致同款检索的寻衅非常大，下图 22 列出了同款检索的难点与寻衅：1.类间稠浊性问题，即如何区分相似款和同款；2.同款召回问题，即同款本身存在较大差异，如何有效的检索出同款。
考虑到这些难点，我们提出了 9 大方向来优化我们的同款检索模型。
下面逐一阐明。

图22. 同款检索的难点与寻衅

2.3.2.1 同款检索之分类模型

这是我们的 baseline 模型。
我们利用的分类模型如下图 23 左侧所示。
众所周知，分类模型采取 softmax 将逻辑值映射为类目的概率值，下图右上角表格所示，softmax 能很好的放大逻辑值的差异，将精确类目的概率逼近 1，有利于模型快速收敛。
下图中我们还展示了 softmax 分类模型的决策边界，以及在 mnist-10 类目长进修得到的特色分布[9，10]。
不雅观察可知，softmax 分类器学习到的特色空间有 3 大特色：

1）特色空间呈现扇形分布，因而用余弦间隔检索会优于欧式间隔，后面我们会固定采取余弦间隔进行同款检索；

2）不同类目分布不屈衡。
事实上我们希望同等重视各个类目，他们能均匀的分割全体特色空间，有利于模型泛化能力；

3）边界样本检索不准确，从特色图可知，边界样本间隔附近类的余弦间隔很可能小于该样本到同类之间的间隔，造成检索缺点。
下面，我们重点修整分类模型的所存在的问题。

图23. 分类模型的主要特性剖析

2.3.2.2 同款检索之分类模型改进 1 归一化操作

归一化包括两种，对图 23 中的分类权重 W 进行归一化，以及对特色 x 进行归一化。
那么归一化的浸染是什么呢？先来说说权重 W 的模长和特色空间分布不屈衡的关系。
有研究者[10]表明，演习数据库中样本多的类目对应的 W 的模长也会越长，表征模型越重视该类的分类精确程度，而忽略了其他样本数目少的类目，如图 24 所示，MNIST 和 WebFace 两个数据库都验证了上述的映射关系。
而实际上我们希望的是每一类都能被平等的重视，特色空间中每一类能够均衡的划分全体空间，因而我们须要对 W 进行归一化，让所有类别的权重同等，即：

图24. 每一类的样本数目和分类权重W的映射关系

特色归一化的操作类似，即为：

回顾 softmax 分类的决策边界：

我们将 W 和 x 都进行归一化，因而决策边界只取决于角度，迫使模型演习收敛后特色分布更加扇形化，有利于余弦检索。
但是两者同时归一化，会造成模型难于收敛，大家可以思考一番为何？参考图 23 中的 softmax 特性，由于权重和特色都进行了归一化，分类逻辑值最大为 1，最小为-1，同样的三类分类学习中 gt 类目对应的 softmax 概率最大只到 0.78，远小于 1，导致模型仍有较大 loss，不好收敛。
办理方法比价大略，对逻辑值乘以一个尺度值 s 即可，扩大差异化，有利于模型收敛。

2.3.2.3 同款检索之分类模型改进 2 角度 Margin

增加角度 Margin 的核心目的是让 softmax 分类的扇形分布更加有利于检索：即为同类更加聚拢，不同类更加阔别。
常见的 3 种增加角度 margin 的策略入下图 25 所示：乘性 margin[10，11]，加性余弦 margin[12]，加性角度 margin[13]。

图25. 常见softmax和margin softmax比拟

增加 margin 后，softmax 分类模型得到的类内特色更加紧凑，如下图 26 所示。
这里多说几句，比较乘性 margin，加性 margin 更加随意马虎演习，这是由于乘性 margin 将余弦的单调区间从[0，π]缩小为[0，π/m]，梯度更新区间变小了，而加性 margin 单调区间不变，有利于模型收敛。

图26. 常见softmax和margin softmax特色分布比拟

2.3.2.4 同款检索之分类模型改进 3 排序丢失

分类模型的学习目的是种别可区分，和检索任务还是有一定差异，引入排序丢失的目的便是显示的去优化检索任务，即为欧式空间中同类样本的间隔要小于不同类。
一样平常排序丢失和分类丢失叠加利用效果要更好，我们设计的模型构造如下图 27 所示：

图27. 分类模型+排序丢失模型架构

图 27 中右边展示的是常用的排序丢失函数，如 contrastive loss， triplet loss， lifted structure loss 等。
图中重点展示了三元组丢失函数以及优化的可视化目标，即同类间隔要比不同类间隔小于一个 margin。

2.3.2.5 同款检索之分类模型及其改进后性能比拟

此处我们对分类模型和其改进版本在商品检索任务上进行性能比拟。
评测凑集是我们网络的 11 大类商品库，个顶用户评论图作为查询样本，检索样本为同款商家图和非该格局的噪声凑集组成，可以较好的仿照线上检索库。
图 28 展示了分类模型及其改进版本在珠宝类目上的性能比拟，可知：1）增加归一化和角度加性 margin 后，即为 ArcFace[13]，检索性能要优于常用 softmax 分类模型；2）在分类模型根本上增加排序丢失，如 Hard Triplet Loss，检索性能优于常用 softmax 分类模型；3）分类+归一化+角度 margin+排序，如末了两行所示，性能进一步提升，但是提升幅度不是特殊大。

图28. 分类模型及其改进版性能比拟

2.3.2.6 同款检索之多任务模型

为了进一步提升检索模型的特色表达能力，我们探索让检索特色捕捉更加丰富的商品特性，如在格局的种别上，加上视角、品牌等商品属性，如下图 29 所示。

图29. 检索特色嵌入多种商品属性

为了适应多属性标注标注的学习，我们设计如下图 30 的多任务协同学习模型。
多任务协同学习模型的好处非常明显，可以更好的利用属性之间的干系性，有利于网络的优化收敛，以及提升模型的泛化能力，这样得到的检索特色更加有利于商品同款检索。
这里有个问题，不同任务权重如何设计？当然我们可以手工设置每个任务的权重，但这须要对各个任务理解较为深入加上大

图30. 多任务学习网络来利用多属性标注

量调参得到，其余的策略是自动得到各个任务的权重，有许多研究者对此进行了研究，这里我们采取验证集趋势算法[14]来自动打算得到各个任务的权重，如下图 31 所示。
该算法思想比较直接，即为人工设置高权重用于主任务，如格局分类，其他任务基于其优化难易程度来得到权重，如难优化（丢失颠簸大且绝对值高）的任务权重大，易优化的权重小。
利用多任务协同学习后，模

图31. 基于验证集趋势算法的多任务协同学习模型

型的检索性能比较单任务模型有较大的提升，如下图 32 所示。

图32. 多任务模型比较单任务模型检索性能比拟

2.3.2.7 同款检索之把稳力模型

在图 22 中我们讲述了同款检索的一个巨大的寻衅即为相似款对同款检索的稠浊。
为了更好的区分同款和相似款，我们希望更加关注一些显著的区域，如下图 33 中腕表的 logo，刻写的笔墨，鞋子的 logo，花纹等。
常用的把稳力模型分为三种[15]，有特色空间把稳力，特色通道把稳力，以及 2 种把稳力相结合。

图33. 把稳力模型

通过实验比拟可知，增加特色空间把稳力后，模型检索性能提升，但是增加特色通道把稳力，检索性能反而低落，如下图 34 所示。
我们认为空间把稳力有利于强化模型重视显著空间区域，而特色通道把稳力可能造成了模型过拟合，性能反而有所低落。

图34. 三种把稳力模型检索性能比拟

2.3.2.8 同款检索之层级困难感知模型

同样针对同款检索的两大难点和寻衅，即类间稠浊性和类内差异性，我们采取层级困难感知模型来充分重视这两大难题，如下图 35 所示的包包。
只管是同款，其相似程度可能有很大差异，如该格局包包由于拍摄视角、遮挡等造成的变革，对付非同款的负样本，也有非常相似的其他格局包包，和差异比较大的其他商品入酒类、口红等。

图35. 商品检索中同款类内差异性和类间稠浊性的层级分布特性

层级困难感知模型模型[16]构造如下图 36 所示，其排序丢失按层级分布，第一层级针对所有的正负样本进行排序学习，第二层卖力较为困难的正负样本对，而第三层则卖力更加困难的正负样本对，并且对付越困难的样本对，模型网络设计的越深。

图36. 层级困难感知模型

层级困难感知模型通过层级设计，匹配正负样本对的层级分布特性，能够有效的提升模型的同款检索性能，如下图 37 的实验所示。

图37. 层级困难感知模型同款减速性能

2.3.2.9 同款检索之互学习模型

众所周知，一样平常竞赛中大家都会领悟多个模型的结果来提升精度。
但是在实际的项目落地，我们须要同时考虑支配模型的精度和速率，领悟多个模型会占用更多打算资源，降落前向速率。
那么怎么既然领悟多个模型构造的上风，又不增加打算资源呢？这便是互学习模型的核心思想，如下图所示，互学习模型通过 KL 散度 loss 来接管其他模型的构造上风，支配的时候只须要支配一个模型即可，不增加打算资源。

图38. 互学习模型

实验中，我们利用 resnet152 和 inceptionv4 进行互学习，实际支配采取 resnet152 进行检索，其性能如下图 39 所示。
互学习除了增加模型演习韶光，对模型上线不增加任何包袱，但是精度能够较为显著的增加。

图39. 互学习模型同款检索精度

2.3.2.10 同款检索之局部显著性擦除

通过上述所有策略来提升模型的同款检索性能后，我们创造仍旧存在一个问题，便是深度学习模型会过分关注图像的纹理区域，而忽略物体的形状。
比如在行旅箱的同款检索中，返回的是印有相同图案的书包，钱包等，而非行旅箱。
如何让模型在关注

图40. 常用CNN模型都会过分关注图像纹理，而忽略形状

纹理的同时，也关注下物体的形状信息呢？我们采取局部显著性擦除技能来毁坏原图的纹理，迫使模型来关注物体的形状。
常见的局部显著性擦除有 3 种，如下图 41 所示，分别为随机擦除，伯努利擦除，对抗擦除。
这里我们重点比拟了前两者，对抗擦除后

图41. 局部显著性擦除

续有韶光再补上其性能，实验结果如下图 42 所示，局部显著性擦除能够极大的提升模型的同款检索精度。

图42. 局部显著性擦除同款检索性能

2.3.2.11 同款检索之互 k 隔壁编码重排序

前面我们讲述的都是优化检索模型，这里我们讲述的是如何进一步优化检索模型的检索结果，即重排序。
在重排序里面，我个人非常欣赏互 k 隔壁算法[17]，非常大略高效。
互 k 学习算法最早被提出来用于行人再检索，如下图 43 所示，其核心创造是，对付 query 样本，其检索的 top-10 样本中，正样本（和 query 为同一人）换做查询样本时，其 k 隔壁中有原始的 query 样本，而负样本（和 query 非同一个人），其 k 隔壁中没有原始 query 样本，基于该创造，作者在马氏间隔的根本上，增加了基于互 k 隔壁的间隔度量，如图中下方所示，基于该度量可以有效的对原排序进行重排序，将正样本挪前，将负样本挪后。

图43. 行人再识别中的互k学习算法

但是实际上，我们无法直策应用该算法用于商品同款检索，缘故原由在于我们的 query 是用户评论图，而检索图是商家图，他们存在很大的差异，造成互 k 隔壁会失落效，后续我们重点是如何优化特色度量空间，让模型的域差异减小，然后再利用互 k 隔壁来进行重排序。

2.3.2.12 竞品比拟

末了，我们基于用户上传的 7k 张图片进行 11 类检测准确度评测，运行环境 NVIDIA GPU P4，来比拟不同竞品的精度差异。
比拟试验可知，我们的算法要优于京东，靠近拍立淘。

2.4 扫一扫识物平台培植

正所谓磨刀不误砍柴工，平台培植对付我们的数据构建，模型学习，模型支配都是至关主要。
下面我们逐一先容。

2.4.1 数据清理平台

为了加快人工校验以及人工标注的速率，我们开拓了一系列工具来赞助标注和考验模型精度，这里不做过多阐明。

2.4.2 模型演习平台

这几年，机器学习平台发展迅猛，很多公司拥有自己的深度学习平台，我们人少钱少，紧张是基于开源的深度学习平台来开拓符合商品同款检索的特有平台。
我们紧张是开拓了 caffe 和 pytorch 两套同款检索平台，后续重点先容。

图44. 机器学习平台发展史[18]

2.4.2.1 caffe

我们开拓的第一个模型演习平台是 caffe。
caffe 平台的核心架构如下图 45 所示，caffe 平台现在紧张是工业界用的多，现在学术界用的少些。
我们开拓的 caffe 同款检索平台，具有如下特点：

1)支持丰富的数据增广策略；2)支持多类型数据加载；3)支持蒸馏学习/互学习算法；4)支持困难感知模型算法；5)支持排序模型算法；6)支持 batchsize 扩充。

caffe 的优缺陷非常明显，其优点有：1)演习快，结果稳定；2)基于 proto*** 快速试验各种多模型/多标签/多数据源任意组合。
其缺陷有：1)新算法开拓慢；2)调试不灵巧；3)显存优化不好；4)学术前沿方法更新少。
第 4 个缺陷是较为致命的，我们无法快速跟进学术序言，因而我们后续决定开拓 pytorch 检索平台。

图45. caffe平台核心架构

2.4.2.2 pytorch

我们开拓的 pytorch 检索架构如下图 46 所示，基本支持 caffe 检索平台的所有特点：1)支持丰富的数据增广策略；2)支持多类型数据加载；3)支持蒸馏学习/互学习算法；4)支持排序模型算法；5)支持更多主流网络 EfficientNet；6)支持数据去噪/合并同款/检索；7)支持稠浊精度演习。
pytorch 优缺陷也非常明显，其优点：1)自动求导，算法开拓效率高；2)动态图，Python 编程，大略易用；3)Tensorboard 可视化方便；4)Github 资源多，紧跟前沿；5)Pytorch1.3 支持移动端支配。
当然 pytorch 也不是完美无缺的，比较 caffe 有其缺陷：1)在多任务自由组合不如 caffeproto*** 方便。

图46. pytorch同款检索平台构建

2.4.3 模型支配平台

模型演习我们可以不在乎模型运行韶光代价，但是在模型支配时候我们得要充分重视模型的资源占用情形，只管即便提升模型的并发能力，如 GPU 支配时候优化显存，适配硬件，加快速率。
这里我们重点先容后台 GPU 支配利用的 tensorRT 和手机端支配利用的 ncnn。

图47.模型演习到支配

2.4.3.1 模型支配平台：tensorRT

tensorRT 是英伟达开拓的支配平台，能够有效的降落模型显存，加速模型前向速率。
这里我们不展开细节，大家可以关注下面的检测模型和检索模型，通过 tensorRT 量化加速后，显存和速率都有了巨大的飞跃。

图48.tensorRT支配加速

2.4.3.2 模型支配平台：ncnn

移动端支配，我们用腾讯自己开拓的 ncnn 架构，其优点如图 49 所示。

图49.手机移动端ncnn支配

2.4.4 任务调度系统平台

任务调动平台由我们的后台大神们开拓，紧张用于各个任务的有效调用，考虑到我们的检索库是上亿的数据库，须要担保平台具有较好的容错、容灾，以及鲁棒机制。
如下图 50 所示，当然这里展示的只是冰山一角，后面等后台大神们在 KM 里给大家详细阐明。