图的办事间接摆设在云上● 无带宽争抢：以图搜，专线带宽不占用，再呈现超时查询告图搜场景下没有警

　　征库分片完全手动运维● 运维成本高：特，较繁琐办理比。在多个 GPU 节点数据分片分布式摆设，过 GPU 显存增量分片数据超，的 GPU 节点需要手动切片到新。

　　采用的是最根本的暴力婚配算法● GPU 资本不足：我们，征向量需要全数加载到显存2 亿个 256 维特， 资本压力很大对线下 GPU。

　　图片数量有 1 亿多10 万博主发布的，主进行关心订阅用户能够对博，000 个博主关心上限是 2。应的图片量级会在 200 万摆布用户关心的 2000 个博主对。件统计阐发（每个用户关心博主分歧需要对用户关心的图片进行及时多条）

　　发觉时髦趋向灵感知款聚焦于快速，发市场、淘系电商、时髦街拍五大图源集成了社交平台、品牌秀场、零售及批，计灵感参考海量的设，快速精确地预判时髦风向协助服装品牌及设想师，场动态控制市。种组合前提下的设想要素标签进行统计阐发此中趋向阐发板块就需要对某个季度下各，降以及饼图等目标并输出上升、下。量最大的查询场景这也是我们数据，量量级会接近百万扫描阐发的数据。

　　的全体方案架构如下当前知衣在阿里云上，、数据层以及大数据平台大致分为产物层、办事层。

　　达摩院自研的向量检索引擎Proxima 是阿里，高机能类似性搜刮实现了对大数据的，版的 ElasticSearch也集成在我们之前在用的阿里云托管。iss 比拟各有所长功能和机能上与 Fa，ss 利用上的坚苦次要是针对 Fai， Proxima 协助我们处理了ElasticSearch +。

　　过分歧的阶段不竭的演进知衣的大数据方案也是经，率和手艺方面的追求满足我们在成本、效，务于营业需求素质上仍是服。

　　以图搜图是我们的焦点合作力在服装行业范畴图片识别和。配的图像检索处理方案只需要设置装备摆设原始图像数据阿里云机械进修 PAI 也供给了类似图匹，以在线建立模子无需标注就可，说比力有吸引力这点对我们来，进行测试对比后续能够考虑，建模范畴的合作展开在服装图片。

　　 比拟较开源版本最大长处就是开箱即用免运维阿里云托管版 ElasticSearch，roxima 向量检索引擎出格的就是支撑达摩院的 P，维查询和统计阐发场景很是适合我们营业的多。 Proxima 向量引擎后面会在图片识别展开讲述。

　　生的营业数据、以及 OLAP 数据阐发服● 数据层：次要保留原始图片、营业系统产务

　　图片的工作量很大由于一次批量识别，务器计较机能有瓶颈线下的 GPU 服，GPU 资本做计较资本的弥补所以我们就借助云上弹性的 。PU 构成一个计较资本池线下 GPU 和云上 G，行图片识此外计较使命配合消费统一批需要进，大提拔效率大。GPU 抢占式实例云上我们采办的是 ，的 2~3 折一般是按量价钱，步降低成天性够进一。

　　办事次要仍是摆设在 IDC 机房○ 图片识别办事：目前图片识别，办事器对图片进行批量识5~6 台 GPU 别

　　运维复杂度为了降低， MaxCompute我们将计较使命迁徙到，rks 做使命编排安排间接基于 DataWo。

　　 Docker 镜像模子生成当前打包到，务就能够对海量的服装图片进行识别然后在 GPU 节点上运转容器服，的特征向量提取出高维。据量很大且需要进行清洗由于提取的特征向量数，在阿里云日记办事 SLS我们选择将特征向量先缓存，步 SLS 的特征向量并进行包含去重在内的清洗操作然后通过 DataWorks 编排的数据开辟使命同，擎 Proxima最初写入向量检索引。

　　务都摆设在线Mb 机房到阿里云的专线带宽● 带宽争抢：图片识别办事和以图搜图服，间接导致人机交互的图搜响应时间耽误批量图片识别办事占用大带宽场景下会。

　　ss 的过程中在利用 Fai，了现实的坚苦我们也碰到。iss 本身的问题当然这并不是 Fa，维分布式系统才能婚配营业需求而是需要投入更多人力开辟运。

　　集不足：由于特征库比力大● 特定场景下召回成果，分片摆设在多台 GPU 办事器上我们人工将特征库拆成 20 个，片只能前往 1024 召回成果集但因为 Faiss 限制每个分，景的营业需求不满足某些场。

　　片的特征向量库建立好服装图，以图搜图的功能我们就能够实现。张新图片的时候当用户上传一，其进行阐发并产出一个表征向量我们用之前的机械进修方式对，向量索引中查找出最类似的成果然后用这个向量在之前建立的，片内容为根本的图像检索如许就完成了一次以图。检索引擎很是主要选择合适的向量。

　　具有阿里达摩院开辟的 Proxima 向量检索引擎○ 特征向量库：由图片识别抽取的向量再颠末清洗后保库

　　于点查及中小规模数据的目标统计计较○ ElasticSearch：用。过 1000 个设想元素标签超，工艺、辅料、气概、廓形、领型、颜色标签维度次要有品类、面料、纹理、等

　　存颠末图片识别后的海量向量数据○ 日记办事 SLS：用于缓。SQL 查询的告警能力SLS 还有一个基于 ，有进来会触发告警就是若向量数据没，发觉问题很是有用这对于营业及时。

　　场景是以图搜图我们的焦点功能，图片库数据进行识别前提是需要对海量的。的所有图片进行机械进修阐发我们以离线的体例对图片库，（256 维）特征向量将每一幅图笼统成高维，ima 建立成高效的向量索引然后将所有特征借助 Prox。

　　如果用来做数据集成和使命安排目前 DataWorks 主，法则判断数据质量也有些少量的基于，的是文档化的开辟规范团队内部的商定更多，效东西的辅助缺乏一些有。景越来越复杂跟着营业场，源越来越丰硕集成的数据，员也越来越大都据开辟人，开辟规范很是需要制定全数门同一的。模通过东西和流程成立数据尺度DataWorks 的数据建，有序的同一办理能够实现布局化。项检测不合适数据规范的开辟流程数据管理模块能够通过设置装备摆设查抄，量项目健康度以及管理成效基于多项管理项的健康分度。务试用数据建模和数据管理目前我们正在连系本人的业，更好的办理数据等候能协助我们，值的最大化实现数据价。模和数据管理的图【建议替代数据建】

　　KV 格局拜候的数据○ HBase：以 ，离线计较榜单等数如商品细致消息、据

　　智能手艺为驱动的国度高新手艺企业杭州知衣科技无限公司是一家以人工，挖掘和供应链组织能力尺度化输出努力于将数据化趋向发觉、爆款，设想的供应链平台制造智能化服装。18 年 2 月知衣成立于 20，金 A 轮融资同年获得万万美；本事投的 2 亿人民币 B 轮融资2021 年完成由高瓴创投、万物资，准独角兽企业榜单」同年入围「杭州市。

　　以及营业需求的不竭变化跟着数据量的不竭增加，场景越来越复杂OLAP 阐发，选型要求越来越高对算法和手艺方案。场景的例举个营业子

　　NSW 算法不需要 GPU● 算法优化：基于图的 H，a 集成做了工程优化且与 Proxim，万条数据召回只需要 5 毫秒）机能有很大的提拔（1000 。量曾经增加到 3 亿目前营业成长特征向。

　　需要锻炼模子图片识别之前。的人员对图片库进行标注由专业的办事行业布景，存储 OSS 批量拉取已标注的图片进行锻炼然后线下摆设的 GPU 集群从阿里云对象。标注的成本为了降低，ve Learning）方式我们采用了自动进修（Acti，由机械进修锻炼出一个模子即基于一部门已标注的图片，的图片进行预测然后对未标注，再次进行确认和审核让人工对预测成果，进修模子继续进行模子锻炼再将标注的数据利用监视，模子结果逐渐提拔。

　　是基于 segment 分片取 Top N 类似● 召回成果集满足营业需求：Proxima 也，标签进行过滤聚合后再按照。ment 较多由于 seg，量就比原先多良多能搜刮到的数据。

　　掘、智能保举等焦点手艺能力知衣凭仗图像识别、数据挖，办事系统不竭升级，列服装行业数据智能 SaaS 产物自主研发了知衣、知款、美念等一系，、设想赋能、格式智能保举等焦点功能为服装企业和设想师供给风行趋向预测，入口向财产链下流拓展并通过 SaaS ，出产的供应链平台办事供给一站式设想+柔性。平鸟、海澜之家、森马等数千家时髦品牌和平台目前已办事 UR、唯品会、绫致、赫基、太。

　　品办事 SLA 由阿里云保障● 不变性高：开箱即用的产，的高可用架构多节点摆设。前为止到目，接口超时问少少碰着题

　　 web 前端供给单次单张图片识别功能我们以在线 serving 的模式在，传一张图片好比用户上，理输出如下成果通过模子的推。

　　片基于 ES 引擎● 运维成本低：分，sticSearch 计较节点就可数据量大的环境下间接扩容 Ela以

　　arch) 是 Facebook AI 团队开源的向量检索库引擎Faiss (Facebook AI Similarity Se。iss 摆设分布式办事初期我们也是选择 Fa，摆设特征向量搜刮婚配办事在多台 GPU 办事器上，GPU 子办事进行处置将搜刮请求分发到每台 ，似成果数据汇总前往给挪用方然后将 TOP N 的相。

　　虽然节流了计较费用自建 CDH 集群，来不少问题可是也带。运维比力复杂最次要的就是，行集群的运维办理需要专业的人员进。上四处搜刮排查缘由呈现问题也是在网，比力低效率。

　　后端系统都曾经实现容器化● 办事层：相关产物的前，ACK 容器办事集摆设在阿里云的 群

　　GPU 集群有 5~6 台● 不变性较差：分布式 ，拉长整个接口响应时间当某一台机械挂了会，务等好久才有成果前往营业的表示就是搜图服。

　　·Park正东集团院内 C8座105室 极客公公司地址：北京市向阳区酒仙桥路4号751 D园

　　起头就摆设在阿里云我们的营业系同一，0 台办事器搭建 CDH 集群同时在 IDC 机房摆设了 1，ve 数仓建立 Hi。情况数据同步到 CDH计较过程是先将云上出产，成果再回传到阿里云上供给数据办事在 CDH 集群进行计较后将计较。

　　智能手艺为驱动的国度高新手艺企业杭州知衣科技无限公司是一家以人工，挖掘和供应链组织能力尺度化输出努力于将数据化趋向发觉、爆款，设想的供应链平台制造智能化服装。

　　arch 实现查询的时候需要 9 秒以上例子在利用 ElasticSe，足营业需要明显不满。研完 Clickhouse 之后那有没有更好的方案呢？近期在调，发生大宽表再查询对数据进行预处置，低到 2 秒以内查询时延曾经降，了营业需求很好的满足。ckhouse 开箱即用阿里云托管版的 Cli，试错成本降低营业，响应营业需求协助我们快速。

　　有多款 APP 使用● 产物层：知衣目前，强设想协作的美念等如主打产物知衣、增。之外除此，方开放数据接口办事和以图搜图的功能我们还供给定制化 API 向第三。服装供应链平台也是焦点的能力输出从数字选款到大货成品交付的一站式。

　　ACK 里的一些 Python 使命○ 数据挖掘 & 算法保举：摆设在 ，相关的内容次要做保举，于用户行为的格式图片的保举、类似性博主的保举好比用户特征 Embedding 计较、基等