管家婆免费版,管家婆彩图,管家婆论坛27735con论坛,管家婆下载安装
管家婆免费版
第一届淘宝直播商品识别大赛完美落幕阿里淘系开源比赛数据集
发布日期:2020-09-19 19:28   来源:未知   阅读:

  阿里巴巴淘系技术部与北京大学前沿计算研究中心CVDA实验室、英国爱丁堡大学等合作,正式开源业界首个大规模的多模态直播服饰检索数据集(Watch and Buy)以推动视频多模态检索技术的研究。

  此前,依托该数据集举办的第一届淘宝直播商品识别大赛完美落幕,近2000支队伍参加了比赛,涌现了一批检索创新技术,有效提升淘宝直播场景中服饰检索的效果,形成了一定的学术和工业影响力。

  直播带货是淘宝连接商品和消费者的重要方式,通过对直播视频中商品进行实时识别和推荐,可实现消费者边看边买的消费体验,有效提高商品购买的转化,有非常大的经济价值。通常情况下直播对应的数百款商品之间相似程度高,且直播画面中存在大量的背景干扰、灯光变化、商品遮挡和形变等,给直播画面中商品的匹配识别带来很大的技术挑战。

  淘宝直播“边看边买”效果示例,借助PixelAI 商品识别算法,可以从该直播的商品库中识别出直播中主播讲解的商品,并在直播中通过商品卡片形式推荐给消费者。

  为了提升直播中商品匹配识别的效果,我们依托淘宝直播海量数据,构建了业界最大规模的多模态视频商品检索数据集Watch and Buy (WAB)。该数据集包含70,000个由直播视频片段和对应讲解商品构成的匹配对,具有规模大、标注全、模态多、功能广的特点。我们抽取视频片段若干关键帧和商品的全部商品图进行了实例框级标注,商品id数达82,173个,标注图像数达1,042,178张,检测框实例1,654,780个。框级标注信息丰富多样,包括商品的检测框、类别、视角、展示方式、同款编号等。除了视觉标注,我们还对主播讲解语音进行了人工文本转录,同时提供了商品的标题文本信息。该数据集可用于物体检测的算法、商品重识别算法、主播意图识别、跨模态检索和多模态检索等多种算法的研究。

  当前开源的服饰检索数据集都存在一些不足,无法满足真实视频场景中服饰实时识别的应用和细致研究。

  首先,已有开源数据集均为静态图片的数据集,而真实视频直播场景中还存着运动模糊、遮挡等问题;通过针对视频场景的数据集能够有效对上述问题进行研究和解决。

  其次,已有开源数据集的图片多为网上收集,数目少、噪声大且标注维度不全,我们依托淘宝网和淘宝直播的真实业务场景,能够获取大规模、高质量和全面的商品信息。

  最后,现有数据集多为单一的图片数据集,我们还提供了主播语音翻译文本、商品图标题文本等多模态的信息,进行多模态商品检索的研究,能够更加贴近真实场景。

  我们相信Watch and Buy 数据集的这些特性将会持续激发视频多模态检索领域的技术创新研究。

  为了方便学术界广泛参与,我们将业务问题抽象为视频库和商品库之间的多模态视觉检索问题。在评价指标上,提出了片段级、帧级和检测框级评价标准,全面衡量选手算法效果。

  为了保证选手算法既能快速迭代又能有效赋能线上真实业务,我们在初赛、复赛和决赛的赛题中逐步引导选手从技术贴近业务,其中,初赛为万级视频片段的检索问题,复赛则加入了真实场景中存在的商品缺失问题,决赛则是将选手方案部署到真实线上场景,直接评价完整直播视频的算法效果。

  大赛由淘系技术部内容社交互动平台和天池竞赛平台共同举办, 发布了业界最丰富的7W规模多模态视频检索数据集,用于进行算法模型的训练和效果评测,并且提供了24W的比赛奖金奖励优秀参赛者,考虑到疫情期间高校参赛者的资源困难,额外提供了GPU机器进行模型在线支队伍参赛。选手来源中,30%的队伍来自高校,26%来自公司,个人参赛有6%。选手学历分布为,40%的选手拥有硕士学历,24%的选手为本科,博士选手占6%。最终,来自中科院计算所和吉林大学的逐星团队以超越Baseline方案20%的成绩夺得本次比赛的冠军,另外多位来自高校的参赛同学表示已经在数据集上进行算法研究,并保持于主办方密切联系。淘系技术的算法同学对优秀方案吸纳并补充到淘宝直播线上场景中,实现更好服务于淘宝直播商品识别业务。

  我们是阿里巴巴淘系技术,淘系技术旗下包含淘宝技术、天猫技术、闲鱼技术、躺平等团队和业务。我们服务9亿用户,赋能各行业1000万商家,并成功主导了11次阿里巴巴经济体双十一技术大考,打造了全球领先的线上新零售技术平台。

  我们的愿景是致力于成为全球最懂商业的技术创新团队,让科技引领面向未来的商业创新和进步。

  特别提醒:本网内容转载自其他媒体,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。

  阿里巴巴淘系技术部与北京大学前沿计算研究中心CVDA实验室、英国爱丁堡大学等合作,正式开源业界首...

  “网络安全为人民,网络安全靠人民”,一年一度的国家网络安全宣传周活动于本周如期举行...

  9月8日,2020中国(南京)国际软件产品和信息服务交易博览会品牌活动“创未来软件...

  西瓜视频品牌升级,从“给你新鲜好看”到“点亮对生活的好奇心”,可以看出西瓜...

  百度又有“大动作”?9月18日,百度正式公布在图神经网络领域取得新突破,提出融合标签传...

  调查显示,客户体验往往与银行业绩高度相关。全球范围内,2009~2019年间客户净推荐值位于前二分之一...

  2020年9月18日,云栖大会“云效,开启新一代企业级DevOps时代”论坛在云中举行,论坛邀请到...

  这是一个信息爆炸的时代,每天都有很多新品发布,每天都有来自各个行业的热点事件。而在空调行业中...

  根据网上的数据显示,今年人们更喜欢在家里呆着,选择看电视、玩游戏等娱乐项目,所以一台好的电视盒子...

  [前言]一般而言,银行IT的迭代升级周期为4-7年,如今距上一轮迭代升级热潮(2013年)刚好过了7年。在...

  2020年是中国5G手机快速发展的一年,许多厂商都发布了自家的5G产品,而在这些产品中,最引人关注的...

  互联网信息服务(Internet Information Services)是由微软公司提供的基于运行Microsoft Windows的互...

  8844.43,是珠穆朗玛峰的测量高度,对于普通人来说,它可能只是一串数字,但对于登山、测绘工作者来...

  近日,西瓜视频宣布品牌升级,启用新Slogan点亮对生活的好奇心。好奇心,也意味着开眼界、涨知...

  网络空间的竞争,归根到底是人才的竞争。9月12日至13日,由省委网信办、省教育厅、省公安厅联合主办的...

  近日,中国信息通信研究院发布了2020年8月国内手机市场运行分析报告。报告显示,8月,国内手机上市...

  近日,“信易+入园惠企”系列活动走进深圳罗湖C33+创新产业园。活动为罗湖区“信易+...

  9月17日,“Weimob Day 2020微盟智慧零售增长峰会”上海站正式启动,微盟集团执行董事兼智...

Power by DedeCms