阿里机器智能—KDD 顶会来了！阿里巴巴带来哪些惊喜？

阿里机器智能—KDD 顶会来了！阿里巴巴带来哪些惊喜？

小叽导读：ACM SIGKDD 是数据挖掘研究领域的顶级年会。每年都吸引着超过3000名数据科学领域的顶级学者和知名企业。2019年，KDD 再度成为爆款学术会议，注册参会人数超历年之最。组委会对于论文质量，特别是可重复性的高要求，使今年论文的收录比也创下新低，research track 的收录率仅为14%。今年的 KDD ，8月4日，准时开幕，阿里巴巴如约参会，多篇精彩论文带你先睹为快。

阿里巴巴作为一家数据驱动的企业，用大规模电商平台中产生的大数据，不断推动数据科学技术的发展，阿里人的身影也越来越多地出现在 KDD 的各项活动中。2019年，阿里巴巴将在 KDD 与同行分享在图计算、深度学习等领域的最新进展。集团近20篇论文被大会收录，内容主要涉及图计算、深度学习在搜索、推荐、广告等场景中的应用，涵盖了用户兴趣挖掘、广告实时竞价以及智能时尚搭配等领域。同时，达摩院智能计算实验室和阿里妈妈还分别组织 workshop，邀请工业界和学术界嘉宾，探讨深度学习的理论与实践。达摩院智能计算实验室资深算法专家杨红霞还将在应用数据科学（Applied Data Science）环节受邀发言，介绍 AliGraph 这一由阿里自主研发的综合图神经网络平台。

接下来是阿里巴巴被 KDD 收录的部分论文摘要解读。

论文速览

1.Practice on Long Sequential User Behavior Modeling for Click-Through Rate Prediction

基于历史行为数据理解用户、挖掘其潜在兴趣，已成为 CTR 预估建模技术重要的研发主线。用户兴趣建模领域不断诞生新的算法，它们在离线的实验环境验证了有效性，但是大部分方法都面临实际工业落地的复杂挑战。工业界应用中大部分服务是实时响应的。如点击率预估服务，面临着高并发的请求，且需要在极短的时间内完成响应。面对较长的用户行为序列数据，现有兴趣建模算法的在线推理模块均面临时延和存储等方面的巨大挑战。当前工业界主流的CTR预估技术能够建模的用户序列长度普遍在100以内。但在阿里电商场景下，用户的行为非常丰富，用户仅60天的平均行为长度就超过了1000，这些数据蕴含了非常丰富的信息。

为了解决上述挑战，本文从算法和系统 co-design 的角度设计了全新的建模方案：

1）算法端：我们借鉴了 Memory Network 的思路，提出了新一代 CTR 预估模型MIMN (Multi-channel user Interest Memory Network) 。MIMN 阅读用户的超长行为序列，从中提取和归纳用户的多样化兴趣，并沉淀到记忆网络中。此外，MIMN 设计了内存利用正则，可以有效地提高记忆存储的利用率；同时 MIMN 引入了兴趣归纳结构，可以捕捉用户不同兴趣轨道的演化。

2）系统端：用户的兴趣状态应该随新增的行为发生变化，而与点击率预估请求解耦。因此用户的兴趣推断计算可以在实时计算点击率前完成。为此我们单独设计了一个独立UIC模块来负责用户兴趣计算。UIC模块的更新计算由用户实时的新增行为触发，与广告点击率预估计算异步进行，这部分的计算不再影响在线点击率预估的计算耗时。得益于memory结构的精巧性，MIMN模型可以增量化运行，它实现在UIC模块中，对在线实时服务是友好的。

整体上，本文提出的 MIMN+UIC的co-design 解决方案打破了行为序列长度对用户兴趣建模技术的瓶颈制约。在阿里巴巴的展示广告场景，我们实现了对1000以上的超长用户行为序列建模，该技术已经实际部署到生产系统，取得了显著的在线效果提升。

2. POG: Personalized Outfit Generation for Fashion Recommendation atAlibaba iFashion

优秀的服饰搭配推荐引擎需要满足两方面要求：

搭配生成要符合视觉美观；搭配推荐要做到个性化。

本文中，我们利用 Transformer 的结构，巧妙地在视觉合理性和个性化推荐之间建立桥梁，首次将搭配生成和推荐同时部署在大规模的工业应用中。具体来说，我们在encoder-decoder 的框架上，将用户对单个商品的偏好学习并运用到搭配的生成中，并利用 Tranformer 中 self-attention 的特性，保证搭配商品之间的合理性。离线和在线的实验结果证明了模型在搭配合理性、推荐个性化两个方面的表现都超过了同类其他模型。

3.Personalized AttractionEnhanced Sponsored Search with Multi-task Learning

在电商搜索广告场景下，个性化的商品排序是满足消费者需求、提升点击率和成交的有效手段。广告创意是商家将商品属性卖点或者优惠等利益点等各种信息展现给消费者的关键载体，通过丰富的创意呈现满足不同消费者对商品不同卖点的关注，对提升创意质量和效果有重要价值，对平台来说如何帮助商家对广告创意进行智能化个性化展现是提升广告主投放效果的有效手段。

本文提出一种完整的基于搜索关键词理解的创意标题关键卖点优选方案，在线投放证明在对搜索关键词理解后在创意标题加入个性化相关卖点信息能显著提升创意点击率。针对个性化卖点信息优选本文提出一种多任务学习模型，主任务学习消费者对卖点词的偏好，辅助任务学习消费者对商品的偏好，利用主辅任务不同但相关的目标，学习两个任务的共享表示，利用共享表示的抽象性，提高主任务泛化能力，达到整体优化的目的，在线投放实验结果表明该方案的有效性。

4. Exact-K Recommendation via MaximumClique Optimization

本工作的目的是解决一个新颖但是广泛存在的推荐问题，Exact-K 推荐。与传统的 Top-K 推荐不同，Exact-K 推荐更多地关注（带约束）的组合优化问题，在这个问题中，我们会优化推荐整个 K 个商品作为一个卡片。为解决这一问题，首先我们将 Exact-K 推荐问题转化成在图上的“最大团优化”问题，我们提出 GraphAttention Networks (GAttN) 模型，该模型应用了 encoder-decoder 框架，可以端到端的学习 K 个商品的最佳联合分布。于此同时，我们结合了监督学习和强化学习的优势，引入了“ReinforcementLearning from Demonstrations（RLfD）”的训练方法，更加高效、有效地训练我们的模型。我们在公开的数据集 Movielens 和淘宝的数据集分别进行了实验，结果表明我们提出的方法达到了最优的效果。

5. Sequential Scenario-Specific Meta Learner for Online Recommendation

冷启动问题是实际推荐问题的长期挑战。大多数现有的推荐算法过于依赖于广泛的观察数据，并且对于具有很少交互的推荐场景是脆弱的。本文使用 few-short 学习和元学习来解决这些问题。我们的方法基于以下见解：从一些示例中获得良好的概括依赖于通用初始模型和有效策略，以使该模型适应新出现的任务。为实现这一目标，我们将特定于场景的学习与模型无关的序贯元学习相结合，并将它们统一为一个集成的端到端框架，即场景特定的顺序元学习器。这样，我们的元学习者通过聚合来自各种预测任务的上下文信息，同时通过利用学习到的知识有效地适应特定任务，来生成通用初始模型。

6.A Minimax Game for Instancebased Selective Transfer Learning

基于神经网络的迁移学习已经广泛应用于将从数据丰富场景学习到的知识迁移到数据稀疏场景中，并取得了比较好的效果。但在迁移学习领域，一个公认问题就是当两个场景数据分布差异较大时，容易产生负迁移。在本文中，我们提出了一种基于采样的迁移学习模型(MGTL)，只从源域中采样出与目标域分布相似的样本用于迁移学习。因此，MGTL 主要有两个目标：

从源域中采样出与目标域分布相似的样本；采样出来的样本是对目标域的学习目标是有帮助的。

我们设计了一个采样网络(selector)、鉴别网络(discriminator)和迁移网络(TL module)，鉴别网络主要目的是区分采样网络采样出来的数据和目标域上的数据，而采样网络则扮演攻击者的角色，尽量从源域中采样出能迷惑鉴别网络的数据。最后，迁移网络利用采样出来的数据和目标域上的数据来训练一个对学习目标有帮助的模型，同时也会指导采样网络的学习。我们的模型在文本匹配的公开数据集上以及实际电商场景推荐系统中验证了效果，并成功得到了运用。

7.IntentGC: a Scalable GraphConvolution Framework Fusing Heterogeneous Information for Recommendation

搜索广告的受众推荐是提升广告投放效果的重要课题，基于用户行为的解法普遍存在行为数据稀疏的挑战。因此，目前网络表征学习正在得到越来越多的应用。

为更好地实现受众找回，本文提出一种融合多种信息的大规模图卷积学习算法。采用二部异构图建模，通过最小化 Triplet 损失函数，有效控制和侧重学习用户的偏好和表达。整个学习过程是一个半监督的模式，有效利用了电商体系内大量的无标注信息来加强目标的精度。在这一过程中，强异构性和大规模性是两个核心挑战。

针对强异构性挑战，我们设计了一种将多种异构信息进行统一卷积的算法。具体而言，该算法首先将异构信息嵌入异构关系之中，对整个异构图进行一次信息无损翻译，使其具有较好的聚类性。在此基础上，在图的元卷积函数中直接学习各个异构关系的信息，从而在有效提升学习效果的同时减少参数数量。

这一算法符合 GCN 的多级迭代体系，能够学习多重高阶表达，并使得图卷积具有很强的物理可解释性，克服了异构关系本身在图卷积过程中会丢失物理意义的问题。针对大规模性挑战，我们的核心思想是将图卷积的功能拆分成两种不同的神经网络：图视角神经网络和结点视角神经网络，通过两者联合实现图卷积功能。此外，我们在第一类图卷积中设计了 vector-wise 的神经网络，显著降低无效连接并减轻复杂度。目前，该算法已经应用在淘宝搜索广告受众推荐中，大幅提升了广告主投放效果。

8. Metapath-guidedHeterogeneous Graph Neural Network for Intent Recommendation

随着移动电子商务的兴起，意图推荐这一新型的服务推荐在淘宝、亚马逊等移动电子商务应用中得到了广泛的应用。与传统的 query 推荐和 item 推荐不同，意图推荐是在用户打开应用程序时根据用户的历史行为、个性偏好等自动推荐用户意图，不需要用户做任何输入。我们基于 GNN 提出了一个新的 MEIREC 模型。首先将系统建模为一个 HIN（异质信息网络），MEIREC 模型利用元路径引导的邻居来获取 HIN 中丰富的交互信息。此外我们设计了一种统一的词嵌入机制，大大减少了参数空间。我们将模型最终上线在了淘宝 APP 上，最终获得了 UCTR 提升+2.66%的稳定效果。

9. Isa Single Vector Enough? Exploring Node Polysemy for Network Embedding

网络嵌入模型是将网络中的节点映射到连续向量空间表示中的强大工具，以便于后续例如分类和链路预测等任务。现有网络嵌入模型将每个节点的所有信息（例如链路和属性）全面地集成到单个嵌入向量中，以表示节点在网络中的一般角色。然而，真实世界的实体可以是多方面的，由于不同的动机或不一定相关的自我特征，它连接到不同的社区。

在本文中，我们提出了一种多维嵌入方法，用于对节点的多个方面进行建模，这是由语言建模中的单词多义现象所驱动的。节点的每个方面被映射为嵌入向量，而我们还维持每对节点和方面之间的关联度。所提出的方法适用于各种现有的嵌入模型，而不会使优化过程显着复杂化。我们还讨论了如何将不同方面的嵌入向量用于推理任务，包括分类和链接预测。

10.Bid Optimization byMultivariable Control in Display Advertising

在展示广告场景下，实时竞价（RTB）是一种非常重要的流量采买方式。在 RTB 中，广告主借助需求侧平台（DSP）的数据和算法能力，实时地对流量出价进行参竞。对于DSP 来说，如何帮助广告主通过出价在 RTB 中获得更好的广告投放效果，是非常重要的问题。

本文借助线性规划的 primal-dual 方法，推导并证明了在预算和单位点击成本约束下，最大化转化数的最优出价策略。同时为了应对 RTB 环境波动问题，本文提出利用实时反馈对出价策略进行调整，并基于对最优出价策略的分析设计了多参数调控系统。为了解决多参数调控系统中参数之间的耦合影响，本文对环境进行建模，并通过部署解耦模块优化系统调控能力。在真实数据集上进行的评估证明了本文方法的有效性。

11. Representation Learning for Attributed Multiplex Heterogeneous Network

网络嵌入（或图形嵌入）已广泛用于许多实际应用中。然而，现有方法主要集中在具有单类型节点/边缘的网络上，并且不能很好地扩展以处理大型网络。许多现实世界的网络由数十亿个节点和多种类型的边组成，每个节点与不同的属性相关联。在本文中，我们正式提出为归属多路复用异构网络嵌入学习的问题，并提出了一个统一的框架来解决这个问题。该框架支持转导和归纳学习。同时，我们还对所提出的框架进行了理论分析，展示了它与之前工作的联系，并证明了其更好的泛化能力。

12. Towards Knowledge-Based Personalized Product Description Generation in E-commerce

优质的产品描述对于在电子商务平台中提供有竞争力的客户体验至关重要。准确而有吸引力的描述不仅可以帮助客户做出明智的决策，还可以提高购买的可能性。然而，制作成功的产品描述是繁琐且耗时的。由于其重要性，产品描述的自动化生成引起了研究者和工业界的相当大的兴趣。在本文中，我们探索了一种结合神经网络和知识库的力量来生成个性化产品描述的新方法。具体而言，我们在电子商务的背景下提出了基于KnOwledge 的 pErsonalized（或KOBE）产品描述生成模型。在 KOBE 中，我们将编码器 - 解码器框架 Transformer 扩展为使用自我关注的序列建模公式。为了使描述既有信息性又个性化，KOBE 在文本生成过程中考虑了各种重要因素，包括产品方面，用户类别和知识库等。

Workshop 介绍

1.The 1st International Workshop on Deep Learning Practice for High-Dimensional Sparse Data with KDD 2019

如何从海量数据中建模用户的兴趣，为用户提供优质的个性化服务，已经成为互联网公司改善用户体验、提升营收的关键要素。与图像、文本、语音等连续稠密数据不同，在广告、推荐、搜索等场景中，数据的特点是高维稀疏与结构化。从模型的视角来看，其特征与样本的数量更是动辄成百上千亿。在这种数据上，如何应用深度学习算法进行问题建模、如何提供工业级的训练及推理能力、如何更好地打开算法的黑盒提供可解释性等等，都是目前深度学习的学术研究与工业实践之间存在的鸿沟。

为了更好地推动领域的创新与前行，阿里巴巴广告/推荐/搜索等核心团队的技术负责人，联合AliExpress、Lazada以及工业界/学术界同行，将在本次研讨会上深入、系统性地探讨深度学习在大规模工业级稀疏数据上的应用实践、关键性技术挑战以及未来的发展趋势。

目前我们共收到来自众多企业及高校的征文投稿，涉及包括新的模型结构、新的特征处理系统、新的表征层学习算法、Attention/Memory Network/Transformer 在高维稀疏数据上的应用、工业级深度学习训练框架、基于深度学习的异常检测方法等众多的实际应用与研究话题。在即将举行的 KDD 2019 大会上，我们将一起探讨和推动这个领域的最新前沿进展。此外，本次研讨会我们还邀请到了来自蚂蚁金服的资深总监余泉和来自清华大学的崔鹏教授发表主题演讲，欢迎大家关注、踊跃参加。

Workshop 官网地址：https://dlp-kdd.github.io/

2.The 1stInternational Workshop on Deep Learning on Graphs: Methods and Applications

深度学习模型是当今人工智能研究的核心。众所周知，对欧几里德数据（如图像或序列数据，如文本）具有破坏性的深度学习技术不能立即应用于图形结构数据。这种差距推动了对图表表示学习，图形生成和图形分类等各种任务的深度学习研究的趋势。当应用于社交网络，生物信息学和医学信息学等领域时，图形结构数据的新神经网络体系结构在这些任务中取得了显着的性能。图论与深度学习交叉的这一研究浪潮也影响了其他科学领域，包括计算机视觉，自然语言处理，归纳逻辑程序设计，程序综合与分析，自动化计划，强化学习和财务安全。尽管取得了这些成功，图形神经网络（GNNs）仍然面临着许多挑战。

本次研讨会旨在将来自不同背景和观点的学术研究人员和行业从业者聚集在一起，迎接上述挑战。研讨会将包括有关各种方法和应用的贡献讲座3个，贡献海报11个和大咖邀请讲座5个，由裴建老师开场。本研讨会旨在分享在图形神经网络和实际应用的交叉点研究新方法和方法的愿景。

Workshop 官网地址：https://dlg2019.bitbucket.io/#paper

Applied Data Science Invited Talk

AliGraph：综合图形神经网络平台——杨红霞（阿里巴巴资深算法专家）

越来越多的机器学习任务需要处理大型图形数据集，这些数据集捕获了潜在数十亿元素之间丰富而复杂的关系。图神经网络（GNN）通过将图形数据转换为低维空间，同时最大程度地保持结构和属性信息并构建用于训练和参考的神经网络，成为解决图形学习问题的有效方法。然而，提供有效的图存储和计算能力以促进GNN训练并实现新GNN算法的开发具有挑战性。我们提出了一个全面的图神经网络平台，即AliGraph，它由分布式图存储，优化的采样运算符和运行时组成，不仅可以有效地支持现有的流行GNN，还可以为不同的场景提供一系列内部开发的 GNN。该系统目前部署在阿里巴巴，以支持各种业务场景，包括阿里巴巴电子商务平台的产品推荐和个性化搜索。通过对真实世界数据集进行大量实验，其中包含数十亿顶点，千亿边和丰富的属性，AliGraph在图形构建方面的执行速度提高了一个数量级（相对于最先进的PowerGraph报告的数小时缩短为5分钟）。在训练中，AliGraph使用新颖的缓存策略使得运行速度提高了40％-50％，并且通过改进的runtime提升了大约12倍的速度。此外，我们内部开发的 GNN 模型在效率和效率方面都显示出指标上显着的优势。

后续，我们将继续带来精彩论文的详细解读，关注阿里机器智能，热门干货，不容错过。