youtube买评论 --油管推广

LizierMedium

译者：Tim Elfrink

电脑之心校对

参予：DAT160

做为亚洲地区非主流的音频网络平台，Google母公司音频中文网站 YouTube 的获得成功有赖于精确的音频所推荐控制系统。YouTube 的所推荐控制系统答看点？她们化解了甚么样难题？在一则 RecSys 2019 学术论文中，Google人类学家对那些难题作出了说明。源自瑞典的一名统计数据生物学家对学术论文的文本展开了归纳。

学术论文门牌号：https://dl.acm.org/citation.cfm?id=3346997

Youtube 的所推荐控制系统化解了甚么难题？

在 Youtube 上观赏音频时，网页上会展现使用者可能将讨厌的音频所推荐条目。该学术论文著眼于下列三大最终目标：

1）须要强化不必的最终目标。她们没表述确凿的最终目标表达式，而要将最终目标表达式分成「参予程度」（点击量、花的天数）最终目标和「满意率」（点赞量、踩的量）最终目标；

2）减少控制系统引入的「选择偏见」：使用者通常更倾向于点开排在第一名的所推荐音频，尽管后面的音频可能将参予程度、满意率更高。如何高效地减少那些偏见是一个亟待化解的难题。

用甚么方法化解？

图 1：模型的完整架构。

学术论文中介绍的模型着眼于两个主要的最终目标。她们用到了一个

宽度&深度模型框架

。宽度模型拥有强大的记忆能力，深度神经网络拥有泛化能力，宽度&深度模型则综合了二者的优点。宽度&深度模型会为每一个表述的（参予程度和满意率）最终目标生成一个预测。那些最终目标表达式可以分成二分类难题（是否讨厌某个音频）和回归难题（为音频评级）。这一模型之上还有一个单独的排序模型。这只是一个输出向量的加权组合，它们是不同的预测最终目标。那些权重是手动调整的，以实现不同最终目标的最佳性能。此外，人类学家还提出了结对、条目等先进的方法，以提升模型的性能，但由于计算天数的增加，那些方法没被应用到生产中。

图 2：用 MMoE 替换 shared-bottom 层。

在宽度&深度模型的深层部分，人类学家利用了一个多任务学习模型 MMoE。现有音频的特征（文本、标题、话题、上传天数等）以及正在观赏的使用者的信息（天数、使用者配置文件等）被用作输入。MMoE 模型可以在不同的最终目标之间高效地共享权重。共享的底层（shared bottom layer）被分成多个专家层，用于预测不同的最终目标。每个最终目标表达式都有一个门表达式（gate function）。这个门表达式是一个 softmax 表达式，接收源自原始共享层和不同专家层的输入。该 softmax 表达式将决定甚么样专家层对于不同的最终目标表达式是重要的。如下图 3 所示，不同的专家层对于不同最终目标的重要程度存在差别。如果与 shared-bottom 架构相比，不同的最终目标相关度更低，则 MMoE 模型中的训练受到的影响更小。

图 3：在 Youtube 多个任务中的专家层应用情况。

该模型的宽度部分致力于化解控制系统中由音频位置带来的选择偏见难题。人类学家将该部分称为「浅塔」（shallow tower），它可以是一种简单的线性模型，使用简单的特征，如音频被点击时所处的位置、使用者观赏音频使用的设备等。「浅塔」的输出与 MMoE 模型的输出相结合，这也是宽度&深度模型架构的关键组成部分。

如此一来，模型将更加关注音频的位置。在训练过程中，dropout 率被定为 10%，以防止位置特征在模型中变得过于重要。如果不必宽度&深度模型，而要将位置添加为一个特征，模型可能将根本就不会注意到这个特征。

结果

该学术论文的结果表明，用 MMoE 替换 shared-bottom 层可以在参予程度（观赏所推荐音频花费的天数）和满意率（调查反馈）两个最终目标中提升模型的性能。增加 MMoE 中的专家层数量和乘法的数量可以进一步提升模型的性能。但由于计算上的限制，现实部署中无法实现这一点。

表 1：MMoE 模型的 YouTube 实时实验结果。

进一步的研究结果表明，参予程度度量可以通过使用「浅塔」降低选择偏见来加以改进。与只在 MMoE 模型中添加特征相比，这是一项显著的改进。

表 2：建模音频位置偏见的 YouTube 实时实验结果。

有趣之处

• 尽管 Google 拥有强大的计算基础设施，但在训练和成本方面仍然非常谨慎；
• 通过使用深度&宽度模型，你可以在设计网络时预表述一些重要特征；
• 当你须要多最终目标模型时，MMoE 模型会非常有效；
• 即使具有强大而复杂的模型架构，大家仍在手动调整最后一层的权重，从而根据不同的客观预测确定实际排名。

原文链接：https://medium.com/vantageai/how-youtube-is-recommending-your-next-video-7e5f1a6bd6d9