公告：YouTube刷粉丝--YouTube最新新闻资讯
为何YouTube网络平台上会源源不绝造成高质量音频和高质量电视广告，吗只是碰巧吗？为何采用者尚佩县youTube就抽走了，这另一面究竟下了多大的工夫科学研究本性的控制技术细节？这般海量统计数据的统计数据，怎样精确地发送给每两个正确的人？
这首诗是继他们上一则《可悲！YouTube演算法怎样让小孩子沉迷于到不能自拔……》后，译者(Adrienne LaFrance)的又一则巨作。上一则该文中，译者通过自己的简单预测和统计数据考察对YouTube的所推荐控制系统进行了悖论，而这一则是YouTub面世有关他家所推荐控制系统的学术论文后，译者对其的校正、补回和更进一步导出。这首诗的重要信息表面积大，但读起来并不会支离破碎，而且念完会或者说斩获到十分管用的重要信息。
下列，enjoy!
译者 | AI信息控制技术驻扎地（rgznai100）
参予 | 聂震坤
2016年9月18日，在芝加哥举行的第10届ACM所推荐控制系统讨论会(ACM’s RecSys ‘16)上，源自Google的两个科学研究项目组发布了YouTube所推荐控制系统的广度自学学术论文：Deep Neural Networks for YouTube Recommendations
学术论文门牌号：
https://research.google.com/pubs/pub45530.html
学术论文译者是Google的应用软件技师 Jay Adams 与高阶应用软件技师 Paul Covington、Embre Sargin，他们比藏西县展现了YouTube在机器自学所推荐演算法上的广度数学模型采用情况。该学术论文牵涉到一些十分控制技术、十分高阶的控制技术细节，但它最小的象征意义是为他们完备描写了YouTube所推荐演算法的工作基本原理！！该学术论文精细、谨慎地叙述了YouTube索引、甄选并所推荐音频时的大批控制技术细节。
演算法学术论文的UP主导出
在学术论文发布之前，他们上一则预测YouTube演算法的该文（详见AI信息控制技术驻扎地的译文：《想让音频网站乖乖帮你推内容？看看这位小哥是怎样跟YouTube斗法的》），关注的主要是观看时长这两个因素，因为他们只能从自己上传的音频统计数据中来反推YouTube演算法的工作基本原理，这肯定要受限于他们音频的内容和受众。他们之所以了解YouTube的演算法，是因为他们解决了一下做音频路上碰到的这个问题：为何他们的音频就能这么成功呢？为此，他们尽最小努力来预测已有的重要信息，但最初的结果并不理想。尽管我100％支持他们的结论，但他们先前的方法存在两大问题：
仅用频道指标的一部分来做反推，意味着他们在统计数据上存在巨大的盲点，毕竟他们无法访问竞争性指标、会话指标与点击率。
对于那些基于UP主的指标，YouTube演算法所给的权重十分小。它更关心的是观众以及单个音频的指标。换句话说，该演算法并不关心你所上传的音频，而是关心你和其他人正在看的音频。
但在他们写最初那首诗的时候，YouTube或Google数年来都没发布过有关该演算法的任何重要信息。所以，他们只有自己动手。有了Google新近发布的这篇学术论文，他们就可以一窥它所推荐机制的究竟，并找出其中的重要指标。希望这能回答两个让他们更为辛酸的问题，为何有些音频能取得成功？
广度自学是个无底洞
学术论文简介部分最小的亮点是YouTube确实在用广度自学来驱动所推荐演算法。这种做法不新鲜，但此次确认证实了大家此前的猜测。译者在学术论文开头是这样说的：
在本学术论文中，他们将集中介绍广度自学对YouTube音频所推荐控制系统的全面影响……跟Google其他领域的产品一样，YouTube同样经历了用广度自学来解决所有通用自学问题的根本性范式转变。
这就意味着，今后人工调整演算法、人工权衡这些调整并将其部署上世界最小的音频分享网站的机会将越来越少。而是由演算法实时来读取统计数据、为音频排名，然后基于这些排名来所推荐音频。所以，当YouTube表示他们不知道演算法为何那样做时，有可能他们确实不知道。
两大数学模型
该学术论文以演算法的基本架构作为开篇，下面是译者的图示：
本质上这就是两个大的过滤器，各自有着不同的输入。译者写道：
该控制系统由两大数学模型组成，两个用于生成候选音频，两个用来对其排名。
这两个过滤器及其输入内容，基本上决定了采用者在YouTubes上能看到的每两个音频：建议你播放的下两个、所推荐给你的音频列表、你所浏览的音频列表……
第两个过滤器是候选生成器。学术论文中解释，候选是基于采用者的YouTube活动记录造成的，也就是采用者的观看历史与观看时长。候选生成器还会考虑相似采用者的浏览记录，这一点被称为协同过滤。相似采用者是演算法通过音频ID、搜索关键词及相关的采用者统计重要信息决定出来的。
候选生成器的通过率仅为属百分之一，换言之，如果某个音频能从数百个中脱颖而出成为你的候选音频，它必定是跟你的观看记录有关，同时还有两个跟你相似的采用者已经看过它。
第二个是排名过滤器。该学术论文对排名过滤器进行了大批的广度导出，并列j举出不少有趣的因素。译者写道，排名过滤器是这样给音频排名的：
基于叙述音频和采用者的丰富特征，目标期望函数会给每个音频设定分数。根据分数排名，得分最高的音频将被展现给采用者。
由于观看时长是YouTube为采用者设定的首要目标，他们只好假定这就是目标期望函数的象征意义。因此，考虑到各种不同的采用者输入，该分数的象征意义就是某音频能够转化成采用者观看时长的程度。但不幸的是，事情没有那么简单。根据译者透露，该演算法还会考虑很多其他的因素。
他们在排名过滤器中用到了数百种特征。
怎样对音频进行排名这一块的数学基本原理十分复杂。学术论文既没有详述排名过滤器所用的数百项因素，又没有提及他们是怎样加权的。但它列举了其中的三大主要因素：浏览记录、搜索记录、观看人数，以及包括新鲜程度在内的其他音频元素。
每一秒钟都有大批的音频上传到YouTube。向采用者所推荐这些新一代上传的新鲜内容，对YouTube来说极其重要。他们长期观察的结果是，采用者喜欢新鲜的内容，即便有些内容跟他的关联程度并不大。
学术论文中提到的比较有趣的一点，是演算法并不总会受采用者所看的上两个音频的影响，除非你的观看记录极其有限。
他们会优先采用采用者的随机观看和关键词搜索记录，然后才会考虑上两个观看音频的统计数据。
在学术论文后面讨论音频封面图和标题的时候，他们提到了点击率的问题：
举例来说，采用者有很大的几率来观看控制系统所推荐的音频，但不太可能基于封面图的选择而去点击其主页……他们最终的排名会根据实时A/B测试的结果不断调整，它大体上就是两个用于预测采用者观看时长的简单函数。
在这里提出点击率的问题其实并未出乎预料。为了能生成更多观看时间，两个音频必须先让人看到才成，其中最好的办法就是做出两个很赞的缩略图并相出两个很赞的标题。这让很多UP主都认为点击率对于音频在演算法中的排名极其重要。
但YouTube知道点击率是可以人为刷上去的，所以他们也给出了应对之策。他们在学术论文中是这么承认的：
通过点击率进行排名往往会变相鼓励诱导性的音频内容，采用者即便点进去也很少看完音频，因而观看时长能更反映出音频的好坏。
起码这一机制还算鼓舞人心（译注：对比一下国内某些网站的内容生产机制），译者接下来写到：
如果采用者并未观看最近所推荐的音频，页面下一次加载时模型就会自动降低该音频的排名。
这就说明，如果采用者没有点击特定的音频，该演算法就不再将其所推荐给相似的采用者。频道所推荐的情况也一样，学术论文中的证据如下：
他们观察到的最为重要的信号是用来叙述采用者此前跟某个音频及其他相似音频的交互的……举例来说，考虑一下采用者跟某个频道已经被演算法打分过的音频的交互记录：该频道有多少音频被该采用者看过？该采用者观看同类话题的上两个音频是在什么时间？此类叙述采用者过往活动的统计数据特别强大……
此外，该学术论文还指出，演算法在训练时考虑了YouTube音频所有的观看方式，包括那些所推荐演算法触及不到的地方：
训练统计数据生成自所有观看方式的YouTube音频（包括内嵌在其他网页中的那些），而非仅用他们自己所生成所推荐音频。否则，新内容将很难登上所推荐榜单，而所推荐控制系统又将过于依赖过往音频的统计数据。如果采用者通过内容查找到的音频不同于他们的所推荐，他们就需要能迅速通过所推荐控制系统把该发现传播给其他采用者。
最终，这一切又回到了演算法所用的观看时间。正如他们在学术论文开头所看到的，该演算法在设计之初就是两个目标期望函数，译者总结他们的目标就是为了预测采用者的观看时长，他们最终的排名会根据实时A/B测试的结果不断调整，它大体上就是两个用于预测采用者观看时长的简单函数。
这也再一次说明了音频观看时间之于演算法的重要性，该演算法的目的就是为了YouTube网站上能有更多、更长的音频以及更多、更长的采用者观看时间。
两个简单的回顾
讲了这么多，让他们简单回顾一下：
YouTube采用三个主要的观看因素来所推荐音频，它们是采用者的观看历史、搜索记录以及相关的采用者统计重要信息。
所推荐音频是通过候选生成器与排名过滤器的甄选出来的，这两大过滤器决定了YouTube怎样读取、甄选音频，怎样生成所推荐列表。
排名过滤器主要是基于采用者输入的因素，其他因素还包括音频的新鲜程度和点击率。
所推荐演算法的设计初衷是持续增加采用者在YouTube网站的观看时长，其方法是持续把音频A/B测试的实时结果不断反馈给数学模型，从而使YouTube能不断为采用者所推荐它大体上就是两个用于预测采用者观看时长的简单函数。
如果你还不明白，咱们就再举两个例子
他们用两个实例来说明这个所推荐控制系统具体是怎样运作的：
比如说，小明很喜欢YouTube，他有YouTube账号相关的一切。每天浏览YouTube时，他都会在浏览器登录。一旦登录，YouTube便给小明此次浏览的内容创建三个token：浏览记录、搜索记录以及有关他的统计重要信息。小明可能压根就不知道这三种统计数据的存在。
然后轮到候选生成器上场了。YouTube拿这三个token的值跟观看记录类似于小明的采用者进行对比，由此甄选出小明可能会喜欢的数百个音频，过滤掉YouTube音频库中数以百万计的其他内容。
接下来，基于音频和小明的相关性，这些音频被排名演算法排序。排序时该演算法会考虑这样一些问题：小明有多大的可能会打开这个音频？这个音频有没有可能让小明在YouTube上打发更多时间？这个音频的新鲜程度怎样？小明最近在YouTube上的活动程度怎样？还有数百个其他的问题。
经过YouTube演算法的读取、甄选和所推荐后，排名最高的音频将被所推荐给小明。之后小明看与不看的选择统计数据都会反馈给数学模型，以供演算法后续采用。音频被点开，并吸引小明在YouTube上打发更多时间的目标，则一直持续下去。那些小明没有点开的所推荐音频，等他下次登录网站时则有可能通不过候选生成器。
总结
Deep Neural Networks for YouTube Recommendations这篇学术论文读起来很棒，它第一次让人从源头直击YouTube所推荐演算法的内幕！！他们希望能接触到更多的学术论文，以便在为这个网络平台制作内容的时候能做出更好的选择。这也是愿意花时间来写这些内容的根本原因。毕竟，更适合该网络平台的内容就意味着更多的浏览量、更高的收入，从而让他们能有更多的资源来为数以十亿计的采用者制作出品质更高、更有吸引力的内容。
译者 | Matt Gielen
原文链接：
http://www.tubefilter.com/2017/02/16/youtube-algorithm-reverse-engineering-part-ii/
