公告：Facebook加播放量平台--脸书涨播放量
2008 年金融危机初期，凯茜·奥尼尔（）还在金融行业工作。她亲身体验了人们有多么信任算法，以及这造成了多大的破坏。
她沮丧地跳到科技行业，但她发现了类似的事情：从业者对定向广告和抵押贷款支持证券（MBS，Mortgage-Backed Security）风险评估模型抱有同样的盲目相信。所以她离开了。
我不认为我们当时所做的事情是值得信赖的，她说。
一种身为同谋的情绪，促使她撰写了一本有关大数据对社会造成负面影响的书。
这本书于 2016 年出版，打破了算法是客观的的主流观点，她用一个又一个例子揭示了算法如何加剧社会上的不平等。
凯茜说，在她的书出版之前，人们并没有真正理解算法，他们不是预测，而是分类……这不是一个数学问题，而是一个政治问题，一个信任问题。
凯茜试图证明许多算法都依赖历史数据进行训练和识别模式，并且还针对特定的成功概念进行优化：像你这样的人在过去是成功的，所以（它）倾向于预测你在未来会成功。或者像你这样的人曾经是失败的，所以你未来也很可能是失败者。
这似乎是一种明智的方法。但凯茜揭示了这些算法是如何以显著的、具有破坏性的方式崩溃的。
例如在监狱系统中，有的算法被设计用于预测犯人再次被捕的概率，这可能会导致不公平的结果，而且它通常针对有色人种、穷人、瘾君子、生活在糟糕社区的人、或者那些存在心理问题的人。
凯茜说：对于监狱系统，我们从来没定义过何谓成功。我们只是在预测，然后未来继续重点关注一群人，因为这是我们过去的成功经验。
这非常令人难过，而且不幸的是，这还证明我们会将本应由社会承担的责任转移给受害者。
渐渐地，凯茜开始认识到另一个加剧这些不平等的因素：羞耻感。
某人做了本可选择不做的行为，而我们是不是会因此羞辱他？比如一些人的基因决定了他们更容易变胖，但每个饮食管理机构都会借此制造羞耻感。
你可以选择不上瘾吗？这件事比你想象的要难得多。你有机会解释自己了吗？许多人人微言轻，无法发声，但我们一直在利用这一点来羞辱他们。
我近日与凯茜进行了一场对话，谈到了她的新书《羞辱机器：谁在羞辱的新时代获利》。这本书深入探讨了羞耻感在美国社会和文化中被武器化的许多方式，以及我们可能如何反击。
《麻省理工科技评论》：从算法到羞耻感，这是一个不小的跨越。你是如何将这两点联系起来的？
：我研究了算法武器化背后的力量。它通常基于这样一种观点：你的学识不足以质疑算法背后的、科学的数学公式。这本身就是是一种羞辱。
这对我来说更明显，因为身为一个数学博士，还能有这种感觉，这让我很困惑。
糟糕的算法是一种对信任的违背，但这也是一种羞辱：你连问问题都不够资格。
以前我采访过一个朋友，她是一名校长，她手下的老师要接受纽约市老师价值增加模型的评估。
我问她能否拿到用于评估老师的具体公式，但她去询问时，不仅要递交一大堆申请，而且每次都有人告诉她：这是数学——你不会理解的。
《麻省理工科技评论》：在书中，你认为羞耻感是社会中一个巨大的结构性问题。你能展开说说一下吗？
：羞耻是一种强有力的机制，它将一种系统性的不公正用来针对特定目标。有人可能会说，这是你的错（对穷人或上瘾的人来说），或者这（算法）超出了你的理解能力，给人打上毫无价值的标签往往足以让人们自惭形秽、感到羞耻，然后不再问问题。
作为一个例子，我跟一个叫杜安·汤斯（Duane Townes）的犯人聊过一次，他曾二度被判入狱。在监狱里，他被要求在一身武装的狱警手下从事薪水微薄的体力工作，如果他有一丝的抱怨或者上厕所超过五分钟，狱警就会告知他的假释官。
这很丢人，他觉得自己没有被像人一样对待。不过这是一个特意设计的项目，为了培养正在服刑的人成为好工人。
这相当于麻痹他们的自我意识，让他们暂时出现无助感，无法捍卫自己的权利。
《麻省理工科技评论》：新冠疫情是否加剧了你在书中强调的问题？
：疫情带来了更多的新规范和更快速的变化，包括戴口罩、保持社交距离和接种疫苗，所以从这个意义上说，它让羞耻感变得更普遍。
同样明显的是，在社交媒体和政治集团中诞生出的小团体，对这些变化和新规范有着截然不同的态度，这在线上和线下都引发了大规模的羞耻之战。
羞耻感让那些有些分歧的人远离彼此。换句话说，当整个社区缺乏信任时，羞耻感会加剧分裂：双方相互表达的愤怒和侮辱越多，人们之间的距离就越远。
2021 年，加州成为美国第一个向所有学生提供免费午餐的州，而这不仅仅是从经济上帮助弱势群体，也是在帮助他们减少长期以来承受（贫穷带来的）羞耻感。
《麻省理工科技评论》：我们该如何设计系统才能减少羞耻感呢？我们有办法利用羞耻感来进行社会改革吗？
：这是一个很好的问题！我的建议是，使更多人有资格获得福利，或者为所有人提供普遍基础收入并减轻学生债务。
美国对穷人有着系统性地羞辱，穷人之间几乎不存在团结。
这几乎完全归功于让人们感到耻辱的一系列社会活动。如果我们没有能如此成功地塑造羞耻感的机器，穷人就会主动提出债务减免和普遍基础收入福利。
《麻省理工科技评论》：书中关于网络羞耻感的章节讨论了 、等公司是如何不断优化算法，以此引发人们之间的冲突的。这对他们有何好处？怎样才能抵消它呢？
：这就是他们想要的结果！如果我们不因愤怒而去捍卫我们的价值感，然后通过浮夸的、破坏性的羞辱来得到点赞和转发，他们就不会赚得盆满钵满。
我希望我们开始把大型科技公司的操纵视作让我们为他们免费工作的活动。我们不应该这么做。我们应该瞄准更高的目标，而这就意味着要瞄准他们。
在个人层面上，如果可能的话，我们不要在社交媒体上相互攻击，甚至于抵制那些鼓励这种行为的平台。
在系统层面上，我们要坚持对平台的设计、算法进行审计，并且监控有毒内容。
这不是一个简单的建议。我们知道，曾在 2018 年尝试过这样做，他们发现这是可行的，但没什么利润，所以他们放弃了。
《麻省理工科技评论》：你成立了 ，一家算法审计公司。该公司都做哪些工作？
：至少在我的公司，算法审计意味着提出一个问题：这个算法系统忽视了谁？被忽视的人可能是招聘算法下的大龄申请人，或者是人寿保险中的肥胖人群，或者是申请学生贷款的黑人。
我们必须定义我们所关心的结果，可能受到损害的利益相关者，以及何为公平。我们还需要确定算法何时越界的阈值。
《麻省理工科技评论》：那么，是否会有一个好的算法呢？
：这取决于在哪个领域。在招聘领域，我认为是可以的，但如果我们没有定义好利益的结果，那么利益相关者就可能受到伤害。
最重要的是，（定义）公平的概念以及阈值。如果这些都没做好，那么我们可能最终只会得到一个没有意义的、规则被滥用的招聘算法。
而在司法系统中，犯罪数据的混乱是一个太棘手的问题，更不用说在什么是成功的监禁这件事上统一所有人的意见。
支持：Ren
原文：
1.https://www.technologyreview.com/2022/06/29/1053985/society-shame-book-review/
由 DeepTech 携手《麻省理工科技评论》重磅推出的《科技之巅：全球突破性技术创新与未来趋势（20 周年珍藏版）》已开启预售！点击下方海报可购买图书！
