虽然人工智能公司尽力推广人脸情绪识别软件，然则心理学家却在质疑情绪识别只是说起来容易。本文转自微信民众号：Nature自然科研（Nature-Research），原文作者：Douglas Heaven，头图泉源：IC photo

数百张人脸在屏幕上逐一闪现，其中一些瞪着眼睛，一些瘪着嘴巴，另有一些人的眼睛紧闭、嘴角上扬、张大着嘴。看到这些人脸，你必须回覆一个简朴的问题：这小我私家是在履历热潮照样阵痛？

泉源：Adapted from GL Archive/Alamy

2018年，心理学家Rachael Jack和她的同事招募了80小我私家来做这个测试¹。来自英国格拉斯哥大学的这个团队从西方和东亚招募了这些参与者，为的是研究一个长久以来的热门问题：面部神色真的能转达情绪吗？

研究职员让研究工具从面部读取情绪的做法已经有好几十年了，包罗差别国家的成年人和儿童，甚至另有偏远地区的原住民。上世纪60、70年代，美国心理学家Paul Ekman举行的著名考察性研究发现，全世界的人都能够从面部神色准确推断出背后的情绪，这说明情绪的表达是相通的^2,3。

这种看法在一代人的时间里基本未受挑战。然则，新生代的心理学家和认知科学家在回首了这些数据后提出了质疑。许多研究者现在以为，现实情况要庞大得多，面部神色在差别情景和文化中有着截然差别的意义。好比，Jack的研究发现，虽然西方人和东亚人对于示意痛苦的面部神色有着相似的熟悉，然则他们对于哪种神色表达愉悦的看法却并不一致。

对于Ekman以为人脸是情绪表达窗口的结论，研究职员之间的分歧越来越大。然则这并不故障商业公司和政府为他的说法“买单”，并以会改变人们运气的方式加以应用。好比，西方的许多司法系统里，读取被告人的情绪就是公正审讯的一部门。美国最高法院大法官Anthony Kennedy曾在1992年写道，这么做对于“领会罪犯的心灵和头脑”是很有需要的。

Ekman曾为美国运输平安管理局（TSA）设计了一个备受争议的培训项目，该项目于2007年启动，其焦点就是解读情绪。项目名为“游客筛查考察法” （Screening Passengers by Observation Techniques，SPOT），主要目的是训练TSA的职员监控游客身上泛起的数十种可疑迹象，这些迹象可能反映了他们焦虑、诱骗和畏惧的情绪。该项目遭到了科学家、美国国会议员以及美国公民自由同盟等民间组织的普遍质疑，他们指责这种做法并不准确，还会带来种族私见。

此起彼伏的质疑声并没能阻止顶尖的科技公司，它们信赖情绪是容易检测的，其中一些公司已经开发出了情绪识别软件。眼下，这些软件正在举行测试或推广，应用局限包罗评估求职者和岗位的匹配度，测谎，让广告更有吸引力，还能检测痴呆症到抑郁症等一系列疾病。

这个产业的估值高达数百亿美金。微软、IBM、亚马逊在内的科技巨头，以及一些专业性更强的企业（如波士顿的Affectiva和迈阿密的NeuroData Lab）都推出了通过人脸检测情绪的算法。

研究者还在苦苦争辩人类的面部能否忠实地表达和感知情绪，不少专家也以为用计算机来将其自动化还早了点，尤其是这种手艺还具有潜在的破坏力。纽约大学的研究中心AI Now Institute呼吁克制在敏感场所使用情绪识别手艺，譬如在招聘和执法时⁴。

从事相关研究的俄亥俄州立大学研究者Aleix Martinez示意，人的面部神色是很难解读的，哪怕对人类自己来说都是云云。他说，思量到这一点，再连系当前万物皆可自动化的趋势，“我们应该感应忧郁。”

肤浅之见

人类的面部有43块肌肉，它们可以拉伸、上扬、扭曲，表达几十种差别神色。虽然面部肌肉可以做许多动作，但科学家们一直都信赖，特定神色对应特定的情绪。

持这种看法的人就包罗达尔文。他在1859年出书的野外考察巨著《物种起源》称得上是考察方面的教科书。他的另一部影响力稍差的作品——《人类和动物的情绪表达》（1872）则颇为教条。

达尔文注意到，灵长类动物的面部动作和人类表达情绪（如厌恶和畏惧）有些类似。他由此提出，这些神色一定有某种顺应性功能。好比，撅嘴巴，皱鼻子，挤眼睛这种与厌恶相关的神色，最初可能是为了抵御有害的病原体。只是随着社会行为的泛起，这些面部神色才最先发挥起相同的作用。

达尔文关于情绪的叙述中席卷了大量摆拍的神色，好比这些起劲模拟痛苦的受试者。泉源：Alamy

Ekman在60年代开展的首批跨文化实地研究支持了达尔文的假说。他在世界局限内研究了人类对六种要害情绪（快乐、悲痛、气忿、畏惧、惊讶和厌恶）的神色和感知，研究工具甚至包罗新几内亚的一个偏远部落^2,3。

Ekman 告诉《自然》，他挑选这六种情绪是出于现实思量。他说，一些情绪，好比羞辱和忸怩并没有外显的神色，“我关注的这六种情绪是有神色的，也就是说，它们可以作为研究的工具”。

Ekman以为，这些早期研究支持了达尔文进化论引申出的神色普适论。厥后的研究则证实了某些面部神色具有顺应性优势⁵。

波士顿东北大学的心理学家Lisa Feldman Barrett 示意：“长久以来，人们以为面部神色是一种强制性动作。” 也就是说，我们的面部无法隐藏我们的情绪。不外，这个假设的一个显著破绽是，人们确实能伪造情绪，也可以让情绪不写在脸上。Ekman这一派的学者也认可，每种情绪的神色并没有一个所谓的“金尺度”。

越来越多的研究者提出，情绪对应的神色局限太大，以至于金尺度的观点几近支离破碎。他们用一篇大型综述支持了这个看法⁶。几年前，期刊《公共利益心理科学》（Psychological Science in the Public Interest）的编辑邀请了一些看法互斥的作者组成专家团，完成了这篇综述。

向导此次互助的Barrett示意：“我们竭尽所能摒弃先见。”他们没有事先树立假设，而是直接从数据着手。她说：“看法不统一的时刻，我们就去寻找新的证据。”最后，他们阅读了约1000篇论文，历经2年半的研究，得出了一个很显著的结论：没有证据，或很少有证据能证实，人们可以从种种面部动作推测某人的情绪状态。

面部所能反映的情绪是很有限的。完整图片见下方。泉源：Lance King/Hector Vivas/Ronaldo Schemidt/Kevin Winter/Getty

这些研究者甚至引用了一些证实面部动作和内在情绪无关的研究。英国德蒙福特大学的心理学家Carlos Crivelli曾经研究过巴布亚新几内亚的特罗布里恩群岛的住民，他并没有发现能支持Ekman看法的证据。Crivelli的结论是，从外在显示推测内在的心理状态，就犹如用尺子在称重量。

证实神色普适性的证据不足的另一个原因是，人脸只提供了部门信息。其他信息，好比身体动作、个性、声调以及神色转变，在我们识别和表达情绪的过程中也起到了主要的作用。就好比情绪转变会影响血流量，血流量又会影响神色。Martinez和同事发现，人们能够发现神色转变和情绪之间的关系⁷。而靠山一类的视觉信号也能提供识别情绪状态的线索⁸。

顺时针从左上起：篮球运动员Zion Williamson庆祝灌篮乐成；墨西哥球迷欢庆世界杯小组赛晋级；歌手Adele赢得了2012年的格莱美奖；Justin Bieber的粉丝在墨西哥城的演唱会上哭泣。

庞大情绪

其他研究者指出，对Ekman的结论的反扑有些过头了。Ekman本人深以为然。2014年，他在对Barrett的指斥的回应中指出，有大量的研究支持他先前的结论，包罗证实了面部会自觉做神色的研究。另有研究发现了神色与大脑以及身体状态之间的联系。他在回应中称，这些研究说明面部神色不仅反映了人的情绪，也反映了神经心理流动的模式（见go.nature.com/2pmrjkh）。他说自己的看法并没有改变。

在加拿大不列颠哥伦比亚大学的心理学家Jessica Tracy看来，那些以为Ekman的神色普适论有错的人给出的证据不外是一小簇反例，他们有些夸大其词了。

她以为，纵然差别群体或文化对气忿神色的明白略有误差，但也不能推翻整个理论。大多数人一看就知道这是一张气忿的脸，她引用了一项对100个研究举行的剖析⁹。她说：“有大量其他证据证实，全世界大多数文化的大部门人都以为这个神色是通用的。”

Tracy和其他3位心理学家以为¹⁰，Barrett在文献综述里称他们是将六种情绪刻板地与面部动作逐一对应，这种解读有点夸张了。其中一位作者，阿姆斯特丹大学的Disa Sauter示意：“我不以为情绪科学领域另有其他研究者赞许她的看法。”

Sauter 和Tracy以为，要解读面部神色就需要对情绪举行更庞大的分类。研究者不应把快乐视为单一的情绪，而要把它继续细分；快乐下面还包罗喜悦、愉悦、同情、自豪等等。这些情绪的神色可能会有差异或重叠。

一些研究使用计算机天生随机的神色。Rachael Jack在2018年开展的一项研究中，参与者需要指出每张脸与他们心目中对痛苦或热潮的界说的相符水平。泉源：C. Chen et al./PNAS (CC by 4.0)

这场争议的焦点实在在于对显著的界说。在一项研究中，参与者需要从六个情绪标签中选择一个来形貌他们看到的人脸。一些研究者可能以为，若是某个神色被选择的几率大于20%，那就说明这个神色的通用性较为显著。

其他人以为20%的尺度太宽松了。Jack以为Ekman的阈值过低，她在读博时代读过Ekman早期的论文，她说，“我总是去找我的导师，给他看这些60、70年代的图表，每个图表在文化熟悉上都存在伟大差异。到今天为止，依然没有数据能证实，对情绪的认可是放之四海皆准的。”

纵然不思量显著性，研究者还要面临主观性的问题：许多研究都需要事先为情绪贴标签，以便在实验竣事后举行对照。因此，Barrett、Jack以及其他学者想用更为客观的方法来研究情绪。Barrett正在研究心理指标，她希望用这类指标来形貌气忿，畏惧和愉悦。

Jack则用计算机随机天生的神色来替换摆拍的面部照片，制止局限于最常见的六种情绪。另有研究职员让参与者自己来对人脸举行分类，或者让来自差别文化的参与者用自己的母语给照片做符号。

硅基情绪

软件企业则制止让算法举行自由遐想。一般来说，情绪识别的人工智能算法需要学习数百万张人脸图像以及数百小时的视频——每个情绪都被标好了标签，再从这些资料中习得模式。Affectiva示意公司已经用来自87个国家跨越700万张人脸对软件举行了训练，现在其情绪识别准确率已经达到了90%。

该公司拒绝透露算法背后的科学依据。Neurodata Lab公司意识到了面部在情绪表达上的差异，但指出：“若是某人正在履历某种情绪，某些面部神色泛起的可能性会高于随机概率。”而该公司的算法行使的正是这种纪律。而意见尚不统一的研究职员，不管站哪边，都对这类软件持怀疑态度，无论是对训练算法所使用的数据存在担忧，照样以为该领域现在仍未有定论。

Ekman说他曾直截了当地挑战过这些公司的说法。他曾写信给数家公司，但拒绝透露公司名称，只说“它们都是世界上最大的软件公司”，并向它们索要能证实其自动化手艺有用的证据，但没有获得回音。他说，“在我看来，他们的理论并没有证据支持。”

Martinez折衷地示意，自动化情绪识别或许能代表某个群体的平均情绪反映。Affectiva公司曾把软件卖给营销机构和某些品牌，辅助他们展望特定消费者对某个产物或营销手段的反映。

纵然这个软件失足也不会有太大的影响，顶多广告的效果不如预期而已。然则，一些算法的应用却可能改变人们的运气，好比面试和疆域检查。去年，匈牙利、拉脱维亚和希腊试用了一个游客预筛查系统，通过剖析面部微神色来测谎。

想要平息这场情绪-神色的争论，需要动用差别的研究手段。Barrett经常受邀给科技公司展示她的研究，不久前刚去了微软。她以为研究者要践行达尔文撰写《物种起源》时的做法：“考察、考察、再考察。”考察人们在现实生涯若何通过面部和身体转达信息，而不仅仅只在实验室里。然后再用机械来纪录和剖析来自真实生涯的影像。

Barrett以为更多的数据和剖析手艺，而不是回首陈旧的数据和实验，才气帮研究者获得新知识。对于这个她和其他研究者看来站不住脚的科学，许多科技公司却跃跃欲试，她向这些企业发出了挑战：“我们已经到了悬崖口，人工智能企业到底是要继续使用破绽百出的研究假设，照样去做应该完成的事呢？”

参考文献：

1.Chen, C. et al. Proc. Natl Acad. Sci. USA 115, E10013–E10021 (2018).

2.Ekman, P., Sorenson, E. R. & Friesen, W. V. Science 164, 86–88 (1969).

3.Ekman, P. & Friesen, W. V. J. Personal. Soc. Psychol. 17, 124–129 (1971).

4.Crawford, K. et al. AI Now 2019 Report (AI Now Institute, 2019).

5.Susskind, J. M. & Anderson, A. K. Commun. Integrat. Biol. 1, 148–149 (2008).

6.Barrett, L. F., Adolphs, R., Marsella, S., Martinez, A. M. & Pollak, S. D. Psychol. Sci. Publ. Interest 20, 1–68 (2019)

7.Benitez-Quiroz, C. F., Srinivasan, R. & Martinez, A. M. Proc. Natl Acad. Sci. USA 115, 3581–3586 (2018).

8.Chen, Z. & Whitney, D. Proc. Natl Acad. Sci. USA 116, 7559–7564 (2019).

9.Elfenbein, H. A. & Ambady, N. Psychol. Bull. 128, 203–235 (2002)

10.Cowen, A., Sauter, D., Tracy, J. L. & Keltner, D. Psychol. Sci. Publ. Interest 20, 69–90 (2019).

原文以“Why faces don’t always tell the truth about feelings”为题目揭晓在2020年 2月26日的《自然》新闻特写上

本文转自微信民众号：Nature自然科研（Nature-Research），原文作者：Douglas Heaven。