［德］安德里亚斯·苏德曼

机器和程序都不是黑箱；
它们是经过设计的人工制品，包括硬件和软件，我们可以打开它们，看看里面的情况。②Allan Newell and Herbert A.Simon，“Computer Science as Empirical Inquiry.Symbols and Search”，Mind Design II：Philosophy，Psychology，Artificial Intelligence，John Haugeland，ed.，Cambridge，MA：MIT P.，1997［1976］，p.82.

批判性探索现代人工智能（AI）技术的媒介政治维度意味着什么？这篇文章的主要焦点，不是研究由人工智能驱动的特定应用如图像或语音识别系统的政治层面，而是人工智能技术基础设施本身的政治含义，特别是关于自2006年起被称为“深度学习”（简称DL，也被称为“模拟神经网络”或“人工神经网络”——ANN）的机器学习方法。首先，这篇文章探讨了在多大程度上人工神经网络/深度学习必须被看作一种根本不透明的黑箱技术，这种技术或许不能或者只能被人类部分地理解。其次，关于第一个问题，我们的目标是针对一家名为OpenAI的研究公司，对其议程和活动进行批判性审视，据称该公司促进了人工智能的民主化，并试图使类似于深度学习技术变得更易获得和透明。显然，这种理想主义的主张不应被简单地视为理所当然，特别是考虑到OpenAI这样的公司涉及大量资金。例如，开源人工智能之类的策略似乎更能展示这些公司的技术潜力，可以比同行更胜一筹，或者吸引稀缺人才。但是，比起质疑这种说法的真实性或意识形态含义，更重要的也许是，我们必须解决更多的基本问题：如何才能促进一个可能根本无法打开的黑箱的透明度和可及性？如果没有数据的民主化，还能实现人工智能的民主化吗？

在解决这些问题之前，有必要回顾一下深度学习最近是如何成为人工智能主导范式的。相关的一个重要事件发生于2012年。当时，多伦多大学的三位学者亚历克斯·克里泽夫斯基（Alex Krizhevsky）、伊利亚·苏茨克维尔（Ilya Sutskever）和杰弗里·辛顿（Geoffrey Hinton）首次有效训练了一个所谓的卷积神经网络（Convolutional Neural Network）。这是传统人工神经网络（ANN）的一种特殊变体，它基于现在著名的ImageNet数据库以及快速并行组织的图形处理器（GPU），能对图像和物体识别进行优化。①Jensen Huang，“Accelerating AI with GPUs：A New Computing Model”，Nvidia.Online：https：//blogs.nvidia.com/blog/2016/01/12/accelerating-ai-artificial-intelligence-gpus/.特别是GPU的大量使用使一切变得不同：多伦多团队能够将以往图像识别方法的错误率降低一半以上。②在短短七年时间里，对数据集中的物体进行分类的准确率从71.8%上升到97.3%，不仅仅是由于高价值，2017年是这个著名比赛的最后一年。表面来看，这一增长听起来可能并不令人印象深刻，但它足以吸引谷歌和脸书等领先IT公司的注意，它们迅速雇用了杨乐昆（Yann LeCun）和杰弗里·辛顿（Geoffrey Hinton）这样的领军科学家，还收购了DNNResearch和DeepMind这样的人工智能创业公司。这些公司对深度学习技术抱有强烈兴趣并不奇怪，因为他们早就已经利用大数据了，现在他们获得了一种强大技术能够智能地处理和利用数据。③Ramón Reichert，ed，“Big Data”，Analysen zum digitalen Wandel von Wissen，Macht und Ökonomie，Bielefeld：transcript，2014.例如，有了深度学习的帮助，就有可能自动标记用户在社交媒体平台上传的图片，或分析消费者行为以生成个性化的广告，或进行个性化的推荐。当然，目前还有许多其他应用领域也在使用深度学习/人工神经网络技术，如处理自动驾驶汽车的传感数据，分析预测股票市场的数据，或优化机器翻译等。一般来说，深度学习算法是模式识别和预测任务的通用工具，是处理数据内容不确定性和模糊性的有效工具。④Goodfellow，Ian，Yoshua Bengio，Aaron Courville，Deep Learning，Cambridge，MA；
London：MIT P，2016.

然而，现代机器学习算法能够展开其潜力还需要一段时间。深度学习/人工神经网络的一些技术要领在20世纪四五十年代已经开发出来了。⑤Andreas Sudmann，“Wenn die Maschinen mit der Sprache spielen”，Frankfurter Allgemeine Zeitung Nr.256，2.11.，N2，2016.早在那时，这种人工智能范式的基本想法是开发一个计算机系统，这个系统可以通过观察和经验学习，从而解决特定的问题或完成某些学习任务，过程中没有具体的规则或理论做指导。⑥Thomas Mitchell，Machine Learning，New York：McGraw-Hill，1997.基本上，这是每个现有机器学习系统的方法，而不是所谓的符号化、基于规则的人工智能系统形式，其智能行为通常是事先手工编码的。⑦Margaret A.Boden，“GOFAI”，The Cambridge Handbook of Artificial Intelligence，Keith Frankish and William M.Ramsey，eds.，Cambridge，UK：Cambridige UP，2014，pp.89-107.尽管存在很多机器学习（ML）方法，但最近发现深度学习方法是最有效的，至少在语音或图像识别这样的人工智能研究的关键领域。

非常广泛地说，深度学习的一个关键特征是，它是一类松散地受到生物神经网络结构和学习过程启发的技术。⑧Ethem Alpaydin，“Machine Learning”，The New AI，Cambridge，MA：MIT P.，2016.与其他机器学习任务一样，深度学习算法通过分析数以千计甚至数以百万计的训练数据，在数千甚至百万次迭代的基础上进行学习，直到系统也能够正确预测未见过的数据。然而，深度学习与其他机器学习方法的不同之处在于学习过程的分层分布（Hierarchical Distribution）。深度学习技术模拟的网络通常由数以百万计的人工神经元组成，这些神经元被组织在不同的层上——一个输入层、一个输出层和一个灵活数量的中间隐藏层。⑨Trask Andrew，David Gilmore，Matthew Russell，“Modeling order in neural word embeddings at scale”，Proceedings of the 32nd International Conference on Machine Learning（ICML-15）；
Lille，France，2015，July 6-11.如果一个网络被称为深度，它至少有一个以上的中间层，通过网络处理信息。在最底层，网络只是分析非常简单的输入形式（例如视觉数据情况下的线条和边缘），并将这些信息转发到下一层，处理更复杂的形式（物体的部分如脸或腿），并再次将这些信息转发到下一个最高层，一直到最后一层输出层，它可以预测某个未知的输入是否与某个输出正确匹配（图像是否显示某个物体）。

同样不足为奇的是，目前人工智能热潮迅速吸引了人文学科和文化科学的注意，而在2016年前后，自然科学以外的许多学科或多或少都忽略了机器学习技术或深度学习/人工神经网络。当然，关于人工智能潜力和局限性的跨学科辩论传统由来已久，①Joseph Weizenbaum，Computer Power and Human Reason，From Judgment to Calculation，New York：W.H.Freeman，John R.Searle，“Minds，brains，and programs”，Behavioral and Brain Sciences，Vol.3，No.3（1980），pp.417-457.但这些讨论通常并不涉及人工神经网络技术的任何细节。也有一些重要例外，特别是心灵哲学和认知心理学，它们很早就对人工智能的符号和连接模式产生兴趣。②Horgan，Terence und John Tienson，Connectionism and the Philosophy of Psychology，Cambridge，MA：MIT P.，1996.此外，在媒介研究领域也可以找到一些学者讨论人工神经网络技术的案例，③当然，还有一些从媒介研究角度出发的出版物，涉及AI技术的总体状况，参见Dotzler，Bernhard，“Diskurs und Medium”，Zur Archäologie der Computerkultur，Bd.1，München：Fink，2006。其中一个是《计算机也是媒介》（Computer als Medium，1994），这是一本由弗里德里希·基特勒（Friedrich Kittler）、乔治·克里斯托弗·索伦（Georg Christoph Tholen）和诺伯特·博尔茨（Norbert Bolz）共同编辑的文集。有趣的是，该文本（仅由博尔茨撰写）以某种方式抓住了人工智能连接主义范式在认识论上的相关性，但却没有探索其媒介理论或历史影响的细节。

在过去两年左右的时间里（大概在DeepMind的AlphaGo成功之后），情况发生了重大变化。在社会和文化研究领域，越来越多的书籍和文章被出版，这些书籍和文章涉及对人工智能的一般研究和对深度学习技术的特别研究（Sudmann，2016；
Pasquinelli，2017；
Finn，2017；
McKenzie，2017；
Engemann/Sudmann，2018；
当然还有特刊）。例如，帕斯奎内利（Pasquinelli，2017）最近从历史和哲学角度写了一篇关于人工神经网络的短文，认为该技术只能处理归纳推理，而没有能力启用皮尔斯（Peirce）所说的归纳推理的形式。④Matteo Pasquinelli，“Machines that Morph Logic：Neural Networks and the Distorted Automation of Intelligence as Statistical Inference”，Glass Bead journal，Site 1，Logic Gate：The Politics of the Artifactual Mind，2017.此外，还有尼克·博斯特罗姆（Nick Bostrom，2014）、埃德·芬恩（Ed Finn，2017）或卢西亚诺·弗洛里迪（Luciano Floridi，2017），他们积极参与了当前人工智能技术政治和伦理问题的讨论。尼克·博斯特罗姆最近的书（2014）引起公众的广泛关注，部分原因是其危言耸听的论点，即超级机器智能的技术发展是人类最大的威胁，这一点后来得到埃隆·马斯克（Elon Musk）在推特上的回应。然而，并非所有关注人工智能政治和伦理方面的人都赞同这些世界末日的观点。如卢西亚诺·弗洛里迪（Luciano Floridi）相信，只要社会建立一个“由人类监督的设计、控制、透明和问责系统”，⑤Luciano Floridi，“The rise of the algorithm need not be bad news for humans”，Financial Times，May 4.Online：https：//www.ft.com/content/ac9e10ce-30b2-11e7-9555-23ef563ecf9a［Last access：2018/03/06］.人类就能够处理人工智能驱动的社会。

在知识界的辩论中仍然普遍缺失的是，从明确的媒介政治视角来探讨人工智能/深度学习。但是，这种关注涉及什么？以及我们为什么需要它？首先，当然有许多不同的方式来思考通用人工智能，特别是深度学习的媒介政治层面。例如，一种可行的路径是声称“媒介政治”作为一种分析角度，关涉政治的调解或者媒介与政治的历史关系。基于这样的描述，我们可以问，人工智能/深度学习技术如何在媒介和政治的关系中铭刻自己？或者它如何参与政治调解？在这两种情况下，我们可以假设a）媒介/中介和政治基本上是不同的概念，并且b）可能的分析视角在很大程度上是由我们对这些术语的基本理解所决定和引导的（包括将人工智能技术本身视为一种媒介）。

另一种可能性方法是宣称媒介具有内在的政治维度（人们同样可以声称，在媒体或某些媒介之外不存在政治性的东西）。然而问题是，是否对每一个媒体或媒介的概念都是如此，还是仅仅一些特定概念如此。这是一个相当理论化的讨论，因为大多数媒介政治的概念几乎都是基于媒介作为大众或流行媒体的传统理解。⑥John Zaller，A Theory of Media Politics.How the Interests of Politicians，Journalists，and Citizens Shape the News，Chicago IL，Chicago UP，1999.Dahlberg，Lincoln and Sean Phelan，eds.，Discourse Theory and Critical Media Politics，Basingstoke：Palgrave Macmillan，2011.因此，处理人工智能和深度学习的媒介政治，一种可能的路径是，研究不同人工智能技术在电影和电视等流行媒体中代表性的政治表现。

在这篇文章的语境下，我对媒介政治问题的理解是更广泛、从某种程度上说也是更基础的。正如我喜欢将其概念化，这样一种理论视角并不太关注人工智能的表征或可见界面，而是对产生和塑造该技术的媒体/媒介基础设施和实体的政治影响及效果更感兴趣（也不考虑特定的“使用案例”）。①关于类似叙述，使用“媒介基础设施”一词作为一个关键概念参见Parks，Lisa and Nicole Starosielski，eds.，“Signal Traffic”，Critical Studies of Media Infrastructures，Chicago：U of Illinois，2015。换句话说，我感兴趣的是——我喜欢称之为——现代人工智能技术的基础设施——媒体条件及其政治维度。②这样的视角并不直接涉及具体理论框架。一般来说，这种关注与许多分析方法兼容，如媒介考古学、历史认识论或行为者网络理论。对我来说，参与产生和塑造人工智能技术过程的每一个实体，一般都可以被看作这种技术的中介物。③Bruno Latour，Reassembling the Social.An Introduction to Actor-Network Theory，Oxford：Oxford UP，2005.一般来说，每一个技术的中介物在政治层面都很重要。然而，并不是每一个中介物都可以被平等地概念化为媒介，至少如果我们对这个词采用更狭义的理解，如将媒介视为能够实现沟通或存储、处理或传输信息的实体或装置，就不是这样。④这是参照拉图尔对“中介物”（mediators）和“中间人”（intermediaries）的区分，对媒体如何被概念化的不同说法。对拉图尔来说，“中介物是在没有转换的情况下运输意义或力量的东西”，而“中介物”则是“转换、翻译、扭曲和修改它们所反对携带的意义或元素”（2005：39）。中介物在某种意义上起到黑箱的作用，因为他们的输入可以让你预测相应的输出（在不了解对象内部运作的情况下）。与此相反，在中介物的情况下，尽管某种输入有其特定的性质，但要预测相应的输出却绝非易事。同上也参考，Tristian Thielmann，“Jedes Medium braucht ein Modicum”，ZMK Zeitschrift für Medien-und Kulturforschung 4/2：“ANT und die Medien”，2013，pp.111-127。正是由于这个原因，区分中介物和媒介/媒体这两个概念通常是有意义的。

虽然我认为需要这样的区分，但我对使用“媒介”或“媒体”这一稳定的概念持相当怀疑的态度（尽管这将使区分这两个术语的任务更加容易）。在我看来，为了使我们的经验世界的实体（包括我们思想的非物质世界）有意义，如果我们把媒体和/或媒介视为灵活的认识论——启发式的，而不是固定的类别，那么在分析方面就会更有成效。⑤也许有很多方法可以证明这样一个媒介思维的概念。很明显，我们可以再次参考拉图尔的“中介物”类别。在这种情况下，一个类似的理论参考也是 Vogl的术语“成为媒介”，参见 Joseph Vogl，“Becoming-media：Galileo’s Telescope”，Grey Room 29（Winter），2008，pp.14-25。因此，我所倡导的媒介理论，可以被理解为探索世界以何种不同方式可被感知为媒介或媒体（具有某些特征、功能）的一般任务，而不是简单地承认世界上的一切都在某种本体论的稳定意义上依赖于媒介/介质（作为实体可见、可被感知或具有某种形式等的前提条件）。所以，尽管我选择了一个专注于中介物（更具体地说是特定媒介）构成性作用的媒介政治概念，我仍然主张一个相当开放的分析重点，并为不同的观点留下空间。

就媒介政治的政治维度而言，后一种立场似乎也是一种有指导意义的方法。例如，我们可以很容易声称，几乎所有关于人工智能的事情都是政治性的，特别是如果人们相信人工智能/深度学习技术影响到我们社会和文化存在的各个方面。同时，人工智能和深度学习技术给我们带来的政治挑战在性质上是非常不同的（人工智能驱动武器系统的生存威胁，人工智能对未来工作的影响等），这就是为何不能简单参考适合于每一个问题的政治理论综论。

就如何处理人工智能/深度学习的政治问题而言，这样的恳求并不意味着“什么都可以”。相反，我认为人们应该首先尝试探索当代人工智能技术是如何作为政治现象出现的（在我们对人工智能应用某种政治理论之前）。这一重点包含许多相关的方面，包括分析计算机科学家自己如何将人工智能技术概念化为一个政治主体。

在这种情况下，我们还应该记住，对大多数从事人文、社会或文化科学工作的学者而言，即使他们已经研究过人工智能，一般的机器学习特别是人工神经网络/深度学习仍然是一个未知领域。这基本意味着，在媒介或文化研究等学科，真正能够评估深度学习技术和基础设施的相关政治和/或伦理方面可能还需要一段时间。显然，这个问题也是讨论人工智能/深度学习作为一个黑箱和评估OpenAI类似项目的核心因素。对该领域的许多学者来说，关注知识转换或转化的过程，并从一种元视角分析一门学科的知识如何被另一门学科使用、调整和重构，是媒介研究的核心任务之一。①Bergermann，Ulrike and Christine Hanke，“Boundary Objects，Boundary Media.Von Grenzobjekten und Medien bei Susan Leigh Star und James R.Griesemer”，Sebastian Gießmann and Nadine Taha，Eds.，Grenzobjekte und Medienforschung，Bielefeld：transcript，2017，p.127.但是，如果连计算机或数据科学家都在处理人工智能/深度学习黑箱问题上遇到诸多困难，那么，媒介研究如何能够为其提供相关的见解？显然，媒介研究对技术上打开黑箱没有或几乎没有贡献，然而它也许能够在不同方面有所启示：如探索这个问题的社会文化条件、影响和效果的复杂网络。此外，媒介研究可以批判性调查数据科学家如何将人工智能及其黑箱问题作为一个政治关注点。但为了做到这一点，让我们概括一下这意味着什么——或者更好地说——将我们经验世界中的某些实体感知为黑箱意味着什么。

关于“黑箱”一词的确切起源，有一些争论正在进行。菲利普·冯·希尔杰斯（Philipp von Hilgers）探讨了这个概念的历史，并将其追溯到二战，更准确地说是追溯到磁控管技术。②Philip von Hilgers，“Ursprünge der Black Box”，Rekursionen，Von Faltungen des Wissens，Ana Ofak and Philipp von Hilgers eds.，München：Fink，2009，pp.281-324.从那时起，这个概念就被应用于不同背景，并被指定为相反的含义。一方面，它可以指飞机或汽车中的数据监测系统；
另一方面，它包括那些内部运作不透明或无法进入的系统，因此只能通过其输入和输出来观察。③Frank Pasquale，“The Black Box Society”，The Secret Algorithms That Control Money and Information，Cambridge，MA：Harvard UP，2015，p.3.诺伯特·维纳（Norbert Wiener）在其名著《控制论》（Cybernetics，1948）1961年版的序言脚注中提供了“黑箱”一词的早期定义：“我对黑箱的理解是，它是一件执行明确操作的设备，但对于它，我们不一定有关于执行这一操作的结构的任何信息。”④Norbert Wiener，Cybernetics：or the Control and Communication in the Animal and the Machine，Cambridge，Mass：MIT P.，1961，p.xi.最后但并非最不重要的是，正如拉图尔所解释的，我们必须考虑到科学和技术的操作总是有一种黑箱效应：“当一台机器有效地运行时，当一个事实问题被解决时，我们只需要关注它的输入和输出，而不是它的内部复杂性。因此，矛盾的是，科学和技术越是成功，它们就越不透明和晦涩。”⑤Bruno Latour，Pandora’s Hope，Essays on the Reality of Science Studies，Cambridge，MA：Harvard UP，1999，p.99.乍一看，深度学习也是如此。然而，与其他形式的技术相比，深度学习技术的情况似乎有所不同。

通常情况下，不同于刚才提到的黑箱效应，在实践中使用的许多（如果不是大多数）技术操作都能以诸多方式被人类理解和解释。相比之下，深度学习算法似乎是一个无法打开的黑箱，至少目前一些专家认为这是人工智能存在的最大问题之一。但是，深度学习是否真的是一个基本的不透明技术？如果是的话，不透明程度如何？而且，即使是这样，只要能顺利地工作，我们难道不能接受人工神经网络是一种不透明的技术吗？后一个问题的答案可能没有第一个问题那么复杂。事实上，许多科学家、政治家和领先的IT公司之间似乎已经有了很大的共识，要开发一种负责任的或有道德的人工智能，而使这项技术更负责任是努力的一个重要部分。

当然，这种广泛共识并不令人惊讶。人工智能/深度学习系统提出一个令人失望的电影推荐是一码事，但如果用人工智能机器处理有关生命或死亡这种更严肃的事情，那情况就完全不同了。正如麻省理工学院计算机科学家汤姆米·贾科拉（Tommi Jaakkola）最近指出的：“无论是投资决策、医疗决策，还是军事决策，你都不希望仅仅依靠一个‘黑箱’的方法。”⑥Will Knight，“The Dark Secret at the Heart of AI”，MIT Technology Review，No.4（April 2017）.https：//www.technologyreview.com/s/604087/the-dark-secretat-the-heart-of-ai/［Last access：2018/03/06］.

出于这个原因，仅仅知道人工智能/深度学习系统的预测足够准确还不够，你还想了解系统为什么会得出某种预测。这两个方面似乎都与确保能高度信任人工智能的驱动决策相关。然而，要掌握人工智能预测模型的含义相当具有挑战性。为了说明这最后一点，西奈山伊坎医学院（Icahn School of Medicine at Mount Sinai）的研究人员最近开发了一个名为“深度病人”（Deep Patient）的人工智能程序。该系统能够识别不同形式的疾病，甚至能识别精神分裂症此类精神疾病的早期迹象。但令人吃惊的是，他们仍然没有找到线索，并不知道这是如何做到的。当然，“深度病人”对医生有很大帮助，但他们需要该系统为其预测提供理由，以便在对病人进行医疗时有坚实的参考。“我们可以建立这些模型”，西奈山伊坎医学院生物医学信息学主任乔尔·杜德利（Joel Dudley）解释说，“但我们不知道它们是如何工作的”。①Will Knight，“The Dark Secret at the Heart of AI”.

在下文中，我将讨论这个经常出现在当前人工智能讨论中的假设在多大程度上具有误导性，并需要进行一些澄清。首先，我们应该记住，当前深度学习技术背后的数学是非常直接的。②Goodfellow，Ian，Yoshua Bengio and Aaron Courville，Deep Learning，Cambridge，MA；
London：MIT P.，2016.归根结底，这是一个统计学问题，尽管是以一个高级的形式。强调这一点很重要，因为我们观察到一种将深度学习神秘化的普遍趋势，而这种趋势是适得其反的，需要得到遏制。其次，许多专家强调，事实上人工神经网络是一种易获得的技术，特别是将其与生物神经网络相比较。例如，总部设在多伦多—柏林的深度学习公司TwentyBN的首席科学家罗兰·梅米塞维奇（Roland Memisevic）指出：“深度学习算法至少比人脑更容易理解，因为人脑的神经元活动模式以及学习所产生的转变，即使在今天仍然很不透明。”③Roland Memisevic，“Wunderwerke der Parallelisierung”，Sudmann/Engemann，a.a.O.，o.S.（Pre-publication version），2018.相比之下，如果人们观看一个人工神经网络模型，你可以记录、观察和测量一切甚至最小的细节。例如，很容易发现哪些特征错误地导致一只狗被标记为猫，因为某些耳朵的形状可能一再导致某些错误分类。然而，人工神经元的相互作用确实难以理解，正如梅米塞维奇所同意的，“由于有如此多的神经元平行活动，我们面临着突发现象，即整体包含的内容多于其部分的总和”。④Roland Memisevic，“Wunderwerke der Parallelisierung”.

因此，虽然计算机科学家确实必须处理深度学习的可解释性问题，但它并不像当前讨论中经常描述的那样具有根本意义。⑤Will Knight，“The Dark Secret at the Heart of AI”.而且，毫不奇怪，科技行业内外的计算机科学家目前正忙于解决这个可解释性问题。事实上，研究人员已经开发了一些方法来更好地理解和逆向设计深度学习的预测模型。

一个不仅使人工神经网络而且使一般的机器学习技术更容易理解的例子，是由马可·图利奥·瑞贝里奥（Marco Tulio Riberio）、萨米尔·辛格（Sameer Singh）和卡洛斯·盖斯特林（Carlos Guestrin）开发的程序Local Interpretable Model-Agnostic Explanations（缩写LIME）。开发者将这一技术描述为：“可以解释对任何机器学习分类器的预测，并评估其在与信任有关的各种任务中的效用。”⑥Ribeiro，Marco Tulio，Sameer Singh and Carlos Guestrin，“Introduction to Local Interpretable Model-Agnostic Explanations（LIME）A technique to explain the predictions of any machine learning classifier”，O’Reilly.August 12.Online：https：//www.oreilly.com/learning/introduction-to-local-interpretable-modelagnostic-explanations-lime［Last access：2018/03/06］.LIME的基本思想是改变人工智能系统不同形式的输入（如文本或图像），这样就可以观察到这些输入的变化是否以及如何对输出产生影响。最近《科学》杂志上的一篇文章解释了LIME在实践中是如何工作的，并提到一个以电影评论为内容的人工神经网络：

［一个神经网络］摄取电影评论的文字，并标记出其中积极的内容。瑞贝里奥（Riberio）的程序被称为“局部可理解性模型—不可知论解释（LIME）”，它将会标记正面评论，并通过删除或替换词语来创造微妙的变化。然后，这些变体将通过黑箱运行，看看它是否仍然被认为是积极的。在数千次测试的基础上，LIME可以识别出人工智能原始判断中最重要的词或图像或分子结构的一部分，或任何其他类型的数据。这些测试可能会发现，“可怕”这个词对摇拍镜头至关重要，或者“丹尼尔·戴·刘易斯”会带来一个正面评论。⑦Paul Voosen，“How AI detectives are cracking open the black box of deep learning”，Science Mag.July 6.Online：http：//www.sciencemag.org/news/2017/07/how-ai-detectives-are-cracking-open-black-box-deep-learning［Last access：2018/03/06］.

正如人们可以从这个简短的描述中推断出，声称这个模型确实提供了什么深刻意义的解释似乎是一种夸张。基本上，它是一个“实验系统”，只突出那些在系统决策过程中起重要作用的元素，而没有真正揭示这个预测模型中隐含的推理。

另一个有趣的工具在某种程度上可以使人工神经网络工作原理可视化，就是当今著名的程序DeepDream，2015年由谷歌的工程师和科学家推出。DeepDream是一种基于深度学习的特殊图像识别算法，但它的操作与典型的卷积神经网络（CNN）有点不同。首先，该算法用数百万张显示特定物体（如一只猫）的图像进行训练，这样在某些时候神经网络能预测或将图像中的物体分类为猫，尽管它没接受过这方面的训练。在初始训练之后，网络可以反向操作。与其说调整网络的权重，不如说调整Backprop算法的标准程序，权重保持不变，只对输入（猫的原始图像）进行最小的调整。如果你将这种技术应用于不包含任何猫的图像但被标记为包含猫的图像，这种技术会产生非常有趣的结果。在这种情况下，软件开始修改和加强图像的某些模式，使它们开始越来越像一只猫，但不像我们经验世界中存在的任何特定的猫，而是一只神经网络感知的猫，或者说：梦见的。作为这一过程的结果，该系统产生的图像具有超现实和怪诞的质量：如一张比萨饼的照片可以包含许多小狗脸，或者你也可以把蒙娜丽莎变成一个类似LSD的幻觉噩梦。①关于从媒介理论和精神分析角度对DeepDream的批评观点，参见Clemens Apprich，“Daten，Wahn，Sinn”，Zeitschrift für Medienwissenschaft，17（2017），pp.54-62。一方面，它们表明深度学习并不是一种完全神秘的技术，因为该算法可以增强人们熟悉的视觉特征。另一方面，这些图像说明了算法的工作方式与人类感知不同，换句话说，它可能会关注我们作为人类通常不会关注的图像的各个方面。

第三种揭示深度学习系统工作机制的潜在方法是加州大学伯克利分校和马克斯·普朗克（Max Planck）信息学研究所开发的“指向和论证（Pointing and Justification）（PJ-X）模型”。②Park，Dong Huk et al.，“Attentive Explanations：Justifying Decisions and Pointing to the Evidence”，Online：https：//arxiv.org/pdf/1612.04757v1.pdf［Last access：2018/03/06］.该模型能够证明其预测或分类任务的合理性，通过使用注意力机制结合自然语言解释来突出和记录算法决策的证据。该系统的一个关键因素是，它是用两个不同的数据集训练的。第一个数据集是为了确定图像所显示的内容，而第二个数据集的功能是揭示为什么某些东西（某个人类活动或物体）会出现在特定图像中。因此，我们的想法是将显示物体或人类活动的图像不仅与它们的描述（通过标记它们）相关联，而且还与它们各自的解释相关联。为了达到后者的目的，训练数据中的每张图片都与三个问题以及每个问题的十个答案有关。在此基础上，系统可以回答诸如“图像中的人在飞吗”这样的问题，而答案可能是：“不是，因为这个人的脚还站在地面上。”③Dave Gershgorn，“We don’t understand how AI make most decisions，so now algorithms are explainingthemselves”，Quartz.December 20.Online：https：//qz.com/865357/we-dont-understand-how-ai-make-most-decisions-sonow-algorithms-are-explaining-themselves/［Last access：2018/03/06］.

同样，这个模型——像上述所有模型一样——离能够解释自己的内部运作或不同机器（或另一个人工神经网络，如果你愿意的话）的内部运作还很远。也许，这种特定的能力将需要机器发展出某种自我意识，甚至是元意识。而在这发生之前（如果这真的发生的话），深度学习技术需要理解推理、计划、因果关系，等等。目前，深度学习或人工神经网络的技术只提供相关性，但没有深刻的因果解释。在这方面，深度学习仍处于起步阶段。因此，人们可以说——在某种意义上——“可解释的人工智能”标签是误导性的，或者至少是夸大的。

正如前面所指出的，提供可解释的和——更普遍的——负责任的人工智能模型有一些明显的动机和原因。首先，目前那些深度学习系统开发者有强烈的经济兴趣，这可以对抗与不透明人工智能技术相关的社会恐惧和怀疑。然而，许多科学家和工业界人士着重强调，开发一个可解释的人工智能，其政治和伦理的重要性，超越了上述可解释问题相关的商业层面。在强调这一议程的行动者中，最引人注意和最强大的是OpenAI——一个“非营利性研究公司”（自我描述），也专门从事深度学习技术研究。2015年10月成立后不久，该公司概述其任务目标（《OpenAI介绍》）：

我们的目标是以最有可能造福全人类的方式推进数字智能，不受需要产生经济回报的限制。由于我们的研究没有财政负担，我们可以更好地专注于对人类的积极影响。我们相信人工智能应该是人类个人意志的延伸，并且本着自由精神，尽可能广泛和平均地分配。这项事业的结果是不确定的，工作是困难的，但我们相信目标和结构是正确的。我们希望对该领域的精英来说这是最重要的。

为了确保OpenAI“不受需要产生经济回报的限制”，该公司创始人，其中最突出的是埃隆·马斯克和萨姆·奥特曼（Sam Altman），他们投资了超过10亿美元。有趣的是，这个启动公告并没有明确或直接提到马斯克最初投资OpenAI的关键动机之一，即他认为（通用）人工智能是人类最大的生存威胁。①2018年2月，马斯克宣布由于与他（未来）在特斯拉的工作有潜在利益冲突，他将离开OpenAI董事会。这种世界末日的观点从人工智能研究一开始甚至之前就已经存在了。事实上，正如媒介研究学者伯恩哈德·多茨勒（Bernhard Dotzler）在20世纪80年代末指出的，你可以在阿兰·图灵（Alan Turing）的作品中找到所有关于人工智能未来的成熟预测。②Bernhard Dotzler，“Know/Ledge：Versuch über die Verortung der Künstlichen Intelligenz”，MaschinenMenschen，Katalog zur Ausstellung des Neuen Berliner Kunstvereins，Berlin：NBK，1989，pp.127-132.然而，从最近开始，人工智能的发展，已经让我们不再那么期待任何反乌托邦“终结者”现实的即将来临。

在人类历史上第一次面对当前深度学习技术不可否认的快速进步，目前可能确实是一种不同的状况。至少这是马斯克之外许多专家所认为的。OpenAI的议程（《关于OpenAI》）承认了这种新状况，但是以一种更细微又不那么戏剧化的方式：

今天的人工智能系统拥有令人印象深刻但又有限的能力。似乎我们会不断削减它们的限制，在极端情况下，它们几乎将在所有智力任务上达到人类的水准。很难想象人类水平的人工智能能给社会带来多大的好处，同样也很难想象，如果建构或使用不当，人工智能会给社会带来多大的危害。

事实上，没有人能够预见人工智能的未来，或者评估它是否更有可能对社会和文化产生积极抑或消极的影响。我们也可能会告诉自己，技术本质上从未有好坏之分，重要的只是其具体用途。然而，这个论点一直有相当大的问题。比如说我们处理核技术或者说风力发电，这就有很大的区别。此外，尽管未来是不确定的，这是一个不争的事实，但我们也不能忘记，我们永远无法确定在哪一个具体点上可能会走上错误道路。

特别是后一种论点，似乎能与《关于OpenAI》中OpenAI如何将其当前任务与不可预见的未来问题相联系起来：

由于人工智能惊人的发展历史，很难预测人类水平的人工智能何时会出现在我们面前。当它出现时，拥有一个领先的研究机构是非常重要的，它可以将所有人的良好结果置于其自身利益之上。

这段话的有趣之处在于其隐含的假设，即关于人工智能的巨大负面或正面影响，整个问题仍然相当具有预测性，而且不涉及当前技术现状（“……当人类水平的人工智能触手可及时”）。虽然OpenAI避免任何关于预测性的讨论是正确的，但似乎必须认识到深度学习已经有正面和负面影响。这项技术可以做很多惊人的好事，因为它已经成为一种非常强大的而且危险的监控技术，它不仅扩大了（半自动地）观察世界的可能性（在被训练过后），而且能够对其进行理解。

最近，事实证明人工神经网络/深度学习不仅能够识别物体、人、风景和动物（在经过训练后），而且它们已经开始理解相当复杂的行动和手势。换句话说，深度学习系统已经开始理解世界常识性知识的基本形式。有趣的方面是：为了实现这一点，人工神经网络已经受过数十万个短视频片段的训练（显示某些活动和手势）。因此，媒介的特殊性对开发先进形式的人工智能至关重要。在写这篇文章的时候，这个特殊的深度学习系统还没有在工业应用中实施。但该技术已经存在并准备好被使用。③Andreas Sudmann，“Wenn die Maschinen mit der Sprache spielen”，Frankfurter Allgemeine Zeitung Nr.

埃德·芬恩（Ed Finn）最近认为，今天的算法文化比以往任何时候都受到“使世界有效可计算的愿望”④Ed Finn，What Algorithms Want，Imagination in the Age of Computing，Cambridge，MA.MIT P.，2017，pp.26，54，23.的驱动。他没有特别将其与学习算法区分开来，而是将通用算法视为“文化机器”，其操作在很大程度上由“普遍计算的意识形态”决定。的确，我们可以说，特别是现代深度学习技术助长了工具理性的幻象版本，恰恰是因为它重新唤起了莱布尼茨的旧梦，即一个能够完美理解我们世界每个方面的“普遍科学”。但更重要的是，深度学习的伟大承诺不仅是让机器理解世界，而且使它在许多方面让世界可以被预测：股票市场如何发展，人们想买什么，一个人是否会死，等等。在这个特定的历史时刻，我们可以将深度学习视为这样一种技术，能够处理人类无法应对的复杂问题。深度学习的算法能力在于它的潜力，能通过学习过去以评估现在，从而掌握不确定的未来，而这一切都以越来越快的方式发生。DeepMind最近展示了其围棋程序AlphaGo Zero的一个新版本，它能够在短短三天内从头学习这个古老的棋盘游戏（没有执行任何游戏如何运作或如何成功下棋的规则），并成功以100比0战胜了2015/2016年的旧系统（击败了人类世界冠军李世石）。①Carlos E Perez，“Why AlphaGo Zero is a Quantum Leap Forward in Deep Learning”，Medium.com.Online：https：//medium.com/intuitionmachine/thestrange-loop-in-alphago-zeros-self-play-6e3274fcdd9f［Last access：2018/03/06］.

深度学习领域的创新速度之快也提醒我们应当小心，不要迅速对人工智能技术是否能实现这一目标下结论。因此，我们不仅应该停止猜测人工智能遥远的未来，而且还应该谨慎对待人工智能系统能够或不能做什么的怀疑性观点。总的来说，应该承认，如果试图接受目前人工智能和机器学习技术的发展，我们还有很多工作要做。也许像OpenAI这样的公司成功使人工智能技术更容易获得，但究竟如何证明他们的核心主张——人工智能的民主化？如果再看一下该公司的官方网站，会发现它提供的信息非常少：“我们在顶级机器学习会议上发表文章，为加速人工智能研究而开发开源软件工具，并发布博文来交流我们的研究”（《关于OpenAI》）。这基本是该公司关于其民主化人工智能议程的全部内容，至少如果只考虑网站的官方使命声明。这段话非常引人注目的一点是，它并无特别之处，脸书、微软和其他许多IT公司基本上都有相同的议程。②Eric Boyd，“Microsoft and Facebook create open ecosystem for AI model interoperability”，Microsoft.com.September 7.Online：https：//www.microsoft.com/en-us/cognitive-toolkit/blog/2017/09/microsoft-facebook-create-openecosystem-ai-model-interoperability/［Last access：2018/03/06］.

当然，人们可以说OpenAI至少开启了当前开发负责任和安全人工智能的浪潮。然而，更重要的一点是，当OpenAI基本做了人工智能游戏中所有其他大玩家正在做的事情时，它如何能够合法地获得其作为非营利研究公司的特殊地位：改进现有技术和/或找到开发AGI——通用人工智能的正确路径？关于这个问题，OpenAI与Deep-Mind的情况非常相似，OpenAI的研究集中在与模拟（如游戏）有关的强化学习策略上，而不是使用常见的监督学习方法，该方法依赖于来自经验世界的正确标签数据。③Jesus Rodriguez，“Technology Fridays：OpenAI Gym Makes Reinforcement Learning Real”，Medium.com.Online：https：//medium.com/@jrodthoughts/.在其方法特定限制内，OpenAI和DeepMind的议程都相当成功。然而，到目前为止，模拟仍然不是经验学习数据的合适替代品。如果这被证明是一个永久性的问题，它将对我们如何构想模拟的认识论地位（在许多数字和视觉文化的理论和历史中）产生巨大的影响，但这还有待观察。我强调这一点的原因是另一个问题，正如我们刚刚看到的，深度学习的黑箱问题有很多方面。目的不是深入了解目前领先的IT公司如何在某个时间点尝试开发高效通用人工智能系统的每个细节。相反，通过仔细观察这些不同的研究议程，我们了解到一个简单的事实，即深度学习不是一个同质的方法，而是一个对不同说法的总称。

此外，提及深度学习的异质性，不仅对我们如何解决人工智能的黑箱问题很重要，而且对开发智能机器的批判性观点也很重要。仅举一例：几年前，亚历山大·盖洛维（Alexander Galloway）写了一篇非常有趣的文章，他在文章中以某种方式将黑箱政治化，认为它不再像二战期间的磁控管技术那样是一种密码，而是变成了一种差不多完全由其输入和输出定义的功能。④Alexander R.Galloway，“Black Box，Schwarzer Block”，Die technologische Bedingung，Erich，Hörl，Ed.Frankfurt/M.：Suhrkamp，2011，p.273.通过使用这个术语，他并不完全是指技术设备，而是指人类、物体等所有可能相互作用的网络和基础设施，因此，只阐明了它们的外部语法。显然，盖洛维的黑箱概念与行为者网络理论对该术语的使用方式有些相似之处，不过有一个重要的区别：根据盖洛维的说法，构成黑箱的网络元素，不能透露关于自己的任何信息。换言之，这些网络已经成为一个无法打开的黑箱（这也是郝杰斯［Hilgers］对黑箱的定义——作为一个系统，其内部过程一直无法进入）①Philip von Hilgers，“Ursprünge der Black Box”，Rekursionen Von Faltungen des Wissens，Ana Ofak and Philipp von Hilgers，eds.，München：Fink，2009，pp.281-324.。与此相反，米歇尔·卡伦（Michel Callon）认为，任何黑箱，如果其行为者网络的运作不能充分模拟一个系统的工作，那么它不仅可以而且必须被打开，从而产生一群“新的参与者”。②Michel Callon，“The Sociology of an Actor-Network：The Case of the Electric Vehicle”，Mapping the Dynamics of Science and Technology：Sociology of Science in the Real World，Michel Callon，John Law，John and Arie Rip，eds.，Sheridan House Inc，1986，pp.29-30.乍一看，盖洛维的黑箱概念似乎可以用来描述由现代深度学习/人工神经网络算法中介的基础设施和技术网络，但这并不像看起来那么容易。盖洛维的模型基于给定输入和输出的存在，然而，人工神经网络技术并不总是在输入和输出都可用的情况下运行。例如，所谓的无监督机器学习，算法就是在没有给定输出的情况下被训练。因此，正如这个例子所示，如果我们想了解深度学习/机器学习基础设施作为一个黑箱的细微差别，盖洛维的理论可能用处有限。同时，这也是行为者网络理论再次发挥作用的方面——我们不能简单地臆想黑箱问题作为一个只涉及算法的政治（或伦理）问题。相反，这个问题包含了许多不同的因素：法律方面、机构程序、环境问题、现有的政治以及法律规定，等等。

讨论深度学习程序如何表现出种族或性别偏见，这些因素也很重要。当微软聊天机器人Tay被推特用户训练学习种族主义、性别歧视以及反犹主义的言论时，引起了巨大的动荡。③James Vincent，“Twitter taught Microsoft’s AI chatbot to be a racist asshole in less than a day”，The Verge.March 24.https：//www.theverge.com/2016/3/24/11297050/tay-microsoft-chatbot-racist［Last access：2018/03/06］.这个丑闻非常有洞察力，因为它表明学习算法的操作在很大程度上其实依赖于数据，更依赖于给数据打标签的人，至少监督学习任务的情况下是这样的。换句话说，产生偏见或政治问题结果的不是算法，实际上是设计和产生学习数据的人类行为者，其中包括通过亚马逊Mechanical Turk或Crowd-Flower等平台雇佣和组织的成百上千的群众工作者。因此，如果我们想谈论人工智能的偏见问题，也应当解决偏见和意识形态的一般结构，这些结构仍然影响着我们的社会，从而影响了设计人工智能系统的专家和工人。此外，这个例子清楚地表明，为什么我们要仔细研究某些形式的媒体/媒介，它们是现代人工智能技术的主要中介。

毫无疑问，到目前为止，关于人工智能是黑箱的讨论几乎只集中在狭义的技术方面，多少有些短视，这也涉及对“民主人工智能”的批评。例如，哲学家尼克·博斯特罗姆最近质疑了通过让人工智能更透明来使其更安全的整个逻辑：“如果你有一个可能对世界做坏事的按钮，你不会想把它交给每个人。”④Cade Metz，“Inside OpenAI，Elon Musk’s Wild Plan to Set Artificial Intelligence Free”，Wired.April 28.Online：https：//www.wired.com/2016/04/open ai-elon-musk-sam-altman-plan-to-set-artificial-intelligence-free/.［Last access：2018/03/06］.乍一看，这个论点很有说服力，但同时也有点奇怪。例如，如果考虑到核武器，人们可以很容易地观察到，只为自己保留一个可能的“危险按钮”是多么复杂（我们也可以指出近期在这里关于美国总统有权决定是否使用核武器作为第一次打击的讨论）。我不想争论冷战期间威慑平衡的概念实际有保障和平的作用，我也不想把核武器的具体技术放在与人工智能相同的水平。我只想说明，为什么负责任的或透明的人工智能，其全部实践和话语也许比博斯特罗姆的说法更复杂。透明人工智能理念的唯一替代方案是将所有关于人工智能的相关知识保密，这也不是正确的。至少，后一种策略不可能是OpenAI的选择，因为这将破坏公司的身份。

此外，必须强调的是，就像黑箱问题不仅涉及技术本身一样，我们也必须承认，任何使人工智能民主化的尝试，不能仅仅局限于围绕其技术工具和知识的开源活动（参见马茨纳［Matzner］进一步批判性地看待人工智能是一个超越透明度和问责制问题的黑箱⑤Tobias Matzner，“Opening Black Boxes Is Not Enough-Data-based Surveillance In Discipline and Punish And Today”，Foucault Studies 23，2017，pp.27-45.）。我们已经生活在一个后隐私时代，人们对与个人生活和活动相关的数据收集、存储、处理及传输的过程几乎没有控制权，这并不是一种反乌托邦的立场，特别是当爱德华·斯诺登（Edward Snowden）披露证实了关于监控的糟糕阴谋论是真实的。①Florian Sprenger，The Politics of Micro-Decisions：Edward Snowden，Net Neutrality，and the Architectures of the Internet，Lüneburg：Meson P.，2015.这里的问题不仅是公司，或者通常而言的政府，违背我们的意愿收集和分析私人数据。很多时候，许多人根本不关心他们在上网使用应用程序时产生和传播的数据。即使他们努力保护私人信息，也不能保证他们的朋友、家人或同事都会这样做。这些方面早在当前人工智能热潮兴起之前就已成为文化批判的主题。因此，我们不应该仅仅讨论如何使人工智能民主化，而应该继续努力，为我们这个由数据驱动的世界确保普遍的民主标准。为了实现这一目标，将人工智能的政治分析与更广泛的数据化讨论联系起来，这只不过是第一步，但却是非常重要的一步。

目前，我们很难想到有什么机构或法律，无论是全球的还是地区的，可以防止我们遭受人工智能的危险及大数据的滥用。我们也没有任何深刻的理由相信像OpenAI、脸书或谷歌这样的公司会实现这一目标。同时，把这些科技公司视为民主数字文化的敌人也许是短视的，因为它们拥有既控制数据又控制智能算法的霸权力量。显然，有一些危险是更紧迫的。例如，如果非民主国家利用人工智能或深度学习技术压迫其政治反对派或恐怖分子的非法活动，这种威胁并不是大数据妄想症的臆想情景。正如专家们最近所证明的那样，只需访问一个所谓的应用程序接口（API），就能对机器学习算法进行逆向设计，准确率接近100%。黑客能够从IBM或微软等IT公司窃取人工智能技术，用于可能的具体目标（技术细节可参考克拉布恩［Claburn］②Thomas Claburn，“How to steal the mind of an AI：Machine-learning models vulnerable to reverse engineering”，The Register.Online：https：//www.theregister.co.uk/2016/10/01/steal_this_brain/［Last access：2018/03/06］.）。当然，拥有一个真正开放的人工智能可能会首先解决这个特殊问题。但是，人们又要问，我们如何确保开放的人工智能不会被用于有害的目的？

截至目前，OpenAI似乎不太关心任何具体的人工智能政治愿景，而更热衷于参与到开发通用人工智能的竞争中。因此，这很容易让人相信OpenAI的政治或伦理议程基本是一个公关噱头。但是，与其质疑OpenAI的具体做法是否符合他们的议程，对于媒介政治问题来说，不如在一个更广泛的焦点背景下，探讨透明或负责任的人工智能的政治含义和效果可能会更有成效：学习算法技术如何重塑工具理性的条件，这与数字文化和社会的每个方面都深刻相关。而这个重要的项目才刚刚开始。

猜你喜欢 黑箱人工神经网络媒介 拒绝黑箱环球时报(2021-07-22)2021-07-22失踪的黑箱儿童故事画报·智力大王(2020年1期)2020-04-28利用人工神经网络快速计算木星系磁坐标空间科学学报(2020年4期)2020-04-22媒介论争，孰是孰非传媒评论(2019年7期)2019-10-10人工神经网络实现简单字母的识别电子制作(2019年10期)2019-06-17书，最优雅的媒介好日子(2018年9期)2018-10-12欢迎订阅创新的媒介中国设备工程(2017年7期)2017-04-10基于改进人工神经网络的航天器电信号分类方法北京航空航天大学学报(2016年3期)2016-02-27反思媒介呈现中的弱势群体排斥现象新闻前哨(2015年2期)2015-03-11基于人工神经网络的经济预测模型计算技术与自动化(2014年1期)2014-12-12