卡内基梅隆大学计算机科学教授 Manuela Veloso 是研究协作机器人的专家。他表示，能解释自身行为的 AI 对赢得大众对人工智能的信任至关重要。“我们需要质疑为什么算法程序会做出这样那样的决定，如果我们不在 AI 动机解释上花功夫，就无法信任这个智能系统。”
为解决该问题， 创业公司 OptimizingMind 发明了一项能观察智能机器决策过程的技术。
这个算法的目的是创造 “透明访问”系统，以呈现机器学习是如何做出预期（expectations）的。OptimizingMind 的负责人 Tsvi Achler 说：
“该系统以人脑的神经模型为基础，能把任何深度网络 （deep networks）转化为该系统的模式。它的目的是探索 AI 行为的潜在预期 （underlying expectations），并且找出 AI 思维模式的哪个方面对决策影响最大”。
有着神经科学、医药和计算机科学多重学科背景的 Achler 认为，我们能从人脑如何作出和解释决策中学习到很多（应用到 AI 的知识）。
“我感兴趣的是，大脑和计算机的共同点在哪里？为什么人脑可以在学会任何模型之后把它解释出来。如果我说 ‘章鱼’，你是否能告诉我那是什么？如果我问章鱼触手长什么样，你能告诉我吗？”
人能做到，AI 为什么不行？
他说，当人类观察到一个新模式（或规律）的时候，会立刻学会那个模式。这对 AI 暂时还不可能。 AI 的学习方法被称为批量学习。如果你想要对 AI 加入一个新模式或者新注解，你必须从头开始把所有的新旧模式重新教一遍。
Achler 开发的算法呈现出神经科学里的 “爆裂” 现象。当人观察到一个新模式时，多个神经元被同时激发，然后它们沉寂下来。当你向某人展示一个模式的时候，下一瞬间会发生神经兴奋，之后逐渐地平静下来。在这个算法里你会看到同样的事情。
实际上，这种研究方式是对传统机器学习进行了重新思考，Achler 认为该过程就像深度学习、感知器、支持向量机（SVM） 、 卷积神经网络（CNN）、递归神经网络（RNN）、反向传播等研究一样。研究者们并没有打算解决即时学习这一难题。 “这项技术的目的非常明确，那就是尝试解释 AI 是怎样思考的。没有人想过如何让系统变得更灵活或是更具可信度，而它的整体目标是让 AI 决策更容易被访问。”
OptimizingMind 是一种以人脑运行方式为基础的算法，旨在使开发者能“观察到系统内部，理解它们（AI 系统）在干什么，并且很方便地编辑它们，而无需从头开始训练”。这能让机器学习“一步到位”，而神经网络马上就能学会。举例来说，人们能告诉 Siri 某一个词的定义，然后它会被存储起来。今天神经网络还达不到这一点，它们需要用无数案例不断训练学习。
所以 “透明访问”系统是什么意思呢？根据 Achler 的说法， 这个系统提供了一种实时观察 AI 决策的方法。 它可以访问权重、特点和节点，提供能读取这些信息的灵活性，并且能改写它们。最终，这个系统能让我们理解神经网络是怎么做出一个决策的。这个工具能帮助工程师们大幅减少机器开发的时间，帮企业节省资源。
此外 Achler 还表示，在提供透明度之外，这个算法还可以被修改。不但预期（expectations）能被表达出来，每个单独预期还能随着新信息立刻改变。
今天，大多数机器学习的方法使用一个正反馈（feedforward）技术。风险投资公司 Naiss.io 的联合创始人 Ed Fernandez 说，正反馈使用优化过的权重执行任务。在正反馈系统里，独特性信息（ uniqueness information）依据训练中出现的频率被录入权重。这意味着整套训练中的权重必须经过优化。这又意味着 OptimizingMind 可以“根据正在被识别的模式执行优化”，这不是为了权重而优化，而是为了模式识别去优化。
当机器学习与商业更紧密结合，并成为无人驾驶和其他极其重要科技的基石，理解机器学习中到底发生了什么就变得至关重要。事实上， DARPA 最近启动了一项对可解释 AI （XAI，explainable artificial intelligence） 的投资。
正如 Veloso 教授说的：“我们不能假定 AI 系统完美无缺。”我们必须从 AI 的错误中学习。Veloso 表示，“如果某天发生了一起 AI 事故，我们必须避免它再次发生。”
浙公网安备: 33028102000314号