决策树的复兴？结合神经网络提升ImageNet分类准确率且可解释

跟着深度练习正在金融、医疗等周围的一直落地，模子的可讲明性成了一个异常大的痛点，由于这些周围须要的是预测精确并且可能讲明其举动的模子。然而，深度神经汇集缺乏可讲明性也是出了名的，这就带来了一种抵触。可讲明性人工智能（XAI）试图平均模子精确率与可讲明性之间的抵触，但 XAI 正在注明决议来历时并没有直接讲明模子自己。

决议树是一种用于分类的经典呆板练习举措，它易于领会且可讲明性强，或许正在中等范围数据上以低难度获取较好的模子。之前很火的微软小冰读心术极或者即是运用了决议树。小冰会先让咱们设思一个出名人物（须要有点名气才行），然后向咱们讯问 15 个以内的题目，咱们只需解答是、否或不清爽，小冰就可能很速猜到咱们思的谁人人是谁。

只管决议树有诸众好处，但史籍阅历告诉咱们，假如遇上 ImageNet 这一级此外数据，其本能如故远远比不上神经汇集。

「精确率」和「可讲明性」，「鱼」与「熊掌」要奈何兼得？把二者连系会若何？比来，来自加州大学伯克利分校和波士顿大学的酌量者就施行了这种思法。

他们提出了一种神经援救决议树「Neural-backed decision trees」，正在 ImageNet 上赢得了 75.30% 的 top-1 分类精确率，正在保存决议树可讲明性的同时赢得了而今神经汇集才力到达的精确率，比其他基于决议树的图像分类举措凌驾了大约 14%。

然而，正在图像分类数据集上，决议树的精确率要掉队神经汇集 40%。神经汇集和决议树的组合体也发扬不佳，以至正在 CIFAR10 数据集上都无法和神经汇集相提并论。

这种精确率缺陷使其可讲明性的好处变得「一文不值」：咱们起首须要一个精确率高的模子，但这个模子也要具备可讲明性。

现正在，这种两难处境结果有了发展。加州大学伯克利分校和波士顿大学的酌量者通过创造既可讲明又精确的模子来管理这个题目。

酌量的环节点是将神经汇集和决议树连系起来，坚持高宗旨的可讲明性，同时用神经汇集举办低宗旨的决议。如下图所示，酌量者称这种模子为「神经援救决议树（NBDT）」，并展现这种模子正在保存决议树的可讲明性的同时，也或许媲美神经汇集的精确性。

NBDT 具备和决议树相似的可讲明性。而且 NBDT 或许输出预测结果的中心决议，这一点优于而今的神经汇集。

如下图所示，正在一个预测「狗」的汇集中，神经汇集或者只输出「狗」，但 NBDT 可能输出「狗」和其他中心结果（动物、脊索动物、肉食动物等）。

与此同时，NBDT 也杀青了可能媲美神经汇集的精确率。正在 CIFAR10、CIFAR100 和 TinyImageNet200 等数据集上，NBDT 的精确率靠拢神经汇集（差异1%），正在 ImageNet 上的精确性差异也正在 2% 内，到达了 75.30%，比基于决议树的现有最佳举措凌驾整整 14%，杀青了可讲明模子正在精确率上的新 SOTA。

最有参考价格的辩证由来是面向该模子从未睹过的对象。比方，研讨一个 NBDT（如下图所示），同时正在 Zebra 进步行推演。固然此模子从未睹过斑马，但下图所显示的中心决议是无误的-斑马既是动物又是蹄类动物。对待从未睹过的物体而言，个人预测的合理性至合主要。

其它，酌量者展现运用 NBDT，可讲明性跟着精确性的进步而进步。这与著作初步中先容的精确性与可讲明性的对立分道扬镳，即：NBDT 不只具有精确性和可讲明性，还可能使精确性和可讲明性成为统一目的。

比方，ResNet10 的精确度比 CIFAR10 上的 WideResNet28x10 低 4％。相应地，较低精度的 ResNet ^ 6 宗旨机合（左）将田鸡，猫和飞机分组正在沿道且道理较小，由于很难找到三个类共有的视觉特性。而比拟之下，精确性更高的 WideResNet 宗旨机合（右）更蓄意义，将动物与车齐备分分开了。是以可能说，精确性越高，NBDT 就越容易讲明。

运用低维外格数据时，决议树中的决议法规很容易讲明，比方，假如盘子中有面包，然后分拨给相宜的孩子（如下所示）。然而，决议法规对待像高维图像的输入而言则不是那么直接。模子的决议法规不只基于对象类型，并且还基于上下文，样式和颜色等等。

为了定量讲明决议法规，酌量者运用了 WordNet3 的现著名词宗旨；通过这种宗旨机合可能找到种别之间最整体的共享寄义。比方，给定种别 Cat 和 Dog，WordNet 将反应哺乳动物。不才图中，酌量者定量验证了这些 WordNet 假设。

值得小心的是，正在具有 10 个类（如 CIFAR10）的小型数据召集，酌量者可能找到扫数节点的 WordNet 假设。可是，正在具有 1000 个种别的大型数据集（即 ImageNet）中，则只可找到节点子召集的 WordNet 假设。

该层级爆发了一个称为树监视耗费「Tree Supervision Loss」的怪异耗费函数；

以序列决议准则方法运转终末一层全衔接层完结揣度，酌量者将其称为嵌入决议准则「Embedded Decision Rules」。

这里起首咨询揣度题目。如前所述，NBDT 运用神经汇集主干提取每个样本的特性。为便于领会接下来的操作，酌量者起首修筑一个与全衔接层等价的退化决议树，如下图所示：

运用从样本提取的特性 x 举办揣度意味着，阴谋 x 与每个子节点外征向量的内积。仿佛于全衔接层，最大内积的索引即为所预测的种别。

全衔接层与单纯决议树之间的直接等价干系，胀动酌量者提出一种特地的揣度举措——运用内积的决议树。

该层级决心了 NBDT 须要决议的种别聚集。因为修筑该层级时运用了预磨练神经汇集的权重，酌量者将其称为诱导层级。

研讨上图中的「A-Hard」境况。假设绿色节点对应于 Horse 类。这只是一个类，同时它也是动物（橙色）。对结果而言，也可能清爽来到根节点（蓝色）的样本应位于右侧的动物处。来到节点动物「Animal」的样本也应再次向右转到「Horse」。所磨练的每个节点用于预测无误的子节点。酌量者将强制实践这种耗费的树称为树监视耗费（Tree Supervision Loss）。换句话说，这实践上是每个节点的交叉熵耗费。

其余，酌量者还供应了奈何用少于 6 行代码将 nbdt 与咱们己方的神经汇集相连系，周到内容请睹其 GitHub 开源项目。

本文为滂湃号作家或机构正在滂湃音讯上传并发外，仅代外该作家或机构见解，不代外滂湃音讯的见解或态度，滂湃音讯仅供应讯息发外平台。申请滂湃号请用电脑拜望。