Hinton发布最新论文，表达神经网络中部分

果做出能和人们一样理解图像的神经网络，我们就需要弄清楚，神经网络如何才能表示部分-整体的层次结构？

这是很困难的，不同图像有不同的结构，而传统的神经网络无法把固定输入的图像转换为动态的层次结构(解析树)。

而这，也是「胶囊模型」被提出的动机。

这些模型做出了这样的假设：一个胶囊就是一组神经元，每个胶囊对应表示图片特定位置的一个目标。

然后可以通过激活这些预先存在的、特定类型的胶囊，并在他们之间建立适当连接来创建一棵解析树。

本文介绍了一种非常不同的方式，即在神经网络中使用胶囊来表示部分-整体的层次结构。

需要注意的是，论文没有描述一个工作系统。

相反，它提出了一个关于表征的单一想法，将几个不同小组取得的进展合并到一个名为GLOM的假想系统中。

尽管本文主要关注对单一静态图像的感知，但GLOM很容易被理解为一个处理帧序列的流水线。静态图像可以被认为是多个相同帧组成的序列。

GLOM架构，显著提升transformer类的模型的可解释性

GLOM架构由大量的列组成，这些列都使用完全相同的权重。

每一列都是一个空间局部自动编码器的堆栈，可以学习小图像补丁中发生的多层次的表示。每个自动编码器，使用多层自下而上的编码器和解码器，将一级的嵌入转化为相邻一级的嵌入。这些层次对应于部分-整体层次结构中的层次。

例如，当显示一个人脸的图像时，一个列可能会聚集为一个向量，用来表示鼻孔、鼻子、脸和人。

（编辑：葫芦岛站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!