360度无死角、近距离看「CNN」训练，是种什么体验？网友：美得不真实

萧箫 鱼羊 发自 凹非寺
量子位 报道 | 公家号 QbitAI

做较量机视觉，离不开CNN。

[原创文章：www.ii77.com]

可是，卷积、池化、Softmax……事实长啥样，是如何互相保持在一路的？ [好文分享：www.ii77.com]

对着代码凭梦想象，几多让人有颔首皮微凉。于是，有人爽性用Unity给它完整3D可视化了出来。

还不单是有个架子，练习过程也都呈现得明领略白。

好比跟着epoch（迭代次数）的转变，练习过程中各层显现的实时转变。

为了能更清楚地展示收集细节，用户还能够在个中自由地折叠、扩展每个层。

好比将特征图在线性结构和网格结构之间转换。

折叠卷积层的特征图输出。

对全保持层进行边绑定（edge bunding）等等。

如许的可视化图像，能够经由加载TensorFlow的搜检点来构建。

也能够在Unity编纂器中设计。

是不是有点鹅妹子嘤那感受了？

比来，这个项目又在社交媒体上火了起来。

网友们纷纷透露：

“如果能在练习的时候看到这个过程，再长时间我也能忍啊。”

“求开源。”

该项目的作者，是一位来自维也纳的3D特效师。

据他介绍，之所以建立如许一个CNN可视化对象，是因为他本身初学神经收集时，经常感觉很难懂得卷积层之间是若何互相保持，又若何与分歧类型的层保持的。

而该对象的首要功能包罗，卷积、最大池化和完全保持层的可视化透露，以及各类能实现更清楚可视化的简化机制等等。

总而言之，就是想让初学者经由最直观的体式，来get到CNN的重点。

若何用Unity搞出一个3D收集

在正式上手Unity前，作者先在Houdini软件中，搭建了一个可视化的3D收集原型。

也就是说，先给Unity版3D收集供应一个搭建思路，提前预备好实现展示卷积较量的方式、特征图的外形、边绑定的结果等问题。

它的节点编纂器长如许：

然后，就能够在Unity上搭建3D神经收集了。

首先，需要预设好神经收集的“外形”。

因为之前并没有效过Unity，作者先进修了着色器和过程式几许相关的常识。

这里面，作者发现了一些局限性，他采用的是Unity为着色器斥地的说话Shaderlab，这个说话无法使用着色转变，只有对语义进行预界说的变量，才能让它在极点、几许和像素着色器之间传递。

并且，它无法随意分派极点属性，只有位置、颜色、UV等预界说属性。（或者这也是3D收集无法实时改变颜色的原因之一）

在研究了一些实例化（instancing）相关的概念后，作者规划采用几许着色器的方式生成神经收集的连线。个中起点和终点被传递到极点着色器，并直接转发到几许着色器。

这些线，最多能够由120个极点构成，因为Unity许可的几许着色器能建立的变量的标量浮点数为1024。

设计后的收集外形，大略长如许：

然后，就是从模型的TensorFlow代码中，生成对应的3D神经收集图像。

个中，Tensorflow-native.ckpt花样的文件，需要存储重构模型图所需的数据、二进制的权重读取和激活值，以及特定层的名字。

以Cifar10-greyscale数据集为例，需要编写一个搜检点（checkpoint）文件，以及设置立即初始化的权重。

在那之后，需要加载这些搜检点文件、启动TensorFlow会话，输入练习示例，以便查询每一层的激活函数。

然后编写一个json文件，存储每一层的外形、名称、权重和激活函数，便于读取。然后使用权重值，将颜色数据分派给各层的Unity Mesh。

最终搞出来的结果，照样不错的：

作者还录了个斥地视频，在文末能够找到地址。

相关研究还不少

事实上，此前已经有不少学者，进行过神经收集可视化的研究。

例如，客岁5月，一位中国博士就可视化了卷积神经收集，将每一层的转变都展示得非常清楚，只需要点击对应的神经元，就能看见它的“把持”。

这是用TensorFlow.js加载的一个10层预练习模型，相当于在浏览器上就能跑CNN模型，也能够实时交互，显露神经元的转变。

不外，这照样个2D的项目。

今朝，也已经有人像上面谁人神经收集模型一般，做出了3D的可视化神经收集:

这个项目，同样用到了边绑定、光线追踪等手艺，与特征提取、微和谐归一化相连系，将神经收集可视化。

这项项目进展能借由这些手艺，来估量神经收集中分歧部门的主要性。

为此，作者将神经收集的每一部门都用分歧的颜色来透露，凭据节点和节点在收集中的主要性，来展望它们之间的关系性。

大略的处理过程是如许的：

若是对于这类3D神经收集可视化感乐趣，能够在文末找到对应的开源项目地址。

作者介绍

Stefan Sietzen，现居维也纳，此前曾是个3D视觉偏向的自由职业者。

今朝，他在维也纳工业大学读硕，对视觉较量（visual computing）非常感乐趣，这个3D神经收集，就是他在硕士时代做的项目之一。

斥地过程：
https://vimeo.com/stefsietz

已开源的3D神经收集项目：
https://github.com/julrog/nn_vis

参考链接：
https://www.reddit.com/r/MachineLearning/comments/leq2kf/d_convolution_neural_network_visualization_made/
https://mp.weixin.qq.com/s/tmx59J75wuRii4RuOT8TTg
https://vimeo.com/stefsietz
http://portfolio.stefansietzen.at/
http://visuality.at/vis2/detail.html

— 完 —

本文系网易新闻•网易号特色内容激励规划签约账号【量子位】原创内容，未经账号授权，禁止随意转载。

到场AI社群，拓展你的AI行业人脉

量子位「AI社群」招募中！迎接AI从业者、存眷AI行业的小伙伴们扫码到场，与50000+名石友配合存眷人工智能行业成长&手艺进展。

如今到场，还可介入2.9-2.11社群内抽奖哦，扫码添加小助手入群▽

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI手艺和产物新动态

一键三连「分享」、「点赞」和「在看」

科技前沿进展日日相见~