网络架构实验总结（网络搭建实验总结）

本篇文章给大家谈谈网络架构实验总结，以及网络搭建实验总结对应的知识点，希望对各位有所帮助，不要忘了收藏本站喔。

本文目录一览：

• 1、知识蒸馏综述:网络结构搜索应用
• 2、深度卷积神经网络各种改进结构块汇总
• 3、【CV论文笔记】MobileNetV2: Inverted Residuals and Linear Bottlenecks（MobileNetV2理解）
• 4、求一份关于网络安全配置服务器的端到端IPSEC VPN实验心得
• 5、动态网站实训心得

知识蒸馏综述:网络结构搜索应用

【GiantPandaCV导语】知识蒸馏将教师网络中的知识迁移到学生网络，而NAS中天然的存在大量的网络，使用KD有助于提升超网整体性能。两者结合出现了许多工作，本文收集了部分代表性工作，并进行总结。

知识蒸馏可以看做教师网络通过提供soft label的方式将知识传递到学生网络中，可以被视为一种更高级的label smooth方法。soft label与hard label相比具有以下优点：

那么知识蒸馏在网络结构搜索中有什么作用呢？总结如下：

知识蒸馏在很多工作中作为训练技巧来使用，比如OFA中使用渐进收缩训练策略，使用最大的网络指导小网络的学习，采用inplace distillation进行蒸馏。BigNAS中则使用三明治法则，让最大的网络指导剩下网络的蒸馏。

目标：解决教师网络和学生网络的匹配问题（知识蒸馏中教师网络和学生网络匹配的情况下效果更好）。

在知识蒸馏中，选择不同的教师网络、不同的学生网络的情况下，最终学生网络的性能千差万别。如果学生网络和教师网络的容量相差过多，会导致学生难以学习的情况。Cream这篇文章就是为了解决两者匹配问题。

普通的SPOS方法如左图所示，通过采样单路径子网络进行训练。右图则是结合了知识蒸馏的方法，Cream提出了两个模块：

Cream中心思想是，子网络可以在整个训练过程中协作学习并相互教导，目的是提高单个模型的收敛性。

消融实验如下：

目标：通过教师引导各个block特征层的学习，根据loss大小评判各子网的性能。

这是一篇将NAS和KD融合的非常深的一个工作，被CVPR20接收。之前写过一篇文章进行讲解，这里简单回顾一下。

DNA是两阶段的one-shot NAS方法，因此其引入蒸馏也是为了取代普通的acc指标，提出了使用子网络与教师网络接近程度作为衡量子网性能的指标。

在训练的过程中，进行了分块蒸馏，学生网络某一层的输入来自教师网络上一层的输出，并强制学生网络这一层的输出与教师网络输出一致（使用MSELoss)。在搜索过程结束后，通过计算各子网络与教师网络的接近程度来衡量子网络。

目标：通过改进KL divergence防止学生over estimate或者under estimate教师网络。

上图展示了OFA,BigNAS等搜索算法中常用到的蒸馏方法，子网使用的是KL divergence进行衡量，文中分析了KL 散度存在的局限性：即避零性以及零强制性。如下公式所示，p是教师的逻辑层输出，q是学生逻辑层输出。

AlphaNet提出了一个新的散度衡量损失函数，防止出现过估计或者低估的问题。如下所示，引入了 。

其中 不为0或者1，这样如下图所示：

蓝色线对应example 2表示，当 为负值，如果q过估计了p中的不确定性， 的值会变大。

紫色线对应example 1表示，当 为正数，如果q低估了p中的不确定性， 的值会变大

同时考虑两种情况，取两者中最大值作为散度：

目标：提出了衡量学生网络和教师网络 内部激活相似度 衡量指标，通过表征匹配可以用来加速网络结构搜索。

这部分其实是属于知识蒸馏分类中基于关系的知识，构建的知识由不同样本之间的互作用构成。

具体的指标构成如上图所示，是一个bsxbs大小的矩阵，这个在文中被称为Representational Dissmilarity Matrix，其功能是构建了激活层内部的表征，可以通过评估RDM的相似度通过计算上三角矩阵的关系系数，比如皮尔逊系数。

该文章实际上也是构建了一个指标P+TG来衡量子网的性能，挑选出最优子网络。

如上图所示，RDM的计算是通过衡量教师网络的feature以及学生网络的feature的相似度，并选择选取其中最高的RDM相似度。通过构建了一组指标，随着epoch的进行，排序一致性很快就可以提高。

目标：固定教师网络，搜索最合适的学生网络。

对于相同的教师网络来说，不同的架构的学生网络，即便具有相同的flops或者参数，其泛化能力也有所区别。在这个工作中选择固定教师网络，通过网络搜索的方法找到最优的学生网络，使用L1 Norm优化基础上，选择出与教师网络KL散度差距最小的学生网络。

目标：在给定教师网络情况下，搜索最合适的学生网络。

神经网络中的知识不仅蕴含于参数，还受到网络结构影响。KD普遍方法是将教师网络知识提炼到学生网络中，本文提出了一种架构感知的知识蒸馏方法Architecture-Aware KD （AKD），能够找到最合适提炼给特定教师模型的学生网络。

Motivation: 先做了一组实验，发现不同的教师网络会倾向于不同的学生网络，因此在NAS中，使用不同的教师网络会导致模型倾向于选择不同的网络结构。

AKD做法是选择使用强化学习的方法指导搜索过程， 使用的是ENAS那种通过RNN采样的方法。

目标：从集成的教师网络中学习，并使用NAS调整学生网络模型的容量。NAS+KD+集成。

这篇文章之前也进行了讲解，是网络结构搜索，知识蒸馏，模型集成的大杂烩。

详见：

这篇文章比较有意思，使用上一步中得到的多个子网络进行集成，可以得到教师网络，然后使用知识蒸馏的方法来引导新的子网络的学习。关注重点在于：

AdaNAS受Born Again Network（BAN）启发, 提出Adaptive Knowledge Distillation（AKD)的方法以辅助子网络的训练。

集成模型选择 ：

从左到右代表四次迭代，每个迭代中从搜索空间中选择三个模型。绿色线框出的模型代表每个迭代中最优的模型，AdaNAS选择将每个迭代中最优subnet作为集成的对象。

最终集成的时候还添加了额外的weight参数w1-w4：

最终输出逻辑层如下所示：（这个w权重也会被训练，此时各个集成网络的权重是固定的，只优化w）

Knowledge Distillation

目标：解决知识蒸馏的效率和有效性，通过使用特征聚合来引导教师网络与学生网络的学习，网络结构搜索则是体现在特征聚合的过程，使用了类似darts的方法进行自适应调整放缩系数。ECCV20

文章总结了几种蒸馏范式：

最后一种是本文提出的方法，普通的特征蒸馏都是每个block的最后feature map进行互相蒸馏，本文认为可以让教师网络的整个block都引导学生网络。

具体如何将教师网络整个block中所有feature map进行聚合，本文使用的是darts的方法进行动态聚合信息。(a) 图展示的是对group i进行的可微分搜索过程。(b)表示从教师到学生的路径loss构建，使用的是CE loss。(c)表示从学生到教师网络的路径loss构建，使用的是L2 Loss。其中connector实际上是一个1x1 卷积层。

（ps: connector让人想到VID这个工作）

深度卷积神经网络各种改进结构块汇总

这个网络主要源自于Resnet网络，其作用是：

将靠前若干层的某一层数据输出直接跳过多层引入到后面数据层的输入部分。

意味着后面的特征层的内容会有一部分由其前面的某一层线性贡献。

实验表明，残差网络更容易优化，并且能够通过增加相当的深度来提高准确率。

最终可以使得网络越来越深，Resnet152就是一个很深很深的网络。

残差网络的典型结构如下：

这个结构主要是在Inception网络结构中出现。

Inception网络采用不同大小的卷积核，使得存在不同大小的感受野，最后实现拼接达到不同尺度特征的融合。

不同大小卷积核并行卷积的典型结构如下：

这种结构主要利用在InceptionV3中。

利用1x7的卷积和7x1的卷积代替7x7的卷积，这样可以只使用约（1x7 + 7x1) / (7x7) = 28.6%的计算开销；利用1x3的卷积和3x1的卷积代替3x3的卷积，这样可以只使用约（1x3 + 3x1) / (3x3) = 67%的计算开销。

下图利用1x7的卷积和7x1的卷积代替7x7的卷积。

下图利用1x3的卷积和3x1的卷积代替3x3的卷积。

这个结构在Resnet里非常常见，其它网络也有用到。

所谓Bottleneck结构就是首先利用1x1卷积层进行特征压缩，再利用3x3卷积网络进行特征提取，再利用1x1卷积层进行特征扩张。

该结构相比于直接对输入进行3x3卷积减少了许多参数量。

当输入为26,26,512时，直接使用3x3、filter为512的卷积网络的参数量为512x3x3x512=2,359,296。

采用Bottleneck结构的话，假设其首先利用1x1、filter为128卷积层进行特征压缩，再利用3x3、filter为128的卷积网络进行特征提取，再利用1x1、filter为512的卷积层进行特征扩张，则参数量为 512×1×1×128 + 128×3×3×128 + 128×1×1×512 = 278,528。

深度可分离卷积主要在MobileNet模型上应用。

其特点是3x3的卷积核厚度只有一层，然后在输入张量上一层一层地滑动，每一次卷积完生成一个输出通道，当卷积完成后，在利用1x1的卷积调整厚度。

假设有一个3×3大小的卷积层，其输入通道为16、输出通道为32。具体为，32个3×3大小的卷积核会遍历16个通道中的每个数据，最后可得到所需的32个输出通道，所需参数为16×32×3×3=4608个。

应用深度可分离卷积，用16个3×3大小的卷积核分别遍历16通道的数据，得到了16个特征图谱。在融合操作之前，接着用32个1×1大小的卷积核遍历这16个特征图谱，所需参数为16×3×3+16×32×1×1=656个。

这种结构主要存在在Xception网络中。

改进版深度可分离卷积就是调换了一下深度可分离的顺序，先进行1x1卷积调整通道，再利用3x3卷积提取特征。

和普通的深度可分离卷积相比，参数量也会有一定的变化。

改进版深度可分离卷积加上残差网络的结构其实和它的名字是一样的，很好理解。

如下图所示：

在ResNet50里我们认识到一个结构，bottleneck design结构，在3x3网络结构前利用1x1卷积降维，在3x3网络结构后，利用1x1卷积升维，相比直接使用3x3网络卷积效果更好，参数更少，先进行压缩，再进行扩张。

而Inverted residuals结构，在3x3网络结构前利用1x1卷积升维，在3x3网络结构后，利用1x1卷积降维，先进行扩张，再进行压缩。

这种结构主要用在MobilenetV2中。

其主要结构如下：

这个结构出现在Deeplabv3语义分割中。

其经过并行的空洞卷积，分别用不同rate的空洞卷积进行特征提取，再进行合并，再进行1x1卷积压缩特征。

空洞卷积可以在不损失信息的情况下，加大了感受野，让每个卷积输出都包含较大范围的信息。如下就是空洞卷积的一个示意图，所谓空洞就是特征点提取的时候会跨像素。

原文链接：

【CV论文笔记】MobileNetV2: Inverted Residuals and Linear Bottlenecks（MobileNetV2理解）

本文主要用于介绍谷歌实验室团队于2018年提出的一种轻型网络MobileNetV2。本笔记主要为方便初学者快速入门，以及自我回顾。

论文链接：

基本目录如下：

------------------第一菇 - 摘要------------------

在本论文中，我们描述了一种新的网络架构MobileNetV2，该网络在多个视觉基础任务上相比于第一代MobileNets都取得了更好的效果。我们同时还针对目标检测任务，基于我们的MobileNetV2，改进出了一套新的架构，名为SSDLite。同时，对于实例分割任务，我们也在DeepLabv3的基础上进行了改进，提出了Mobile DeepLabv3。

整套MobileNetV2网络架构是基于翻转残差结构的（inverted residual structure），其中依然采用了轻型的深度卷积（depthwise convolutions）来实现滤波操作，同时我们将那些非线性的激活函数给移除了。这一操作带来了不少效果的提升，后文我们也会进行一定的阐述。

最后我们想说，我们的架构能很容易的被迁移应用于其他应用研究。当然，我们也在ImageNet分类，COCO目标检测，VOC图像分割上进行了实验，与其他模型也会进行仔细对比，包括时效性，参数量，准确性等～

------------------第二菇 - 核心思想------------------

不了解MobilesNet第一版的同学，可以先看其第一版的，我自己的个人链接 笔记 也在此献上。

MobileNetsV1版本的想必大家都了解清楚了，但是第一版有一个很奇怪的问题，那就是深度卷积部分的卷积核比较容易训废掉，训废的意思就是发现训练出来的卷积核不少是空的，如下图所示【1】，

而训废的锅，作者认为是ReLU激活函数的锅。。。并且写了好长好长的理论来证明这件事情。。。（很多东西本菇也难以理解。。。只能看看各路大神的想法，这里总结一下）

直接看一张原论文中的图，

上面这张图想表达的意思其实很简单，就是 对低维度做ReLU运算，信息丢失的很多 （如上图，dim=2,3的时候，边界那里直接就没了 ），但是如果是 对高维度做ReLU运算，信息的丢失就会相对减少了 （比如上图，dim=30的时候，边界那里还保留了很多）

因此，这也就解释了卷积核很多是空的现象。因此，作者在第二代中就将ReLU替换成了线性的激活函数。

当然在真实运用时，并不是将所有的激活函数都替换成了线性了（。。。如果真是这样就要报警了🚔），其实只有把最后那个ReLU6给替换成了线性的，如下图所示～

这一块就比较好理解了，其实就是借鉴了残差模块的思想，引入了shortcut结构，但是，这里是inverted！是颠倒残参，那具体的区别是什么呢？

直接贴一张原论文中的图，方便讲解，

首先我们来看一下 残差模块 ，输入首先是经过 卷积进行压缩，然后利用 的卷积进行特征提取，最后再用 的卷积将整个通道数变回去，整个过程就是“降维-卷积-升维”，这样的目的也很简单就是为了减少 模块的计算量，提供整个残差模块的计算效率。

接着我们再来看一下 倒置残差模块 ，输入首先经过 的卷积进行通道扩张，然后使用 的depthwise卷积，最后再用 的卷积将通道数压缩回去，整个过程就是“升维-卷积-降维”，因此整个是与标准的残差模块相反的操作。

这里盗一张网上的图【2】，感觉阐述的很清晰，

而之所以要升维的原因，是因为depthwise本身没有改变通道数的能力，而其在低维度上的表现又比较糟糕，因此，需要升维，从而提高准确率。

至此，本文的2个创新点已经阐述完毕，这里再贴一张V2的block示意图【1】，

当然，少不了要和V1进行对比，这里再盗一张图【2】，

至此，整个MobileNetV2感觉已经说清楚了，具体的网络架构和实验结果，本文就不多做阐述了，论文里都有而且易懂～

------------------第三菇 - 总结------------------

到这里，整篇论文的核心思想已经说清楚了。本论文主要是在MobileNets的基础上又提出了一种轻型的网络架构MobileNetV2，并实验证明了该网络的可行性，为后续发展奠定了基础。

简单总结一下本文就是先罗列了一下该论文的摘要，再具体介绍了一下本文作者的思路，也简单表述了一下，自己对整个MobileNetV2网络架构的理解。希望大家读完本文后能进一步加深对该论文的理解。有说的不对的地方也请大家指出，多多交流，大家一起进步～😁

参考文献：

【1】

【2】

求一份关于网络安全配置服务器的端到端IPSEC VPN实验心得

IPSec

VPN端到端技术

Seclarity最近发布的网卡，集成了Peer

to

Peer的VPN功能，从而能够以一种新的方式为局域网和广域网络提供安全性。Seclarity的新产品包括以太网卡和无线局域网卡，在这些网卡中集成了IPSec

VPN的终端，从而能够让计算机和计算机之间建立起安全的IP通道。这种PC到PC(服务器)的全程加密连接，安全性更高。

要实现在网络中的端到端安全，需要用户在PC机中添加Seclarity公司的硬件产品——SiNic。而正常的运转还需要Seclarity的Central

Command

Console软件帮忙。Central

Command

Console是一个集中设置策略、分布执行的架构。在网络中需要有一个服务器运行这一软件，在这个服务器上，有该软件的图形配置界面、数据库。网络管理人员集中的在这一服务器上进行设置，相关的策略将存储在服务器的数据库中。这一方案给一些如银行这样对安全要求非常高的企业提供了安全的、易于实施的局域网方案。

推荐理由

一些对安全要求很高的用户对端到端(PC到服务器)加密的要求由来已久，而且这也将是大势所趋，特别是网络社会跨入IPv6时代以后。Seclarity的产品提供了端到端IPSec

VPN的解决方案顺应这一大方向。今天来看，用户获得Seclarity的端到端VPN方案，需要付出的代价是采用新的网卡。但是这也代表着一个趋势，未来的计算机系统，网卡需要承担更多的工作，降低对CPU的压力，就像今天很多网卡可以做到的TCP/IP的Off

load。

另一个推荐理由是，该产品是基于用户信息提供安全策略，集中配置和分发执行。这比固化在网卡中要好，更贴合实际的管理运营需要。过去WLAN的安全方案仅仅依赖在网卡上设置WEP、SSID，一方面是管理上不方便，另外一旦网卡丢失，也会带来新的安全隐患。

Seclarity端到端VPN设备

■

关键特性

集中的安全策略设定，提供PC到PC的端到端安全通信能力，利用网卡硬件提供安全通信特性。用户需要安装新的硬件设备。

■

应用领域

对局域网、广域网安全有高要求的用户。

动态网站实训心得

20世纪40年代科学字发明了计算机之后，人们的工作效率大大提高，但是单个计算机能够存储和处理的信息是非常有限的，为了便于信息的传递和处理，人们就把众多的计算机连接起来。

网页制作的心得体会 ----网页制作论文摘要 通过这次个人网页的制作，我对计算机有了更深层次得到了解，也有了更浓厚的兴趣。尤其是对网页制作的过程与一些技巧手法更有了另外一番了解，对网页制作的基础知识也有了一定的掌握。通过把自己的网页上传到互联网上，对文件的保存、上传、下载以及修改等知识有了更牢靠的掌握。通过自己的努力完成了自己上传到网上的第一个作品，那种成就感是无法用语言形容的。所以我觉得这次制作网页我已经达到了自己的目的，而不是单单为了完成作业而已。这是一个完全关于自己的个人网页，既然是介绍自己，就应该让观者在浏览了之后了解自己其人

关键字 页面设计 ASP和数据库

1.一般来说，个人主页的选材要小而精。如果你想制作一个包罗万象的站点，把所有您认为精彩的东西都放在上面，那么往往会事与愿违，给人的感觉是没有主题，没有特色，样样有却样样都很肤浅，因为您不可能有那么多的精力去维护它。注意：网页的最大特点就是更新快。目前最受欢迎的个人主页都是天天更新甚至几小时更新一次。

2.题材最好是你自己擅长或者喜爱的内容。比如：您对诗歌感兴趣，可以放置自己的诗词；对足球感兴趣，可以报道最新的球场战况等等。这样在制作时，才不会觉得无聊或者力不从心。

3.不要太滥或者目标太高。“太滥”是指到处可见，人人都有的题材；“目标太高”是指在这一题材上已经有非常优秀，知名度很高的站点，你要超过它是很困难的。

选定了一个好的题材，是不是可以立刻动手制作了？不，经验告诉我们，必须要先规划框架。这是很重要的一步！每个网站都是一项庞大的工程。好比造高楼，没有设计图纸，规划好结构，盲目的建造，结果往往是倒塌；也好比写文章，构思好提纲，才不至于逻辑混乱，虎头蛇尾。全面仔细规划架构好自己网站，不要急于求成。

规划一个网站，可以用树状结构先把每个页面的内容大纲列出来，尤其当你要制作一个很大的网站 (有很多页面) 的时候，特别需要把这个架构规划好，也要考虑到以后可能的扩充性，免得做好以后又要一改再改整个网站的架构，十分累人，也十分费钱。

大纲列出来后，你还必须考虑每个页面之间的链接关系。是星形，树形，或是网形链接。这也是判别一个网站优劣的重要标志。链接混乱，层次不清的站点会造成浏览困难，影响内容的发挥。

为了提高浏览效率，方便资料的寻找，本站的框架基本采用“蒲公英”式，即所有的主要链接都在首页上，链接的层次不多，深度浅。

框架定下来了，然后开始一步一步有条理，有次序地做来，就胸有成竹得多，也为你的主页将来发展打下良好的基础。

下一步，你可以动手制作具体内容了，我将告诉你一些收集资料的窍门。

题材选定，框架选定，接下来就开始往主页里面填内容。我们称作资料收集

就个人主页而言，很少有人有能力完全靠自己来创作所有的内容。（一些高手能够提供自己编的软件，文章或则音乐，是我非常佩服的！）

大部分人的方法是：从报纸，杂志，光盘等媒体中把相关的资料收集整理，再加上一定的编辑后就可以了。

另外一个好的方法是从网络上收集，您只要到雅虎，搜狐等搜索引擎上查找相应的关键字，就可以找到一大堆的资料。

关于网络架构实验总结和网络搭建实验总结的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。