您当前的位置:首页 > 生活热点 > 正文

升仕310街车版评测,基于横向一致性网络和高质量基准的多光谱车辆重识别

关于【升仕310街车版评测】,今天向乾小编给您分享一下,如果对您有所帮助别忘了关注本站哦。

内容导航:1、升仕310街车版评测:基于横向一致性网络和高质量基准的多光谱车辆重识别2、升仕310街车版评测,这台售价2.38万超高配置的国产街车

1、升仕310街车版评测:基于横向一致性网络和高质量基准的多光谱车辆重识别

论文题目:

Multi-spectral Vehicle Re-identification with Cross-directional Consistency Network and A High-quality Benchmark

论文地址:

https://arxiv.org/abs/2208.00632

摘要

为了应对复杂照明环境和多样场景下车辆再识别(Re-ID)的挑战,考虑了可见光和红外信息等多光谱源之间的良好互补优势,然而,多光谱车辆Re-ID由于不同模态的异质性导致了交叉模态的差异,同时也面临着每个身份在不同视角下的不同外观的巨大挑战,同时,不同的环境干扰导致各模态样本分布差异较大,在这项工作中,我们提出了一种新的跨方向一致性网络,以同时克服从模态和样本两个方面的差异,特别地,我们设计了一个新的跨方向中心损失,将每个单位的模态中心拉得更近,以缓解跨模态差异,同时将每个单位的样本中心拉得更近,以缓解样本差异。该策略可以生成车辆重识别的判别多光谱特征表示,此外,我们设计了一个自适应层归一化单元,动态调整个体特征分布,以处理模态内特征的分布差异,实现鲁棒学习,为了提供一个全面的评估平台,我们创建了一个高质量的RGB-NIR-TIR多光谱车辆Re-ID基准(MSVR310),包括从广泛的视角、时间跨度和环境复杂性来看的310辆不同的车辆,在创建数据集和公共数据集上的综合实验证明了所提出的方法与目前最先进的方法相比的有效性。

1 介绍

车辆再识别(Re-ID)旨在从跨摄像头库中搜索具有相同身份的给定车辆图像,由于视频监控、智慧城市、智能交通等广泛的现实应用,随着综合研究和公开大规模数据集的出现,车Re-ID得到了越来越多的关注和快速发展。然而,现有的大多数研究仅针对可见光图像,在复杂光照环境和极端天气条件下存在成像缺陷,无法满足全天候、全天候的现实监控需求。由于可见光(RGB)、近红外(NIR)和热红外(TIR)光源在不利的照明条件和环境中具有很强的互补优势。RGB-NIR-TIR多光谱视觉任务,如跟踪人Re-ID和显著性检测等,是机器学习和计算机视觉领域的研究热点。最近,Li等首次启动了多光谱车辆Re-ID任务,他们首先提出了一种基线多光谱车辆Re-ID方法异构协作感知多流卷积网络(HAMNet),该网络利用多光谱特征与类感知权重融合,同时,他们首先向多光谱车辆Re-ID社区提供了rgbnt300和RGBNT100两个基准数据集,需要说明的是,与传统的车辆Re-ID数据集以单幅图像为样本不同,这两个多光谱数据集以图像对(RGBN300中的RGB-NIR)或图像三元组(RGB-NIR-TIR)为样本。

为了避免混淆,我们在本文的其余部分使用概念样本来强调多模态Re-ID图像与传统单模态图像的区别,尽管有开创性的贡献,多光谱车辆Re-ID仍有三个主要问题有待解决。

首先,不同成像条件引起的样本差异以及与异质模态间隙的模态差异限制了类内紧度的学习能力,提出了由样本中心损失和模态中心损失组成的跨方向中心损失LCdC,从多模态角度解决样本和模态差异问题。一方面,在复杂的环境干扰下,仅凭某一频谱数据很难区分身份,而模态差距则显著地直接干扰了不同模态的利用,为了在利用模态间信息一致的优点的同时减少异构间隙,我们提出通过引入模态中心损失LCdCM,在一个小批量封闭中强制来自不同模态的具有相同ID的图像的中心,如图1 (b)所示,这样可以直观地强制模态一致性,减少某一模态图像造成的干扰,另一方面,虽然样本关系在RGB和跨模态检索任务中得到了广泛的关注,通过三重态损失,中心损失,跨模态约束,但它们并不适合互补和异构的多模态图像。

升仕310街车版评测,基于横向一致性网络和高质量基准的多光谱车辆重识别

光照挑战引起的严重环境干扰在多模态数据中普遍存在,在这种情况下,某一模态的某一图像在受到极端环境干扰时可能是不可靠的,并且容易在成对度量过程中引入异常关系,因此,为了从互补的多模态图像中学习到更鲁棒的特征,我们在本文中提出了一个样本中心损失,将每个具有相同身份的三元组(RGB-NIR-TIR)样本的中心拉到一个小批量close中,如图1 (c)所示。通过在统一的深度学习框架下,以交叉方向的方式联合优化样本中心损失和模态中心损失(如图2),同时降低了类内样本差异和跨模态异质性,如图1所示。

升仕310街车版评测,基于横向一致性网络和高质量基准的多光谱车辆重识别

其次,由于不同的环境干扰,单模态特征的分布变化较大,如图3所示,这增加了CNN鲁棒特征学习的难度,进一步影响了类内身份一致性学习,为了减少模态内分布变化的干扰,我们设计了一个简单而有效的模块,称为自适应层归一化单元(ALNU),与现有的BN、IN、GN等归一化操作不同,ALNU将每个输入特征视为一个整体,在调整分布时保留原始信息,不改变特征中跨通道的关系,与传统的不改变信道间关系的层归一化(LN)相比,我们的ALNU通过引入额外的卷积层和池化层,根据原始输入自适应地学习增益和偏差因子,因此更加灵活,具体而言,我们将ALNU集成到网络的所有分支中,极大地提高了多光谱目标表示的判别能力,从而进一步提高了多光谱车辆Re-ID的性能。

升仕310街车版评测,基于横向一致性网络和高质量基准的多光谱车辆重识别

第三,现有多光谱车辆Re-ID数据集RGBN300和RGBNT100的多样性有限,为了在多光谱车辆Re-ID中提供更全面的评估平台,我们创建了一个名为MSVR310的高质量图像基准数据集,与RGBNT100数据集相比,我们的MSVR310有以下两个优点。

时间跨度更长MSVR310的收集时间相对较长(超过40天),得益于长时间跨度,MSVR310收集的数据具有各种环境条件,如各种光照、遮挡和天气,它有效地增加了数据集的多样性。此外,我们还根据样本随时间的采集顺序标注了样本的时间标签,这些标签可用于改进多光谱车辆Re-ID的实验评价。

更合理的协议虽然最先进的方法禁止匹配来自同一相机的样本,如Market1501 , VeRi-776,或相同的视点,如RGBNT100, RGBN300,以避免容易匹配,但由于同一车辆可能出现在同一相机或不同时间跨度的同一视点,这是不够真实的,因此,我们提出以更合理的标签时间跨度代替摄像机/视点作为新协议,防止环境、噪声等与身份无关的相似信息造成的容易匹配。图4显示了相同时间跨度的RGBNT100中容易匹配的问题,即使视点不同,由于图像内容的高度相似性,具有相同身份和时间标签的车辆也很容易被区分出来。

升仕310街车版评测,基于横向一致性网络和高质量基准的多光谱车辆重识别

总之,我们提出了一个端到端的跨方向一致性网络(CCNet),以同时克服模态和样本差异,并提出了一种新的多光谱车辆Re-ID数据集MSVR310,该数据集具有不同的插图干扰和丰富的视图变化,协议更加合理,本文的贡献可以概括为以下几点。

•我们提出了一种新的基于跨方向中心损失的跨方向一致性网络,以同时解决多光谱车辆Re-ID中由于不同模态的异构属性引起的跨模态差异以及由于不同视角和不利光照条件引起的类内外观差异问题。

•我们提出了一个自适应层归一化单元来动态调整模态内特征分布,我们将该单元集成到我们网络的所有分支中,以帮助减少模态内分布变化的干扰。

•我们创建了一个高质量的基准数据集MSVR310,包括从广泛的视角、时间跨度和环境复杂性来看的310辆不同的车辆,该基准将为推动多光谱车辆Re-ID的研发提供一个综合评价平台。

•在我们的数据集MSVR310和公共数据集RGBNT100上的综合实验验证了我们的方法与几种最先进的多光谱车辆Re-ID方法相比的优越性能,我们还进行了一个随机模态缺失实验,以证明CCNet在面对模态缺失问题时的鲁棒性。

2相关工作

简要回顾了车辆再识别、跨型态人再识别和多型态人再识别的相关研究。

A. 车辆重识别

近年来,随着车辆再识别任务的快速发展,车辆再识别得到了越来越多的关注,Liu等提出了一个名为VeRi-776的数据集,该数据集使用车牌和时空标签等多种信息,采用由粗到细的渐进搜索框架,Liu等发布了另一个大规模车辆Re-ID数据集V ehicleID,并构建了距离相关方法。部分作品在利用正常视觉特征的基础上,引入时空信息,提供更严格的约束,VANet提出了一种度量损失函数,通过对视点相同或不相同的车辆图像对进行不同处理来获得更好的距离测量。Khorramshahi等引入关键点信息,利用自适应注意进行车辆识别,利用语义分割将特征在车辆中分割成具有相应区域的不同部分,然后采用部分对齐的度量方法来更精确地测量图像对的距离,最近,更多大规模和具有挑战性的车辆数据集发布,如VERI-Wild和CityFlow,除了真实数据之外,通过图形引擎构建的合成数据集也为学习提供了任意的环境,但上述方法均采用单一的RGB模式,难以满足长时间全天候全天候监测的需求。

B.跨型态的人重识别

为了解决基于rgb的人Re-ID的光照限制,Wu等人提出了第一个rgb-红外交叉模度基准SYSU-MM01和深度零填充网络,RegDB也是一个广泛使用的跨模态数据集,由双摄像头系统收集成对的可见图像和热图像,Ye等提出了一种具有三重损失的双流网络来约束交叉模态图像的相似性,设计了一种有效损失,通过约束模态的类内中心距离来监督网络学习模态不变特征,Ye等提出了一种双向中心约束损失,以同时处理跨模态和模态内变化。Wang等引入了一种生成模型,将图像转换为相反的模态以获得像素级对齐,并使用联合鉴别器进行特征级约束以推动网络产生鉴别特征。

Li等引入了一种辅助的中间模态,以减少模态之间的差距,Lu等提出了一种新的跨模态共享特定特征传输算法,以探索模态共享和模态特定信息,然而,由于在模态中缺乏真实的对齐配对图像,跨模态的人重新识别中的异构问题仍然是一个关键的挑战。

C.多模态人再识别

与红外图像类似,深度图像不受光照变化的影响,可以反映目标的形状和距离信息,Barbosa等首先提出了RGB-D人Re-ID与对应的数据集PAVIS。Mgelmose等将RGB、深度和热数据三种不同信息组合在一个联合分类器中,首次将RGB、深度和热源应用于人的Re-ID。Munaro等人收集了一个名为BIWI的RGB-D数据集,具有50个身份和多个数据源。Wu等利用深度数据提供更多不变的体型和骨骼信息,克服光照和颜色的变化,提出了一种新的跨模态蒸馏网络,用于在相似结构特征等模态之间传递监督,并对公共特征空间进行判别映射,然而,深度信息难以在室外开放环境中得到充分利用,这严重限制了深度信息在该任务中的应用。

为了提供一种鲁棒的克服环境干扰的解决方案,Li等首次推出了多光谱车辆Re-ID数据集RGBN300(可见和近红外)和RGBNT100(可见、近红外和热红外),并提出了一种基线方法HAMNet来有效融合多模态信息。Zheng等发布了新的多光谱人Re-ID数据集RGBNT201,以及用于多模态融合的渐进式融合网络,虽然这两项工作首先启动了RGB-NI-TI多光谱Re-ID任务,并分别为车辆和人员Re-ID提供了两种基准数据集和基线方法,但如何有效融合互补但异构的信息仍然是一个很大的挑战。

3 横向一致性网络

为了充分利用多光谱数据的一致性并减小数据间的差异,提出了一种具有横向中心损失和自适应层归一化单元的鲁棒多光谱车辆重识别方法,即交叉方向一致性网络(CCNet)。

如图所示,CCNet是一个多分支结构,有三个等效分支,目的是提取每个单一光谱数据的特定特征,给定一个具有多个模态的样本,我们将图像从每个光谱发送到相应的分支,而不共享参数,在每个分支中,在中间集成一个单独的ALNU (adaptive layer normalization unit)模块来修改特征分布,对于训练小批量的输入图像,将其特征根据身份划分为不同的组,然后引入横向中心损失,同时缓解了多光谱车辆Re-ID的类内外观差异和交叉模态差异,每个分支在交叉熵损失的监督下进行预测,学习与身份相关的特征。

在这项工作中,我们使用D = {Ii | 1≤i≤N}表示整个数据集,其中N是单位大小,Ii = {Si,n | 1≤n≤Ni}表示属于第i个车辆的样本集,其中Ni为车辆Ii的样本号,Si,n = {xmi,n | 1≤m≤m}给出了Ii和xmi中第n个样本的图像集,n是样本Si,n中第m个模态的单幅图像,在本工作中,M = 3,我们可以简单地以三联体形式样本Si,n = (x1i,n, x2i,n, x3i,n)分别表示来自RGB、NIR和TIR模态的图像,我们使用Branchmk将分支的第k个部分给CCNet中的第m个模态,那么,图像xmi,n的正演过程可以表述为:

升仕310街车版评测,基于横向一致性网络和高质量基准的多光谱车辆重识别

A.自适应层规范化单元

尽管多模态Re-ID存在多种环境干扰和较大的外观差距,但其特征分布仍然复杂,如图3所示,模态内特征的均值和标准差分布范围很广,即使是来自同一模态的相同身份的图像,这进一步影响了类内身份一致性学习,ALNU模块通过对每个输入特征进行归一化,动态调整分布,试图减轻分布变化过大带来的干扰,一方面,该操作减少了模态内特征分布的差异,有助于提取更鲁棒的CNN特征,另一方面,对于分布差距较大的模态内图像,不考虑身份,很难准确地评估相似度,减小这一差异有助于提高多光谱车辆Re-ID任务中模态内图像对最终相似度比较的有效性。

给定一个输入图像xmi,,我们在发送到ALNU之前获取它的中间特征为:

升仕310街车版评测,基于横向一致性网络和高质量基准的多光谱车辆重识别

其中∈是一个较小的值,以避免除零,每个ALNU模块包含两个自适应学习块(ALBγ和ALBβ),每个块由两个卷积层、两个并行池化层、另一个卷积层和一个Sigmoid激活函数堆叠,ALNU根据原始输入fmid,通过两个自适应学习块动态获取两个额外的标量,进一步调整归一化特征fmid的分布,这个过程可以表述为:

升仕310街车版评测,基于横向一致性网络和高质量基准的多光谱车辆重识别

与BN、IN等常规归一化操作在信道层次上调整原始特征分布相比,ALNU模块在不破坏内部信道之间关系的前提下对单个特征进行处理,避免了原始特征分布发生明显变化。

与LN强制特征在评估时遵循相同的均值和方差相比,我们的ALNU从原始输入特征中学习增益和偏差因子γ和β,自适应地调整分布,与BN、LN、GN等常规归一化操作帮助模型更容易、更快地学习不同,ALNU主要关注特征的模态内分布变化,这与特征的同一性无关,增加了鲁棒特征学习的难度。一方面,ALNU自适应地修改了模态内特征的分布,减少了环境干扰造成的差异,进一步减轻了身份相关信息学习的干扰,另一方面,ALNU自适应学习每个特征的增益和偏差因子,从而实现更灵活的调整,而不是强制所有特征遵循相同的均值和方差。

B.横向中心损失

与单光谱数据相比,多光谱数据包含的信息更多,但在车辆ReID数据中面临的挑战更大,挑战主要可以从样本差异和模态差异两个方面来总结,对于样本差异,需要对样本进行合适的表示,以满足多模态数据的形式。

同时,必须考虑多模态数据中某一模态中普遍存在的坏情况,对于模态差异,模态之间的异构差距阻碍了对多模态数据的直接利用,我们提出了跨方向中心损失LCdC来处理上述差异,并在多光谱车辆重识别中挖掘更好的身份特征。

在训练过程中,我们在每个小批中随机选择P个带有K个样本的身份,形成总共M × K × P个图像,然后,设Fi = {fmi,k | 1≤m≤m, 1≤k≤k}表示训练小批中属于第i个单位的最终特征,Fi中第k个样本的几何样本中心可表示为:

升仕310街车版评测,基于横向一致性网络和高质量基准的多光谱车辆重识别

更直观的演示如图2所示。LCdC相对于fmi,k的梯度可解为(由于LCdC只涉及类内关系,我们简单忽略下面的i):

升仕310街车版评测,基于横向一致性网络和高质量基准的多光谱车辆重识别

因此,LCdC对fmk的最终优化强度线性依赖于其对应的样本中心CSk、模态中心CmM和全局恒等中心¯f,样本(模态)内的类内特征沿样本(模态)方向梯度相同,此外,LCdC相对于fmk的梯度与fmk本身没有直接关系,当fmk对应于某种模态的坏情况时,LCdC的梯度并不敏感,在本文中,K和P分别设为4和8。

如式(12)所示,沿样本方向和模态方向梯度的最终因子不同(分别为1/M(K−1)和1 /K(M−1)),因此,我们引入一个超参数α来平衡它们,LCdC的最终公式定义为:

升仕310街车版评测,基于横向一致性网络和高质量基准的多光谱车辆重识别

交叉方向中心损失LCdC的重点是优化样本方向和模态方向上的类内关系,为了提高类间学习的判别能力,我们进一步引入了交叉熵损失Lce。全损定义为:

升仕310街车版评测,基于横向一致性网络和高质量基准的多光谱车辆重识别

其中因子λ是一个超参数,用于平衡组件的重要性,在我们的实验中,根据超参数分析的实验,λ和α分别设为0.3和0.6。

4 MSVR310 BENCHMARK

在这项工作中,我们发布了一个名为MSVR310的多光谱车辆重识别数据集

A. Imaging Platform

在MSVR310中,为每个样本捕获三种不同的光谱形态,RGB, NIR和TIR,RGB图像由两台设备拍摄,一台360 D866相机用于白天,一台Mi8手机相机用于夜间,所有近红外图像均由360 D866相机拍摄,可切换到近红外模式,TIR图像采集设备为FLIR SC620,其中包含一个分辨率为640 × 480的热红外摄像机。

对于我们数据集中的每个样本,它都是由分别来自RGB、NIR和TIR的三张图像构成的三元组,我们手动为原始捕获图像中的目标选择边界框。

B. Data Setting and Statistics

我们的数据集包含来自310辆汽车的2087个样本,每个样本是一个三元组,这导致我们的数据集中总共有6261张图像,每辆车的图像样本数量从2到20不等,我们随机选取155辆1032个样本作为训练集,其余155辆1055个样本作为库集,我们从图库集中随机选取52辆591个样本作为查询集,每个查询标识至少用不同的时间标签捕获两次,以支持跨时间匹配。数据分布如图5所示。

升仕310街车版评测,基于横向一致性网络和高质量基准的多光谱车辆重识别

根据数据的收集顺序,我们用时间标签标注数据,图6展示了捕获时间的分布,图7展示了MSVR310中四辆车沿时间标签的一些示例图像,每辆车都出现在各种复杂的干扰条件下,如反射、阴影、颜色失真等。因此,在MSVR310中,某一模态的坏例普遍存在,类内外观差异非常显著,在现有作品中,出现这种程度的照明扰动是相当罕见的,然而,这些干扰在不同的模态下表现不同,而跨模态数据在对抗干扰的内容上是互补的,这就要求更好地利用多光谱数据。

升仕310街车版评测,基于横向一致性网络和高质量基准的多光谱车辆重识别

升仕310街车版评测,基于横向一致性网络和高质量基准的多光谱车辆重识别

C.与以往工作的不同

Li等首先提出了两个基准的多光谱车辆Re-ID数据集RGBN300和RGBNT100,如表1所示,首先,虽然RGBN300和RGBNT100包含的图像比MSVR310多得多,但它实际上是从2070个短视频中收集的(每种模态690个视频),这导致了一群相似的帧。我们通过捕捉高质量的图像而不是视频,在各种环境中构建MSVR310,例如光照、遮挡和天气的大变化,其次,MSVR310的收集跨越了很长的时间跨度,这导致了各种环境和车辆的丰富收集。这大大增加了数据集的多样性和难度,第三,在RGBN300和RGBNT100中,虽然相同身份和相同观点的样本之间不允许匹配,但样本之间的环境相似性容易导致匹配,相反,MSVR310引入了时间标签,以避免容易匹配。MSVR310禁止相同身份、相同时间标签的样本之间进行匹配,如图4所示,该协议有效地解决了容易匹配的问题,并提供了更可靠的评估。

升仕310街车版评测,基于横向一致性网络和高质量基准的多光谱车辆重识别

5 实验

A.数据集和评估指标

为了评估CCNet在我们提出的多光谱车辆Re-ID数据集和公共数据集上的有效性,我们在本节中提供了综合的实验结果,目前只有一个公开的RGB-NIR-TIR图像数据集RGBNT100用于评价多光谱车辆Re-ID方法,因此,我们在MSVR310和RGBNT100上按照各自的评估协议进行实验。

为了保证实验评价的公平性,我们采用常用的累积匹配特征曲线(CMC)和平均平均精度(mAP)进行评价,CMC评分反映了检索精度,其中Rank−1,Rank−5,Rank−10评分在我们的实验中被报道,mAP测量所有平均精度查询的平均值(precision Recall曲线下的面积),综合反映了召回率和精度。

B.实施细节

我们使用了一个强基线BoT,它是由ImageNet上预训练的ResNet50修改而来的,作为我们的骨干,实现平台是Pytorch 1.0.1和一个NVIDIA GTX 1080Ti GPU。我们使用Adam优化器优化我们的网络,初始学习率为3.5×10−4,在总共1200个epoch的第300个epoch和第550个epoch分别衰减为3.5×10−5和3.5×10−6,在训练过程中,将输入图像大小调整为128 × 256,并采用随机裁剪、水平翻转和随机擦除等数据增强方法。

我们随机选择8个身份,每个身份分别提供4个样本(12张图像)作为每个训练小批的训练样本,在评估中,我们将从三个平行分支中BNNeck之后提取的特征连接起来,作为样本在没有额外指令的情况下的最终表示。

C. MSVR310数据集评估

我们首先评估我们的CCNet与MSVR310数据集上的ResNet50的比较,如表II所述,为了公平起见,我们使用来自BoT的ResNet50的相同实现进行比较,该实现与CCNet的主干相同。

具体来说,ResNet50的结果是由三个独立的ResNet50组成的多分支网络实现的,其中每个分支处理来自特定模态的数据,多模态分支是独立的,不与其他分支交互,而CCNet在训练阶段同时利用多光谱数据,从而获得更好的性能,表II中的R、N、T表示测试阶段与相应频谱距离计算所使用的特征,请注意,我们在训练阶段使用所有三种模态数据。

升仕310街车版评测,基于横向一致性网络和高质量基准的多光谱车辆重识别

从表II中我们可以看到,i)首先,由于MSVR310数据集上光照环境复杂,单个光谱的性能都不理想,一般来说,RGB和NIR都提供了相当可靠的外观,因此与TIR相比,性能要好得多 ii)两种频谱场景显著提高了所有指标,而三种频谱场景进一步提高了ResNet50和CCNet的性能,这有力地证明了引入的多光谱数据的有效性,iii)我们的CCNet较ResNet50有较大优势,而CCNet与ResNet50的网络结构差异有限,这强烈地表明了我们的差异缓解设计的正确性和提出的CdC损失和ALNU模块的有效性。

D.不同骨干的评估

为了验证我们方法的通用性,我们将CCNet集成到三个骨干中,包括MobileNetV2, SENet和InceptionV3,如表III所示,在集成我们的框架后,所有三个主干都实现了显著的改进,这表明我们的方法具有通用性。

升仕310街车版评测,基于横向一致性网络和高质量基准的多光谱车辆重识别

E. Comparison with State-of-the-art Methods

为了验证我们方法的有效性,我们将DMML、Circle loss、PCB、MGN、Strong Baseline、HRCN、OSNet、AGW和TransReID等9种最先进的单模态Re-ID方法扩展到多模态版本进行比较,最后,我们将CCNet与多光谱车辆重识别方法HAMNet和多光谱人重识别方法PFNet进行了比较,具体来说,我们分别在多个光谱数据上训练单模态方法,然后将同一样本的模态的最终特征连接为最终表示,这些方法的实验比较如表IV所示。

升仕310街车版评测,基于横向一致性网络和高质量基准的多光谱车辆重识别

首先,所有方法在MSVR310上的表现都比RGBNT100差得多,这是由于所提出的MSVR310数据集和我们的评估协议的巨大挑战,该评估协议过滤了具有相同时间标签的简单阳性样本造成的简单匹配,在两个RGBNIR-TIR车辆Re-ID基准测试中,CCNet都以较大的优势击败了几乎所有的比较方法,特别是在MSVR310上,这有力地证明了我们方法的有效性。

其次,HAMNet作为第一个基线多光谱车辆Re-ID方法,其网络结构简单,在三个基准数据集上均有较好的性能,证明了其在多光谱特征学习方面的有效性,PFNet是首个多光谱人Re-ID的工作,而局部特征分离似乎更适合人数据而不是车辆数据。

F 消融研究与可视化

为了验证模型中提出的组件的贡献,我们在MSVR310数据集上实施了几种CCNet变体的消融研究,如表v所述,注意,LCdC−S、LCdC−M和自适应层归一化单元(ALNU)都在我们的基线基础上做出了积极的改进,这证明了相应模块的贡献。

升仕310街车版评测,基于横向一致性网络和高质量基准的多光谱车辆重识别

我们通过比较两种传统的归一化操作实例归一化(IN)和层归一化(LN),验证了我们的ALNU模块的贡献,如表VI所示。IN通过直接在通道级对实例特征进行归一化,广泛应用于图像风格传输,LN和ALNU都将每个特征视为一个整体进行归一化,但LN严格要求所有特征遵循相同的均值和方差,而我们的ALNU动态学习增益和偏差因素,这对复杂数据更合理。我们还通过比较两种广泛使用的中心型损耗,中心损耗和HC损耗来验证我们的CdC损耗的贡献,如表VI所示,HC损耗和中心损耗都是基于与我们的基线设置相同的ResNet50实现的,我们实现了中心损失,将身份内的特征拉近,而不考虑模态,并通过HC损失来减少身份内的情态差距。

升仕310街车版评测,基于横向一致性网络和高质量基准的多光谱车辆重识别

然而,中心损失不能很好地处理来自某一模态的普遍存在的坏情况,而HC损失忽略了多模态情况下类内样本之间的差异,中心损失和HC损失都被我们的CdC损失所掩盖,CdC损失同时从模态和样本两个方面限制了类内关系,这证明了CdC损失在多光谱车辆重新识别任务中的有效性和鲁棒性。

图8展示了有和没有LCdC训练的网络的特征分布对比,在没有LCdC的训练中,不同模式的特征是混合的,很难用身份标签来区分,引入LCdC后,可以约束来自相同身份的不同模态的特征,使其在样本和光谱水平上都具有更强的一致性,具有不同身份的相同模态图像可以更好地区分。

升仕310街车版评测,基于横向一致性网络和高质量基准的多光谱车辆重识别

图9为引入ALNU后的多模态特征分布,与图3相比,ALNU推动特征以相似的均值和标准差分布,减少分布变化。

升仕310街车版评测,基于横向一致性网络和高质量基准的多光谱车辆重识别

G.随机模态缺失的评估

为了验证所提出的方法和数据集在不同真实场景中的通用性,我们进一步评估了CCNet在处理缺失模态问题方面的能力。

具体来说,我们调整测试集中具有一定比例缺失模态的样本进行评估,该比值表示样本中部分(一/两个模态比例相等)模态缺失的概率,为了克服模态缺失导致的样本特征不对中,我们使用现有模态/模态的几何中心作为样本的最终表示。

在没有模态缺失的正常情况下,CCNet为样本Si,k提取一个最终表示fi,k(第k个样本用于第i个身份),其中fi,k是对应模态特征的三重组,为了处理模态缺失的情况,我们为fi,k生成一个二元三重态掩码Ti,k,来表示对应的模态是否缺失,那么,试件的几何中心可表示为:

升仕310街车版评测,基于横向一致性网络和高质量基准的多光谱车辆重识别

我们与代表性的多模态Re-ID方法HAMNet和最先进的单模态Re-ID方法OSNet进行了比较,评估了该方法处理模态缺失的稳定性,所有试验均基于10次随机试验的平均值进行评价。图10显示了与部分模态缺失样本比例的比较性能,一般来说,CCNet的性能一直优于HAMNet和OSNet,即使所有样本都出现模态缺失(当缺失率为100%时),CCNet仍能获得具有竞争力的性能,与HAMNet和OSNet在低缺失率时的结果相当,这验证了我们的方法在处理模态缺失时的稳定性,同时,随着缺失率的增加,各指标均呈下降趋势,尤其是mAP和Rank-1,说明多模态资源互补信息的重要性。

升仕310街车版评测,基于横向一致性网络和高质量基准的多光谱车辆重识别

OSNet作为一种最先进的单模态Re-ID方法,其下降速度远远快于HAMNet和CCNet两种多模态方法,这表明两种多模态方法融合多模态信息在处理模态缺失问题上具有优势。

H.超参数分析

我们的方法中有两个超参数,即式(16)中的λ,它控制了CdC损失在总损失中的重要性;式(15)中的α,它平衡了CdC损失中沿样本方向和模态方向的梯度强度。较大的λ可能会影响Lce提供的类间辨别能力,较大的α可能会打破LCdC−M和LCdC−S之间的平衡,因此,我们将λ和α变化在0.1和1.0之间进行分析,这两个超参数的不同值分析见表VII,很明显,我们的方法在λ设置为0.3时达到最大值,而对α不敏感,我们将λ和α固定为0.3和0.6,以便在我们的方法中获得最佳性能。

升仕310街车版评测,基于横向一致性网络和高质量基准的多光谱车辆重识别

6 结论

在这项工作中,我们提出了一种新的端到端训练卷积网络,名为CCNet,用于鲁棒多光谱车辆重新识别,CCNet包含了一种新的跨方向中心损失,同时克服了跨模态差异和类内个体差异的问题。

同时,设计了一个简单而有效的模块—自适应层归一化单元,嵌入到CCNet中,以缓解类内特征的分布变化,实现鲁棒特征学习,在此基础上,我们创建了一个具有多种条件和合理评估协议的高质量基准数据集MSVR310,在我们的基准数据集MSVR310和公共RGB-NIRTIR数据集RGBNT100上的综合实验验证了我们CCNet的优越性能和所提出的基准数据集的研究价值。

2、升仕310街车版评测,这台售价2.38万超高配置的国产街车

1、外形篇

升仕310街车版评测,基于横向一致性网络和高质量基准的多光谱车辆重识别

很多人关注升仕310系列产品,着重的都是冲着高配置的旅行版车型去的,为什么小编今天要先聊街车版车型?那是因为当街车版和旅行版两款实车真正放在你面前时,更加能够让你感觉到攻击性和肌肉感的绝对是街车版车型。

升仕310街车版评测,基于横向一致性网络和高质量基准的多光谱车辆重识别

车身采用了街车常见的俯冲式设计,后尾部略微上翘,前面部微微下倾,配合油箱及两侧护翼部分的肌肉造型,显得非常有进攻气质。

升仕310街车版评测,基于横向一致性网络和高质量基准的多光谱车辆重识别

车头部分的设计相对于之前的250车型来看,进化的更加时尚,车头外形尺寸以及安置的下沉角度上和整车比例控制的恰到好处,给人一种蓄势待发的氛围营造。

2、灯光篇

升仕310街车版评测,基于横向一致性网络和高质量基准的多光谱车辆重识别

升仕310街车版评测,基于横向一致性网络和高质量基准的多光谱车辆重识别

主大灯为单灯透镜设计,包括全车各类灯具,都采用了时下主流的LED灯源。

主大灯灯光远近光控制的非常好,点亮以后远近切线非常明显。

车头采用了开眼角设计,眼角部分实为高亮LED日行灯设计,车辆启动点亮后光照度非常好。

升仕310街车版评测,基于横向一致性网络和高质量基准的多光谱车辆重识别

升仕310街车版评测,基于横向一致性网络和高质量基准的多光谱车辆重识别

尾灯的设计绝对是该车的一大亮点,采用长条LED灯带布局,当刹车灯点亮时,尾部所发出的红光加上映射到后牌照支架上的光反绝对的时尚抢眼,这种灯光布局绝对的很有档次。相信晚上驾驶该车出行,单单一个尾灯所营造出的时尚科技感就会引来众多关注的目光。

3、基础细节篇

升仕310街车版评测,基于横向一致性网络和高质量基准的多光谱车辆重识别

升仕310街车版评测,基于横向一致性网络和高质量基准的多光谱车辆重识别

细节部分我们可以先看一看手柄部分,手柄外形以及材料依旧采用了250车型上非常成熟的同款配置,本次310系列车型对于车身大部分的连接处都采用了软连接处理,也就是在各部件的结合处还有一层橡胶缓冲,因此当你在接触到实车时会让你感觉到手柄部分会有非常轻微的晃动,不要怀疑这是装配的不严谨,这就是软连接的触感,可以有效的过滤来自于车身的振动。

升仕310街车版评测,基于横向一致性网络和高质量基准的多光谱车辆重识别

车辆自带原厂防摔支架,并且厂家目前已经开发出可以搭载夏德边箱的边箱支架,后续还会有原厂边箱可以选配。

升仕310街车版评测,基于横向一致性网络和高质量基准的多光谱车辆重识别

左手柄按键上集成了ABS开关和油箱开关

升仕310街车版评测,基于横向一致性网络和高质量基准的多光谱车辆重识别

按键部分与之前的250车型相比,进化的显得复杂很多,整体外形布局和时下大部分国产车都不一样,该按键部分的为升仕厂自行设计开模生产,因此能够更有效的控制好品控,可以最大限度的避免按键失灵状态的出现,按键部分的一大亮点就是具有自发光功能,夜间骑行时可以营造不错的灯光氛围,但凡玩车的去控制手柄按键绝对都是盲按的,因此此功能你就把它当成是一个氛围灯就好了。

升仕310街车版评测,基于横向一致性网络和高质量基准的多光谱车辆重识别

升仕310街车版评测,基于横向一致性网络和高质量基准的多光谱车辆重识别

油箱部分,箱体为合金一体成型压制,其耐用性和轻量化程度上都要优于普通金属材料油箱,油箱盖设计是隐藏在油箱外罩中,不会显得特别的突兀,需要通过按键手柄控制开启。

升仕310街车版评测,基于横向一致性网络和高质量基准的多光谱车辆重识别

坐垫为一体化设计,整体舒适度不错,外形也比较时尚,脱离了国产车坐垫一贯的山寨感。

升仕310街车版评测,基于横向一致性网络和高质量基准的多光谱车辆重识别

后平叉部分相信关注该车的车友早就已经耳熟能详了,从幽灵250升级版开始,升仕就使用了自行研发生产的合金轻量化后平差,借鉴了KTM的经典设计,整体做工相当的精细,具有非常好的任性支持,并且给人的视觉效果绝对的档次感悠然提升。

4、电子配置篇

在同等排量和同等价格区间的国产车序列里,升仕310街车版的电子配备无疑是最丰富的,标配博士9.1的ABS防抱死系统,无钥匙启动、双模式动力输出一应俱全,并且量产车型还会标配有GPS系统增强防盗。

升仕310街车版评测,基于横向一致性网络和高质量基准的多光谱车辆重识别

电子钥匙

升仕310街车版评测,基于横向一致性网络和高质量基准的多光谱车辆重识别

用惯了普通钥匙启动的车友们,刚接触这款具有无钥匙启动的车型时,真的需要适应一番。钥匙装载身上,距离车身1.5米处就进入了启动车辆的有效范围,这是只需要按下电源开关,仪表点亮后,即可启动车辆。届时你也可以像宝马水鸟车主一样直接把这个电子钥匙挂在脖子上就好了,“妈妈再也不担心我丢钥匙了”。

升仕310街车版评测,基于横向一致性网络和高质量基准的多光谱车辆重识别

在之前工厂流出的工程车谍照上面我们可以看到街车版配备有和巡航版车型一致的“大平板”式液晶仪表,当时就觉得非常的不搭调,不过实际的量产车型采用的是“幽灵250”同款,但是重新设计的全液晶仪表,这次总算具备了之前车友诟病的无档显的遗憾。

升仕310街车版评测,基于横向一致性网络和高质量基准的多光谱车辆重识别

前车上三星联版左侧隐藏有一个USB充电口,搭配有有防水外壳,位置安放的非常巧妙,不会影响整车的外观协调,并且免去了车友后期的改装。

5、基础配置篇

该车采用了倒置前叉与后中置氮气单减震的配备,通过目测应该与之前“幽灵250升级版”所搭载的配置相同,后氮气减震为国内一线品牌“川南”。

升仕310街车版评测,基于横向一致性网络和高质量基准的多光谱车辆重识别

制动部分为前单盘双活塞卡钳,后单盘单活塞卡钳,标配有博世9.1ABS防抱死系统。

升仕310街车版评测,基于横向一致性网络和高质量基准的多光谱车辆重识别

车架部分结构设计与幽灵250同样采用了中梁式设计,并没有采用时下大部分厂家极力推崇的钢管编织车架设计,同样也没有采用双环抱式设计,其目的是为了利用车架储油,用车架管代替机油箱,因此焊接细节不用说,非常精致整齐,一看就知道是机器人焊接而非手工可以做到。

升仕310街车版评测,基于横向一致性网络和高质量基准的多光谱车辆重识别

轮胎部分为升仕定制的CST品牌半热熔胎,前110/70,后160/60规格的配置,这个粗壮的后轮尺寸给人的感觉像是超过400cc的大排车辆。

升仕310街车版评测,基于横向一致性网络和高质量基准的多光谱车辆重识别

动力部分关注此车型的车友们一定对其参数非常熟悉了,该车动力系统为排量312ml的双顶置凸轮轴单缸4气门发动机,压缩比达到了恐怖的12.5:1,最大功率26kw/9500rpm,最大扭力30N.m/7500rmp,同样采用了和“幽灵250”相同的无缸套和干式油底壳设计。由于这个恐怖的高压缩比,因此发动机带来的高热量必须有良好的散热,为此该车采用了比较另类的水冷、油冷相结合的散热方式。

升仕310街车版评测,基于横向一致性网络和高质量基准的多光谱车辆重识别

不过发动机部分才是这款车受到争议的最主要的原因,因为网上一直拿这个数据去PK宝马已经在国内上市的G310R,账面数据上确实强过宝马G310R。

6、坐姿偏

新车保持了一贯的街车驾驶坐姿,骑行时身体略微有前倾,整体与GW250很相似,舒适度很好,最小离地间隙为167,照片中车友的身高170cm,坐上去后前脚掌可以着地,因此该车的坐高可以适合绝大多数骑友。

升仕310街车版评测,基于横向一致性网络和高质量基准的多光谱车辆重识别

由于是该车定位为街车款式,从车身外观来看,后座空间显得非常的局促,但是经过我们实测,图片上两个成年男子坐上去完全没有问题,相信如果你后面带着一个窈窕的妹子的话一点问题没有

升仕310街车版评测,基于横向一致性网络和高质量基准的多光谱车辆重识别

7、试驾操控篇

由于是单独开小灶的拿到试骑车辆试驾,因此,对于升仕310系列的车型进行了为期2天的骑行体验,可以初步的说一些感受。

本篇着重还是说街车款车型,旅行版车型可以关注本头条号,下一期进行评测。

前面已经说到,该车定位为街车,因此驾驶姿势略微前倾,短距离一个小时内连续骑行没什么问题,不过长途驾驶的话,前手腕支撑和肩部会比较累。

升仕310街车版评测,基于横向一致性网络和高质量基准的多光谱车辆重识别

动力方面,个人觉得完全可以拿大家熟知的GW250和川崎单缸Z250进行对比,起步提速方面绝对是优于GW250和川崎单缸Z250的,油门响应非常迅速,提速换挡顺畅,档位清晰。

很多人想问这车的发力点在什么区间,这里可以很负责任的告诉你,挡挡都是发力点,只要你给油。动力输出非常的线性,厂家公布的数据显示该车自重为145kg,加上312ml的排量和大功率输出,整体动力绝对是力压GW250的,整个的动力输出是完全可以PK同级别的小黄龙300的。

振动方面,并没有网上所吹嘘的超过GW250的振动控制,实际驾驶中应该非常接近GW250的振动水平,略微比GW250振感大一点,这里强调一下仅仅是一点点,可以忽略不计,一台超过300排量的单缸车可以做出这种振动抑制水平应该说已经非常的不错了,舒适度绝对可以秒杀同为单缸的KTM200和390,主要振动区间来自于4500-5000转之间,主要震感来自有油箱尾部膝盖夹角处以及手把部分,非常轻微绝对不会影响骑行的舒适度。

由于是新车,因此没敢过分的做极限测试,在正常行驶状态下,操控很灵活,接近于川崎Z250,开始担心的中梁式车架会对于操控打折扣,实际驾驶中这种疑虑完全可以忽略,当然如果拿这个车去暴力赛道的话不知道会不会有差别。

大尺寸的半热熔胎抓地力非常不错,喜欢压弯的车友们购入后,如果不做极限赛道式压弯的话,这套轮胎完全够用,无需升级。

重点提一下该车的ABS系统,开启状态下急刹车时介入相应非常灵敏,个人感觉效果与DL250的ABS效果几乎相同,介入时间感觉要更加迅速一些。

还有车友关心的两种模式有什么不同。这么比喻吧,不知道大家开过速腾1.6自动舒适版没有,就像速腾的D档和S档的感觉,普通模式下拧油门的话没有运动模式下拧油门的供油量大,因此,运动模式下就会显得稍微暴力一些。如果你想下等红灯时,绿灯亮时第一个冲出去,那么你就开启运动模式吧。

还有车友们关心的极速情况,单人略微顶风状态下油门全开转速可以直接达到红区满表,看来厂家对于该车没有做出限速,表显极速169km/H,凭经验判断,实际极速应该可以达到160是没问题的。个人多次进行百公里加速测试的最好成绩为6秒。

8、初试小评

外形时尚科幻,实车的视觉效果非常不错,充满肌肉战斗感,整车做工品控非常不错,品控做工这块可以很负责任的说绝对可以和合资车抗衡,以后车友们可以自行进行比对。

升仕310街车版评测,基于横向一致性网络和高质量基准的多光谱车辆重识别

电子配备在国内同排量同价格产品阵营中绝对高端,无钥匙启动是亮点。

动力对得起厂家公布的参数,操控不错,比GW灵活轻巧,ABS效果非常好。

试驾过程中并没有出现网上流传的发动机散热不好问题。

离合手感比较硬,后座带人只能紧抱驾驶员,后扶手部分没有合适的握角。

整体来看厂家公布的23800元的售价绝对对得起该车的整体品质,更何况还有这么多的电子配置。

目前只是对于该车的初试印象,升仕作为国产摩托车阵营里的一匹黑马,迅速赢得车友们的关注也不是没有原因的。着力解决了一般国产车品控做工差、动力弱的几大诟病,让更多的车友看到了国产的进步。当然升仕310系列是不是能够抓住摩友们的心,也不是单单的试驾就能说明问题,毕竟是机械的产品,最终时间和里程才是检验摩托车的唯一标准。

很多车友估计还在关心是不是真的可以干掉宝马G310R,不好意思,我没骑过宝马G310R,我也不知道。但是PK铃木GW250和小黄龙300绝对是无压力的。

可能很多车友会对于小编的说法表示质疑,那么最好的办法就是您可以亲自来试驾一下就什么都明白了,本月的10号,也就是本周日将在合肥宝湾物流中心举办试驾会,届时关注该车的车友们可以亲自体验这款国产精品车。

准备试驾体验的车友,私信小编可以免费获得试驾邀请函哦。

往期经典资讯:

《升仕310系列售价公布,街车版2.38万,旅行版2.48万,正式开卖》

《升仕310拉力版ADV车型和太子车型同步亮相,超高颜值,对标BMW》

《豪爵开始搞事情了,新品150和GW同平台的双缸300水冷街车都现身了》

《现场实拍升仕幽灵250升级版最实用改进,2万内最强250机车的进化》

《升仕幽灵250升级版与各品牌250级别车型现场PK,幽灵250升级版安徽试驾会》

本文关键词:升仕310街车参数,升仕310r街车版,升仕310r摩托车质量怎么样,升仕310这个摩托车怎么样,升仕310x骑行感受。这就是关于《升仕310街车版评测,基于横向一致性网络和高质量基准的多光谱车辆重识别》的所有内容,希望对您能有所帮助!更多的知识请继续关注《犇涌向乾》百科知识网站:http://www.029ztxx.com!


声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,谢谢。

上一篇: 风雪夜归人的上一句是什么(风雪夜归人的上一句是什么选自哪一首诗)

下一篇: 雅加达时差与中国时差(雅加达华人现状)



推荐阅读