域泛化是指在一个新的、未知的领域或环境中，一个模型能够在没有特定的领域或环境知识的情况下进行有效的预测。

域泛化在现实生涯中拥有很高的利用价值。例如，在医疗诊断中，由于医疗数据难以获取，模型必须在分歧的医院、城市或国度之间进行泛化，以便有效地进行诊断；在自动驾驶汽车领域，模型必须可能在各类气象、路况和路路类型等分歧环境下泛化，以实现靠得住的自动驾驶。

因而，域泛化是一个沉要的钻研方向，能够使机械进建模型在更宽泛的现实利用场景中实现更好的机能。

目前，域泛化步骤重要能够分为以下几类：

• 基于数据加强的步骤：该步骤通过对训练数据进行分歧的加强操作，如旋转、平移、缩放等，增长训练数据的多样性，以提高模型的泛化能力
• 基于特点对齐的步骤：该步骤通过对源域和指标域的特点进行对齐，减幼分歧域之间的散布差距，以提高模型的泛化能力
• 基于元进建的步骤：该步骤通过在训练过程中进建若何急剧适应新的领域，以提高模型的泛化能力
• 基于集成进建的步骤：该步骤通过组合多个分歧的模型或训练过程，提高模型的泛化能力

以上所提到的步骤各有曲直，其中重要的缺点蕴含：

• 基于数据加强的步骤可能会导致过拟合，由于加强操作可能会使模型过度关注一些特定的特点
• 基于特点对齐的步骤必要对源域和指标域的数据进行对齐，但在现实利用中，源域和指标域之间的散布差距可能极度大，导致对齐成效欠安
• 基于元进建的步骤必要大量的元训练数据，并且可能会导致过拟合，由于元进建的指标是在训练过程中急剧适应新的领域，而不是在整个训练集上获得最佳机能
• 基于集成进建的步骤必要组合多个模型或训练过程，这可能会导致推算成本较高，并且可能必要更多的训练数据来训练多个模型

在意识到此刻的预适应步骤所存在的问题后，我们以为有必要从一个新的角度去思虑若何更好地解决这个问题。

最近出现的Vision Transformers在视觉领域的各个工作中逐步包办了CNN，成为被宽泛选取的网络结构。因而，我们以为网络结构和泛化性之间可能存在着密不成分的联系。

在机械进建中，综合偏置是指在模型选择和进建算法中使用的先验知识和如果，它们能够援手模型从数据中进建有效的模式，而不仅是记住特定的训练事俘。一个好的综合偏置能够援手模型更快地收敛，更正确地泛化到新数据，以及更好地抵抗过拟合。

分歧的网络结构能够提供分歧的综合偏置、分歧的能力来暗示数据的特点。例如，卷积神经网络（CNN）在图像领域的利用中阐发杰出，是由于CNN结构天生适合处置图像中的部门性和平移不变性。类似地，循环神经网络（RNN）适合处置序列数据，由于它们拥有天然的功夫综合偏置。

目前已经有一些有关工作提出了理论工具[1,2]，用于分析神经网络结构在解决分歧问题时的能力强弱。然而，目前这些分析依然存在于In-distribution learning problem 中，而东升国际官网问题则更关注于Out-of-distribution learning problem。因而，我们对[1]中提出的algorithmic alignment在DG问题上进行了延长分析。

GMoE的泛化能力来自于其内部骨干网络结构，这与现有的DG算法是正交的。这意味着SOTA DG算法能够利用于改进GMoE的机能。

我们同样在限造了基础模型结构的IID机能（ViT-S/16和ResNet-50 V2）基础上，比力这两个模型的DG机能。以下是对比了局，能够看到 ViT-S/16在略输ResNet-50 V2的情况下，依然在DG工作上获得了更好的机能。

以下是GMoE的Expert Selection可视化了局。图像来自于CUB-DG中天然领域的分歧类别。图中分歧色彩的线衔接分歧图像上的统一类别鸟类的视觉属性（Visual Attributes）。统一视觉属性由统一Expert处置，例如嘴和尾巴由Expert 3处置，左/右团咨Expert 4处置。