词向量作为自然语言处理中语义表示的基石，通常分布于低维连续流形上。在正常情况下，它们遵循一定的几何规律，彼此的距离反映着语义的相似度。然而，当对抗攻击的扰动介入，词向量在流形跳跃中长出非欧几何獠牙。原本规则有序的几何结构被打破，词向量仿佛挣脱了既定的语义束缚，开始在空间中无序跳跃。这种非欧几何的变化使得词与词之间的语义关系变得模糊不清，模型难以依据以往的规律进行准确的语义理解和推理。
在当今先进的深度学习领域中，位置编码在transformer架构里占据着举足轻重的地位，堪称整个架构的核心枢纽。transformer架构作为一种强大且广泛应用的神经网络架构，主要处理的是序列数据，例如文本、语音等复杂多样的信息形式。这些序列数据中蕴含着丰富的语义和结构信息，而如何让模型有效捕捉并理解这些信息，成为了关键问题。
位置编码正是解决这一关键问题的核心关键部分。在transformer架构处理序列数据时，由于其架构本身的特性，最初并没有天然地对序列元素的顺序信息进行有效编码。然而，在许多实际应用场景中，序列中各个元素的先后顺序至关重要。例如在文本中，单词的顺序不同会导致句子含义截然不同；在语音中，音符的先后顺序决定了其表达的旋律。
位置编码的巧妙之处就在于，它能够以一种独特的方式将序列中各个元素的位置信息融入模型之中。通过精心设计的算法和数学模型，位置编码为每个位置生成特定的向量表示，这些向量携带着位置的关键信息。当序列数据进入transformer架构时，位置编码向量与序列元素的特征向量相结合，使得模型在处理每个元素时，不仅能够考虑元素本身的特征，还能充分利用其位置信息。
这种将位置信息融入模型的方式具有极其重要的意义，它就像是给模型装上了一双“慧眼”，让模型能够清晰地分辨出不同位置上的元素。这双“慧眼”使得模型能够更加敏锐地捕捉到序列中的长距离依赖关系和语义信息，就如同在黑暗中点亮了一盏明灯，照亮了模型前进的道路。
以文本处理为例，模型可以借助位置编码这