代码说明
1 `positional_encoding` 函数:
- 首先计算角度变化率 `angle_rates`，这里使用了 `nparange` 来生成索引，以便更清晰地计算每个维度的角度变化率。
- 然后通过广播机制计算 `angle_rads`，即每个位置与每个角度变化率的乘积。
- 接着初始化 `pos_encoding` 数组，并分别为偶数和奇数维度填充正弦和余弦值。
- 最后将结果转换为 `tffloat32` 类型并返回。
2 `mockmultiheadattention` 类:
在深度学习的研究与实践中，为了更好地模拟和理解多头注意力机制的工作原理，我们需要构建相应的模拟环境。以下是对该过程详细的扩写内容：
初始化阶段，我们的首要任务是创建一个用于模拟实际 qkv 矩阵的 `qkv_matrix`。这个矩阵的生成过程需要引入随机性，以此来更贴近真实场景中数据的多样性。我们采用特定的随机算法，依据一定的分布规律，赋予矩阵中每个元素随机数值，从而创建出 `qkv_matrix`。更为重要的是，在生成矩阵后，我们要保存其原始结构。这一操作是后续研究的基础，因为原始结构承载着矩阵初始的特性和信息，对于后续对比分析具有关键意义。我们可以通过特定的数据结构或记录方式，精确地记录下矩阵的维度、行列关系以及每个元素的位置信息，确保在后续操作中能够随时还原和参考原始结构。
接下来是 `start_mechanism` 方法，此方法聚焦于模拟多头注意力机制启动时的拆解过程。在多头注意力机制中，矩阵的拆解是关键步骤。我们简单直接地将 `qkv_matrix` 按列拆分为三个部分，这三个部分分别对应着实际机制中的 q、k、v 矩阵。这种拆分方式是基于多头注意力机制的原理，将原始矩阵的数据按照一定规则进行划分，以满足后续计算的需求。