字体
关灯
返回目录 阅读足迹 更多章节
第(3/13)页
值具有合适的尺度,有助于模型的训练收敛
    selfw_q = nnparameter(torchrandn(d_model, d_model) \/ npsqrt(d_model))
    为这个参数添加一个描述,这里用形象的“查询刑具”来帮助理解其在模型中的作用
    它在后续的计算中用于生成查询向量,参与注意力机制等相关操作
    selfw_q__doc__ = \"查询刑具\"
    定义一个可训练的参数w_k,形状同样为(d_model, d_model),用于键值操作
    初始化方式与w_q相同
    selfw_k = nnparameter(torchrandn(d_model, d_model) \/ npsqrt(d_model))
    为这个参数添加描述“键值烙铁”,表示其在模型中的角色
    它会用于生成键向量,与查询向量一起在注意力计算中发挥重要作用
    selfw_k__doc__ = \"键值烙铁\"
    注册一个缓冲区positional_sin,用于存储位置编码的正弦值
    这里通过计算一系列正弦值来生成位置编码,torcharange(0, 1000)float生成从0到999的浮点数序列
    然后通过一些计算得到不同位置和维度的正弦值
    这样在后续处理序列数据时,可以利用这些正弦值来为不同位置的元素添加位置信息
    selfregister_buffer("positional_sin",
    torchsin(torcharange(0, 1000)float \/ (2  torcharange(d_model) \/\/ 2 \/ d_model)))
    为这个缓冲区添加描述“相位刑椅”,形象地表示它在处理序列位置信息方面的作用
    selfpositional_sin__doc__ = \"相位刑椅\"
    ```
    在那复杂深邃、宛如神秘宇宙般的神经网络训练世界里,数据
第(3/13)页
本章还未完,请点击下一页继续阅读
上一页 目录 下一页
都在看:重生:开局校花签下卖身契全服第一弓箭手妻子逃婚后,我下定决心选了她妖怪茶话会抗战之关山重重斩神:七剑破长空熢火之下渣男嫌我穷,我转身种田发财忙御风起,等风归大明:如此贪的驸马,朕杀不得?