xy0v0's Blog

xy0v0's Blog

Transformer

#BIT 1 #图论 1 #数据结构 3 #Transformer 1 #AI 3 #神经网络 2 #深度学习 2 #Swift 1 #Obsidian 1 #动态规划 1 #数电 1 #Python 2 #汇编 1 #Web 1 #TypeScript 1 #物联网 1 #转载 1 #算法导论 2 #分治 1

交大荣昶笔记#3 | Transformer
Transformer RNN 序列数据处理 输入序列: x_1, x_2, ..., x_n 隐藏状态: h_t = f(h_{t-1}, x_t) 输出: y_t = g(h_t) Decoder-only 分词&词嵌入 位置编码 用于捕获字符在序列中的位置,不用依赖于先前计算,可用于并行计算
学习笔记
0
2025-08-02