Transformer RNN 序列数据处理 输入序列: x_1, x_2, ..., x_n 隐藏状态: h_t = f(h_{t-1}, x_t) 输出: y_t = g(h_t) Decoder-only 分词&词嵌入 位置编码 用于捕获字符在序列中的位置,不用依赖于先前计算,可用于并行计算

Neural Network 神经网络基本单位:神经元 权重(weight):调节权重可控制重视某一特征或忽视某一特征输入 \sum (w_ix_i+b) 其中b为bias(偏置量) 以上为线性变换步骤,运算结果传入激活函数 f 激活函数 Sigmoid (z)=\frac{1}{1+e^{(-z)