Skip to content

定点量化

其实就是浮点数转成整数,最后再进行移位。其实本质上就是写如何把平常的浮点数转成整数,最后再进行移位。比如 1.5,可以转成 3,最后移一位就行。

单个数值量化

假设是 \(r \rightarrow q\) 的映射,其中 \(r\) 是浮点数,\(q\) 是整数,转换关系:

\[ r = S(q-Z) \\[5px] q = \text{round}(r/S) + Z \]

其中,\(S\) 是缩放因子 scale,\(Z\) 是偏移量,也叫零点 zero point:

\[ S = (r_{\text{max}} - r_{\text{min}})/(q_{\text{max}} - q_{\text{min}}) \\[5px] Z = \text{round}(q_{\text{max}} - r_{\text{max}}/S) \]

矩阵量化

矩阵中各个元素也无非是相乘累加:

\[ r_3^{i,j} = \sum_{k=1}^{K} r_1^{i,k} \cdot r_2^{k,j} \]

我们设定 \(S_1, S_2, S_3\) 是 \(r_1, r_2, r_3\) 的缩放因子,\(Z_1, Z_2, Z_3\) 是 \(r_1, r_2, r_3\) 的偏移量,那么有:

\[ S_3(q_3^{i,j} - Z_3) = \sum_{k=1}^{K} S_1(q_1^{i,k} - Z_1) S_2(q_2^{k,j} - Z_2) \]

整理得到

\[ q_3^{i,j} = \frac{S_1S_2}{S_3} \sum_{k=1}^{K} (q_1^{i,k} - Z_1) (q_2^{k,j} - Z_2) + Z_3 \]

除了 \(\frac{S_1S_2}{S_3}\) 是浮点数,其他都是整数,所以可以转成整数运算。

系数实现

  1. 定点量化二
    其实就是将如何将一个 0.xx 的数字转成定点数。比如二进制 0.001101,就可以转成 11 >> 4,虽然损失了一点精度。
    只不过文章的意思是,先转成一个 0.5-1 的数,比如转成 0.11 >> 2。
    实际中是转成 11,这样对于一个数字 x,就 x*11 >> 4 就行。

Comments

本文阅读 Loading 次 本站访问 Loading 次 访客 Loading 人