定点量化
其实就是浮点数转成整数,最后再进行移位。其实本质上就是写如何把平常的浮点数转成整数,最后再进行移位。比如 1.5,可以转成 3,最后移一位就行。
单个数值量化
假设是 \(r \rightarrow q\) 的映射,其中 \(r\) 是浮点数,\(q\) 是整数,转换关系:
\[
r = S(q-Z) \\[5px]
q = \text{round}(r/S) + Z
\]
其中,\(S\) 是缩放因子 scale,\(Z\) 是偏移量,也叫零点 zero point:
\[
S = (r_{\text{max}} - r_{\text{min}})/(q_{\text{max}} - q_{\text{min}}) \\[5px]
Z = \text{round}(q_{\text{max}} - r_{\text{max}}/S)
\]
矩阵量化
矩阵中各个元素也无非是相乘累加:
\[
r_3^{i,j} = \sum_{k=1}^{K} r_1^{i,k} \cdot r_2^{k,j}
\]
我们设定 \(S_1, S_2, S_3\) 是 \(r_1, r_2, r_3\) 的缩放因子,\(Z_1, Z_2, Z_3\) 是 \(r_1, r_2, r_3\) 的偏移量,那么有:
\[
S_3(q_3^{i,j} - Z_3) = \sum_{k=1}^{K} S_1(q_1^{i,k} - Z_1) S_2(q_2^{k,j} - Z_2)
\]
整理得到
\[
q_3^{i,j} = \frac{S_1S_2}{S_3} \sum_{k=1}^{K} (q_1^{i,k} - Z_1) (q_2^{k,j} - Z_2) + Z_3
\]
除了 \(\frac{S_1S_2}{S_3}\) 是浮点数,其他都是整数,所以可以转成整数运算。
系数实现
- 定点量化二
其实就是将如何将一个 0.xx 的数字转成定点数。比如二进制 0.001101,就可以转成 11 >> 4,虽然损失了一点精度。
只不过文章的意思是,先转成一个 0.5-1 的数,比如转成 0.11 >> 2。
实际中是转成 11,这样对于一个数字 x,就 x*11 >> 4 就行。