VVC的 MIP 模式代表了通过数据驱动方法设计的帧内预测器的新概念。整个MIP过程的概述如图6所示。W和H表示给定块的宽度和高度，MIP的输入由直接位于块上方的W个参考样本refT和直接位于块左侧的H个参考样本refL组成。从这个输入中，MIP帧内预测样本是通过应用平均化、矩阵矢量乘法和线性插值来生成的。

给定变换块上支持的MIP模式的数目n_MIP对于mipSizeId＝0为16，对于mipSize Id＝1为8，对于mipSizeId＝2为6。这里，对于4×4个块，mipSizeId设置为0，对于8×8个块和正好具有长度为4的一侧的块，mipSizeId设置为1，对于所有其他块，设置为2。每个MIP模式可以被转置，这是由标志mipTranspose确定的。

1) Averaging

在平均步骤中，上边界样本refT和左边界样本refL被减少到较小的边界redT和redL，对于4×4个块，boundarySize=2，对于所有其他块，boundarySize=4。如果W=boundarySize·2ⁿ，则redT定义为：

\(\operatorname{redT}[i]=(\sum_{j=0}^{2^n-1}\operatorname{refT}[2^n\cdot i+j]+(1\ll(n-1)))\gg n,\)

其中0≤i<boundarySize。类似地定义了左简化边界redL。两个边界redT和redL连接到单个简化边界pTemp。这里，如果模式没有转置，则先取redT，否则先取redL。为了减小其对于典型信号特征的幅度，pTemp被转换为一个向量通过

\(\text{p}[0]=2^{B-1}-\text{pTemp}[0];\quad\text{p}[i]=\text{pTemp}[i]-\text{pTemp}[0],\)

其中B表示比特深度，0＜i＜2·boundarySize。

2) Matrix Vector Multiplication

在第二步中，在缩减边界之外，通过矩阵向量多重叠加生成大小为predSize·predSize的缩减预测信号predMip，如果mipSizeId(W, H)∈{0，1}，predSize(W, H）)=4，否则predSize(W, H)=8。对于第k个MIP预测模式，0≤k<n_MIP，计算(9)

\(\text{predMip}=(A_k\cdot\text{p+32}\cdot1)\gg6+\text{pTemp}[0]\cdot1.\)

在这个等式中，A_k是一个矩阵，其行数为predSize·predSize，列数等于p的大小。此外，“·”表示矩阵向量乘法，1表示大小为predSize.predSize的一个矩阵的向量，并且按元素应用右移。之后，对predMip的分量应用范围[0，2^_B−1）的clip。

如果水平和垂直上采样因子被设置为 upHor＝W/predSize并且upVer＝H/predSize，则信号predMip分别在块的每个upHor和upVer采样位置定义最终预测信号pred。更准确地说，如果 0≤x<predSize 和 0≤y<predSze，对于mipTranspose=0，pred定义为：

\(\begin{aligned}\text{pred}[(x+1)\cdot\text{upHor}-1,(y+1)\cdot\text{upVer}-1]\\=\text{predMip}[y\cdot\text{predSize }+x].\end{aligned}\)

对于mipTranspose=1，pred是通过交换最后一个方程右侧的x和y来定义的。

3) Linear Interpolation

在最后一个步骤中，在剩余的样本位置，通过线性插值导出pred的值，其中首先执行水平插值，然后执行垂直插值。这里，对于水平插值，通过参考样本将预测扩展到左侧。

4) Specification of the MIP Matrices

(9)中出现的每个矩阵A_k由 mipSizeId 和 MIP 模式 k 唯一地确定。其条目可以使用7位精度来表示。此外，对于mipSizeId＝2，每个A_k的第一列是零，因为对应的MIP模式将恒定边界信号映射到相同值的恒定预测信号。因此，总的来说，为MIP指定了16个大小为16×4的矩阵，用于mipSizeId＝0，8个大小为16*8的矩阵，用作mipSizeId＝1，以及6个大小为64×7的矩阵，用来mipSizeId＝2。

5) Computational Complexity and Memory Requirement of MIP

生成MIP预测所需的每个样本的平均乘法次数最多为四次，因此不大于VVC的传统帧内预测模式。因此，可以观察到，尽管MIP用于超过20%的帧内块，但不会产生任何解码器运行时开销。此外，根据前一节，存储所有MIP矩阵A_k的条目的总存储器需求为4144字节。

6) MIP as a Video-Coding Tool Designed by Data-Driven Methods

VVC中MIP模式的最终设计可以被视为最初提出的基于神经网络的帧内预测模式的低复杂度变体。虽然数据驱动训练算法的关键方面也被用于确定矩阵A_k的参数，但最终用于VVC的设计代表了与初始变体不同的增益复杂度权衡的操作点。复杂度降低的中心步骤是预测的输入的下采样和输出的上采样。通过这种方式，矩阵的大小可以显著减小，并且相同的矩阵可以用于不同的块形状。

Karczewicz, Marta, et al. “VVC in-loop filters.” IEEE Transactions on Circuits and Systems for Video Technology 31.10 (2021): 3907-3925.

A. Filter Shapes, Linear Filtering and Adaptive Clipping

ALF被应用于SAO的输出样本。亮度和色度分量分别支持7×7菱形和5×5菱形两种滤波器形状，如图2所示。在图2中，每个正方形对应于亮度或色度样本，中心正方形对应于待滤波的DC样本。为了减少信令开销和乘法次数，滤波器系数使用点对称。每个整数滤波器系数\(c_i\)用7-bit分数精度表示。此外，为了保持DC中性，一个滤波器的系数之和必须等于128，这是具有7-bit分数精度的1.0的定点表示(1)：

\(\begin{aligned}2\sum_{i=0}^{N-2}c_i+c_{N-1}=128. & \left({\mathbf{1}}\right)\end{aligned}\)

在等式(1)中，对于 7 × 7 和 5 × 5 滤波器形状，系数 N 的数量分别等于 13 和 7。

通过将系数 \(c_i\) 应用于重构样本值 \(R(x, y)\)来导出坐标 (x, y) 处的滤波样本值 \(\tilde{R}(x,y)\)，如下所示(2)：

\(\begin{aligned}\tilde{R}(x,y)=&\left[\sum_{i=0}^{N-2}c_i\left(R\left(x+x_i,y+y_i\right)+R\left(x-x_i,y-y_i\right)\right) \\
+c_{N-1}R\left(x,y\right)+64\right]>>7,& \left({\mathbf{2}}\right)\end{aligned}\)

其中 \((x + x_i, y + y_i)\) 和 \((x − x_i, y − y_i)\) 是对应于第 i 个系数 \(c_i\) 的重构样本的坐标。 由于等式(1)的约束，等式(2)可以写为(3)：

\(\begin{aligned}
\tilde{R}\left(x,y\right)& =R\left(x,y\right) \\
&+\left\{\left[\sum_{i=0}^{N-2}c_i\left(R\left(x+x_i,y+y_i\right)-R\left(x,y\right)\right)\right.\right. \\
&\left.+\sum_{i=0}^{N-2}c_i\left(R\left(x-x_i,y-y_i\right)-R\left(x,y\right)\right)+64\right] \\
&\left.>>7\right\}.& \left({\mathbf{3}}\right)
\end{aligned}\)

基于等式(3)，通过将待滤波样本\(R(x, y)\)与其相邻样本之间的差的加权和添加到重构样本\(R(x, y)\)来获得滤波样本 \(\tilde{R}(x,y)\)。

等式(3)中的系数对于处于与待滤波样本相同的相对几何位置的所有样本是相同的。与仅考虑图片样本的几何接近度的线性滤波器不同，诸如双边滤波器的非线性滤波器也可以基于样本值的相似性来调整其系数。因此，双边滤波器可以在保留边缘的同时有效地去除噪声。为了允许ALF滤波器考虑样本之间的空间关系和值相似性，在等式(3)中添加clip相邻样本值和当前待滤波样本之间的差的可能性。当启用非线性ALF时，方程(3)修改如下：

\(\begin{aligned}
\tilde{R}\left(x,y\right)& =R\left(x,y\right) +\left[(\sum_{i=0}^{N-2}c_if_i+64)>>7 \right] & \left({\mathbf{4}}\right)
\end{aligned}\)

其中

\(\begin{aligned}f_i&=\min\left(b_i,\max\left(-b_i,R\left(x+x_i,y+y_i\right)-R\left(x,y\right)\right)\right)\\ &+\min\left(b_i,\max\left(-b_i,R\left(x-x_i,y-y_i\right)-R\left(x,y\right)\right)\right) & \left({\mathbf{5}}\right)\end{aligned}\)

\(b_i\)是由clipping索引\(d_i\)确定的系数\(c_i\)的clipping参数。\(b_i\)推导如下：

\(\left.b_i=\left\{\begin{array}{ll}2^{BD},&\text{when }d_i=0\\2^{BD-1-2d_i},&\text{otherwise}\end{array}\right.\right.\left({\mathbf{6}}\right)\)

其中BD是样本比特深度，\(d_i\)可以是0、1、2或3。

B. Luma Sub-Block Level Filter Adaptation

子块级滤波器自适应仅应用于亮度分量。每个4×4亮度块根据其方向性和2D拉普拉斯活动进行分类。首先，计算水平、垂直和两个对角线方向的样本梯度值：

\(\begin{aligned}
H_{k,l}=\left|2R\left(k,l\right)-R\left(k-1,l\right)-R\left(k+1,l\right)\right|, \\
V_{k,l}=\left|2R\left(k,l\right)-R\left(k,l-1\right)-R\left(k,l+1\right)\right|, \\
D0_{k,l}=\left|2R\left(k,l\right)-R\left(k-1,l-1\right)-R\left(k+1,l+1\right)\right|, \\
D1_{k,l}=\left|2R\left(k,l\right)-R\left(k-1,l+1\right)-R\left(k+1,l-1\right)\right|. & \left({\mathbf{7}}\right) \end{aligned} \)

基于样本梯度，子块水平梯度\(g_h\)、垂直梯度\(g_v\)和两个对角线梯度\(g_{d0}\)和\(g_{d1}\)计算如下:

\(\begin{aligned}
g_h=\sum_{k=i-2}^{i+5}+\sum_{l=j-2}^{i+5}H_{k,l}, \\
g_v=\sum_{k=i-2}^{i+5}+\sum_{l=j-2}^{i+5}V_{k,l}, \\
g_{d0}=\sum_{k=i-2}^{i+5}+\sum_{l=j-2}^{i+5}D0_{k,l}, \\
g_{d1}=\sum_{k=i-2}^{i+5}+\sum_{l=j-2}^{i+5}D1_{k,l},
& \left({\mathbf{8}}\right)\end{aligned}\)

索引\(i\)和\(j\)是指4×4亮度块中左上角样本的坐标。从等式(8)中可以看出，覆盖目标4×4块的10×10亮度窗口内的样本梯度之和用于对该块进行分类。为了降低复杂性，只计算10×10窗口中间隔样本的梯度，如图3所示。其他采样梯度的值设置为0。

其次，分配方向性D，子块水平和垂直梯度的最大值和最小值的比值：

\(g_{h,v}^{max}=max(g_h, g_v),g_{h,v}^{min}=min(g_h,g_v) \left({\mathbf{9}}\right)\)

以及两个子块对角线梯度的最大值和最小值之比:

\(g_{d0,d1}^{max}=max(g_{d0}, g_{d1}),g_{d0,d1}^{min}=min(g_{d0},g_{d1}) \left({\mathbf{10}}\right)\)

相互比较并且与一组阈值t1和t2进行比较：

步骤1：如果\(g_{h,v}^{max} \le t1\cdot g_{h,v}^{min}\)和\(g_{d0,d1}^{max} \le t1\cdot g_{d0,d1}^{min}\)，D都设置为0（块被归类为“texture”）。

步骤2：如果\(g_{h,v}^{max} / g_{h,v}^{min}>g_{d0,d1}^{max} /g_{d0,d1}^{min}\)，则在步骤3中计算方向性D，否则在步骤4中计算。。

步骤3：如果\(g_{h,v}^{max}>t2\cdot g_{h,v}^{min}\)，D设置为2（块被归类为“强水平/垂直”），否则D设置为1（块被分类为“弱水平/垂直“）。

步骤4：如果\(g_{d0,d1}^{max}>t2\cdot g_{d0,d1}^{min}\)，D设置为4（块被归类为“强对角线”），否则D设置为3（块被分类为“弱对角线”）。

只有在前面的步骤中没有分配给D的值的情况下，才执行上述D计算中的每个后续步骤。第三，活动值A计算为:

\(A=\left(\sum_{k=i-2}^{i+5}\sum_{l=j-2}^{j+5}\left(V_{k,l}+H_{k,l}\right)\right)>>\left(BD-2\right). \left({\mathbf{11}}\right)\)

A被进一步映射到0到4的范围：\(\hat A=Q_{min(A,15)}\)，其中\(Q_n=\{0, 1, 2, 2, 2, 2, 2, 3, 3, 3, 3, 3, 3, 3, 3, 4\}\)。最后，每个4×4亮度块被分类为25类中的一类：

\(C=5D+\hat A \left({\mathbf{12}}\right)\)

每个类都可以分配自己的滤波器。

在对每个4×4亮度块进行滤波之前，根据表I中指定的子块梯度值，对滤波器系数应用几何变换，如90度旋转、对角线或垂直翻转，如图4所示。这相当于将这些变换应用于滤波器支持区域中的样本。目标是对齐不同块的方向性，以减少ALF类的数量，进而减少滤波器系数。应用几何变换允许具有水平边的4×4块和具有垂直边的4×4块都具有相同的方向性D。

C. Coding Tree Block Level Filter Adaptation

除了亮度4×4块级滤波器自适应外，ALF还支持CTB级滤波器自适应。亮度CTB可以使用为当前slice计算的滤波器集或者为已经编码的slice计算的一个滤波器集。它还可以使用16个离线训练的过滤器集中的一个。在每个亮度CTB内，所选滤波器集中的哪个滤波器应应用于每个4×4块，由该块的等式(12)中计算的类别C确定。

Chroma仅使用CTB级滤波器自适应。一个片中的色度分量最多可以使用8个滤波器。每个CTB可以选择这些过滤器中的一个。

D. Syntax Design

滤波器系数和clipping索引被携带在ALF APS中。ALF APS可以包括多达8个色度滤波器和一个具有多达25个滤波器的亮度滤波器组。对于25个亮度类别中的每一个，还包括索引\(i_C\)。具有相同索引\(i_C\)的类共享相同的滤波器。通过合并不同的类，减少了表示滤波器系数所需的比特数。滤波器系数的绝对值使用后面跟有非零系数的符号位的0阶Exp-Golomb码来表示。当clipping被启用时，还使用两位固定长度代码来用信号通知每个滤波器系数的clipping索引。APS内的ALF系数和clipping索引所需的存储最多为3480比特。解码器可以同时使用多达8个ALF APS。

滤波器控制语法元素包括两种类型的信息。首先，ALF开/关标志在序列、图片、Slice和CTB级别用信号通知。只有在相应级别启用亮度ALF时，才能在图片和切片级别启用色度ALF。第二，如果在图片、Slice和CTB级别启用ALF，则在该级别用信号通知滤波器使用信息。如果图片内的所有Slice都使用相同的APS，则参考ALF APS ID以Slice级别或图片级别进行编码。亮度分量可以参考多达7个ALF APS，色度分量可以参考1个ALF APS。对于亮度CTB，用信号通知指示使用哪个ALF APS或离线训练的亮度滤波器集的索引。对于色度CTB，索引指示使用参考APS中的哪个滤波器。

E. Line Buffer Reduction

为了减少ALF的存储需求，VVC采用了行缓冲边界处理。在VVC中，行缓冲器边界被放置在水平CTU边界之上的4个亮度样本和2个色度样本。当将ALF应用于行缓冲区边界一侧的样本时，不能使用行缓冲区边缘另一侧的样本。

图5给出了两个例子，其中4×4亮度块与行缓冲区边界相邻。当将ALF应用于图5（a）中的行E至H中的4×4亮度块时，如果没有行缓冲区边界处理，则需要使用DBF和SAO过滤的行B至K的样本。在较低的CTU可用之前，DBF和SAO过滤器不能应用于行A到D。因此，在没有行缓冲器的情况下，ALF不能应用于行E至H中的样本，直到较低的CTU可用为止。结果，除了行A到D之外，从E到K的7个亮度行将必须存储在用于亮度ALF的行缓冲器中。类似地，4个附加色度行将必须存储在色度ALF的行缓冲器中。

图5还说明了当对与行缓冲区边界相邻的4×4亮度块进行分类时样本梯度值的计算。为了计算与行缓冲区边界相邻的样本梯度值（标记为×），应用重复填充来替换无法使用的样本。例如，在图5（a）中，用行E中的样本替换行D中的样本。行缓冲区边界另一侧的所有样本梯度值都设置为0。由于我们将一些样本梯度值设置为0，从而减少了样本梯度的总和，因此方程(11)中的A推导按如下比例缩放：

\(A=\left(\sum_{k=i-2}^{i+5}\sum_{l=j-2}^{j+5}\left(V_{k,l}+H_{k,l}\right)\cdot 3 \right)>>\left(BD-1\right). \left({\mathbf{13}}\right)\)

行缓冲区边界滤波应用如图6所示的对称样本填充，其中p12标记待滤波样本，p₀至p₂₄是SAO之后的样本值，p’₀至p’₂₄是修改后的样本值。当待滤波样本的滤波器形状不越过行缓冲区边界时，在滤波过程中使用SAO之后的样本值。否则，将在滤波过程中使用修改后的值。与重复填充相比，对称样本填充已被证明可以产生不太明显的视觉伪影。然而，当要滤波的样本位于最靠近行缓冲区边界的行中时，如图6(a)所示，2D滤波器等效于水平滤波器，它仍然会引入明显的视觉伪影。

通过将滤波器强度减少8倍来最小化这些伪影，从而得出以下公式，其中等式（4）中的偏移7被偏移10代替：

\(\tilde{R}\left(x,y\right)=R\left(x,y\right)+\left[\left(\sum_{i=0}^{N-2}c_if_i+512\right)>>10\right]\)

F. ALF Encoder Design in VTM

这里描述VTM-9.0中的ALF编码器实现。编码器通过最小化率失真成本来计算ALF语法元素的值，所述率失真成本是失真的加权和，所述失真被测量为原始样本和应用ALF滤波器之后的样本之间的平方误差，以及传输ALF语法元素所需的比特数。滤波器系数是通过求解Wiener-Hopf方程来计算的。采用平方误差估计方法，允许在不执行实际滤波操作的情况下计算滤波失真。针对clipping 索引的所有可能组合收集计算滤波器系数和估计失真所需的统计信息。分别收集每个CTB的统计数据，在亮度成分的情况下，收集每个CTU的每个类别的统计数据。

1) 亮度分量：对于每个图片，基于该图片的统计信息，获得亮度分量的新滤波器集，表示为F_Y,D，如下所示：
(1) 编码器通过合并启用ALF的CTB的统计信息来导出滤波器集F_Y,D。在第一次迭代中，假设为所有CTB启用ALF。
(2) 基于使用导出的滤波器计算的速率失真成本和CTB的统计来为每个CTB确定是否应用ALF滤波器。

步骤1)和2)重复4次。

当设计在步骤1)中设置的亮度滤波器时，编码器首先为25个亮度类别中的每一个计算滤波器。然后将合并算法应用于这25个滤波器。在每次迭代中，通过合并两个滤波器，该算法将滤波器的数量减少1。为了确定应该合并哪两个滤波器，对于每对剩余的滤波器，编码器通过分别合并两个滤波器和相应的统计数据来重新设计滤波器。使用重新设计的滤波器，然后估计失真。编码器以最小的失真合并该对。获得25个滤波器组，第一组具有25个滤波器，第二组具有24个滤波器，以此类推，直到第25组包含单个滤波器。选择最小化率失真成本的集合，包括对滤波器系数进行编码所需的比特。

在设计滤波器时，迭代计算clipping 索引和N−1滤波器系数，直到平方误差不减小。在每次迭代中，clipping 索引的值都会逐一更新，从索引d₀开始，一直到达到索引d_N−2。更新索引时，最多测试3个选项：保持其值不变、增加1或减少1。针对这3个值计算滤波器系数和近似失真，并选择使平方误差最小化的值。在第一次迭代开始时，clipping 索引的值被初始化为2，或者当合并两个滤波器时，d_i的值被设置为这些滤波器的对应剪裁索引的平均值。

亮度分量还可以使用离线训练的滤波器集和可用ALF APS中携带的亮度滤波器集。通过访问APS，从最近发信号到最后一个，编码器获得多达7个亮度滤波器组，这些滤波器组表示为Fⁱ_Y,APS，其中i＝0，。。。，N_APS−1。亮度ALF语法元素的最终值是通过选择滤波器集F_ij的最佳组合来获得的，其中i＝0，1和j＝0，。。。，N_APS：

· 16个离线训练的滤波器集,
· F_Y,D，如果i=1,
· F⁰_Y,APS ,…, F^j-1_Y,APS, 如果j>0

2) 色度分量：基于当前图片统计，计算色度滤波器组F_C,D。导出8个色度滤波器组，表示为Fⁱ_C,D，其中i＝1，2，。。。，7, 8.滤波器组Fⁱ_C,D包含i个滤波器。滤波器组Fⁱ_C,D如下获得：

1) 当前图片被均匀地划分为i个区域。对于每个区域，通过合并该区域中所有CTB的统计信息来计算色度滤波器。
2) 对于图片中的每个色度CTB，ALF开/关标志和来自集合Fⁱ_C,D的滤波器索引被确定为最小化估计的速率失真成本。
3) Fⁱ_C,D中的每个滤波器通过合并色度CTB的统计来重新设计，其中在步骤2)中为其选择了当前要重新设计的滤波器。
4) 步骤2)和3)重复i+1次。

选择使速率失真成本最小化的滤波器组Fⁱ_C,D作为色度滤波器组F_C,D。最后，编码器从可用的APS中选择F_C,D或滤波器组之一，以用于色度分量。

传统的双向预测是来自先前编码的图片的两个预测块的加权组合。 两个MV用于分别从List0参考图片和List1参考图片获得两个预测块。 然而，由于基于块的MC的限制，两个预测块内的样本之间通常存在剩余位移。 BDOF 的目的是在原始块级 MV 之上补偿每个预测样本的精细位移。

与基于块的运动补偿相反，MV 的细化值不在 BDOF 中用信号表示。 BDOF应用于常规Merge模式中或非SMVD的帧间模式中的CU的亮度CB。 BDOF 仅限于宽度和高度大于或等于 8 个亮度样本且亮度样本数量大于或等于 128 的 CU。

BDOF 建立在光流概念的基础上。 令 I(i, j,t) 为样本在位置 (i, j) 和时间 t 处的亮度值。 假设物体运动过程中每个样本的亮度恒定，此时的光流微分方程可以表示为(1)：

\(\begin{aligned}&0=\frac{\partial I}{\partial t}+v_x\frac{\partial I}{\partial x}+v_y\frac{\partial I}{\partial y}.\end{aligned}\)

如图 8 所示，在每个样本位置，描述从 I_c 到 I₀ 的剩余小位移的运动 (v_x , v_y ) 与其从 I_c 到 I₁ 的运动对称。 这里，I_c、I₀ 和 I₁ 分别是当前块以及来自列表 0 和列表 1 参考图片的两个预测块中的亮度值数组。 为了简单起见，假设相对于两个参考图片的剩余运动幅度相同且方向相反。 这一假设反映在只有当两个不同的参考图片在 POC 中与当前图片具有相等距离时才应用 BDOF 的约束。

基于对称运动模型，式(1)可用于从两个方向估计I_c中每个样本的值，一个来自I₀中的对应A，另一个来自I₁中的对应B。 (v_x , v_y ) 的值是通过最小化具有精细运动的两个预测之间的差异来计算的(2)(3)：

\((v_x,v_y):\min\sum_{(i,j)\in\Omega}\Delta^2(i,j);\)

\(\begin{aligned}
\Delta\left(i,j\right)=& I_0(i,j)-I_1(i,j) \\
&+v_x(\frac{\partial I_0(i,j)}{\partial x}+\frac{\partial I_1(i,j)}{\partial x}) \\
&+v_y(\frac{\partial I_0(i,j)}{\partial y}+\frac{\partial I_1(i,j)}{\partial y}).
\end{aligned}\)

这里(i，j)是预测块内样本的空间坐标，Ω是该样本的区域。 对离散样本数组 I₀(i, j) 和 I₁(i, j) 进行空间导数的近似(4)(5)：

\(\begin{aligned}\frac{\partial I_{0,1}(i,j)}{\partial x}&=(I_{0,1}(i+1,j)-I_{0,1}(i-1,j))\gg1\end{aligned}\)
\(\begin{aligned}\frac{\partial I_{0,1}(i,j)}{\partial y}&=(I_{0,1}(i,j+1)-I_{0,1}(i,j-1))\gg1\end{aligned}\)

为了降低推导局部剩余运动的计算复杂度，假设每个 4 × 4 子块内的向量 (v_x , v_y ) 恒定。 它计算一次并由子块中的所有样本共享。 此外，为了使导出的运动场更加稳定，每个 4 × 4 子块的 (v_x , v_y ) 是根据中心包含 4 × 4 子块的扩展 6 × 6 区域（在(2)中记为 Ω ）计算的。

(2) 中的优化问题可以通过将两个偏导数设置为零来解决，所得线性方程组近似求解为(4)-(9):

\(\begin{aligned}v_x=-\frac{S_4}{S_1},\quad v_y=-\frac{S_5+v_xS_3}{S_2}\end{aligned}\)
\(\begin{aligned}S_1&=\sum_{(i,j)\in\Omega}\vartheta_x(i,j)\cdot\vartheta_x(i,j),\end{aligned}\)
\(\begin{aligned}S_2&=\sum_{(i,j)\in\Omega}\vartheta_y(i,j)\cdot\vartheta_y(i,j),\end{aligned}\)
\(\begin{aligned}S_3&=\sum_{(i,j)\in\Omega}\vartheta_x(i,j)\cdot\vartheta_y(i,j),\end{aligned}\)
\(\begin{aligned}S_4&=\sum_{(i,j)\in\Omega}\vartheta_t(i,j)\cdot\vartheta_x(i,j),\end{aligned}\)
\(\begin{aligned}S_5&=\sum_{(i,j)\in\Omega}\vartheta_t(i,j)\cdot\vartheta_y(i,j),\end{aligned}\)

全部是自相关和互相关参数，ϑx (i, j) 和 ϑy(i, j) 是水平和垂直梯度，ϑt(i, j) 是位置 (i, j) 处样本的时间梯度 j，计算公式为(10)-(12):

\(\vartheta_x(i,j)=\frac{\partial I_0(i,j)}{\partial x}+\frac{\partial I_1(i,j)}{\partial x}\)
\(\begin{aligned}\vartheta_y(i,j)&=\frac{\partial I_0(i,j)}{\partial y}+\frac{\partial I_1(i,j)}{\partial y}\end{aligned}\)
\(\vartheta_t(i,j)=I_0(i,j)-I_1(i,j).\)

导出 (v_x , v_y) 后，通过沿着运动轨迹对列表 0 和列表 1 预测样本进行插值来计算块当前位置 (i, j) 处的最终双向预测信号 I_c(i, j)（如图8所示）基于Hermite插值，即

\(\begin{aligned}I’c(i,j)&=\frac{1}{2}(I_0(i,j)+I_1(i,j)+\sigma_{\mathrm{BDOF}}),\end{aligned}\)
\(\begin{aligned}\sigma_{\mathrm{BDOF}}&=v_{x}(\frac{\partial I_{0}(i,j)}{\partial x}-\frac{\partial I_{1}(i,j)}{\partial x})\\&+v_{\mathrm{y}}(\frac{\partial I_{0}(i,j)}{\partial y}-\frac{\partial I_{1}(i,j)}{\partial y}).\end{aligned}\)

VVC 支持基于子块的时间运动矢量预测（SbTMVP）方法。 与 HEVC 中的时间运动矢量预测 (TMVP) 类似，SbTMVP 使用并置图片(collocated picture)中的运动场来改进当前图片中 CU 的运动矢量预测和Merge模式。 SbTVMP和TMVP 使用相同的并置图片 。

SbTMVP 与 TMVP 的不同主要有以下两个方面：

– TMVP 在 CU 级别预测运动，但 SbTMVP 在子 CU 级别预测运动；
– TMVP 从并置图片中的并置块获取时间运动矢量（并置块是相对于当前 CU 的右下或中心块），而 SbTMVP 在从并置图片获取时间运动信息之前应用运动移位 ，其中运动位移是从当前 CU 的空间相邻块之一的运动矢量获得的。

SbTVMP 过程如图 34 所示。SbTMVP 分两步预测当前 CU 内子 CU 的运动矢量。 第一步，检查图 34 (a) 中的块A1。 如果A1具有使用并置图片作为其参考图片的运动矢量，则选择该运动矢量作为要应用的运动移位。 如果A1未在帧间预测模式下进行编码或 MV 未指向并置图片，则将运动偏移设置为 (0, 0)。

第二步，应用步骤 1 中识别的运动移位（即添加到当前块的坐标），以从并置图片中获取子 CU 级运动信息（运动矢量和参考索引），如图 34(b)所示。 图 34 (b) 中的示例假设运动移位设置为块 A1 的运动。 然后，对于每个子CU，使用并置图片中其对应块（覆盖中心样本的最小运动网格）的运动信息来导出子CU的运动信息。 在识别出并置子CU的运动信息之后，以与HEVC的TMVP过程类似的方式将其转换为当前子CU的参考索引和运动矢量，其中应用时间运动缩放以将时间运动矢量的参考图片与当前CU的参考图片对齐。

当前CU的中心位置的运动信息，是从并置图片中包含移位的中心位置的块的运动信息导出的，在图5中标记为MV3。如果包含移位的中心位置的块没有进行帧间编码，则认为SbTMVP候选不可用。在对应的子块没有被帧间编码的情况下，当前子块的MV被设置为中心位置的MV。

在VVC中，包含SbTVMP候选者和仿射Merge候选者的组合的基于子块的Merge列表被用于基于子块的Merge模式的信令。 SbTVMP 模式由序列参数集 (SPS) 标志启用/禁用。 如果启用 SbTMVP 模式，则将 SbTMVP 预测器添加为基于子块的Merge候选者列表的第一个条目，后面是仿射合并候选者。 基于子块的Merge列表的大小在SPS中用信号通知，并且基于子块的Merge列表的最大允许大小在VVC中是5。

SbTMVP 中使用的子 CU 大小固定为 8×8，与仿射合并模式一样，SbTMVP 模式仅适用于宽度和高度都大于或等于 8 的 CU。

附加SbTMVP Merge候选的编码逻辑与其他Merge候选相同，即对于P或B切片中的每个CU，执行附加RD检查来决定是否使用SbTMVP候选。

collocated picture 是参考帧列表中先前已编码的帧。 在VVC中，每一帧的picture header中通过 ph_collocated_from_l0_flag 和 ph_collocated_ref_idx 两个参数来显示地指定使用哪一帧作为collocated picture。

ph_collocated_from_l0_flag 等于 1 指定用于TMVP collocated picture是从 RPL0 导出的。 ph_col located_from_l0_flag 等于 0 指定用于TMVP collocated picture是从 RPL1 导出的。 当 ph_temporal_mvp_enabled_flag 和 pps_rpl_info_in_ph_flag 都等于 1 并且 num_ref_entries[1][RplsIdx[1]] 等于 0，则推断 ph_col located_from_l0_flag 的值等于 1。

ph_collocated_ref_idx 指定用于TMVP collocated picture的参考索引。 当ph_collocated_from_l0_flag等于1时，ph_col located_ref_idx引用RPL0中的帧，并且ph_col located_ref_idx的值应在0到num_ref_entries[0][RplsIdx[0]]-1的范围内，包括0和num_ref_entries[0][RplsIdx[0]]-1。 当ph_collocated_from_l0_flag等于0时，ph_col located_ref_idx引用RPL1中的帧，并且ph_col located_ref_idx的值应在0到num_ref_entries[1][RplsIdx[1]]-1的范围内，包括0和num_ref_entries[1][RplsIdx[1]]-1。

在VTM中，首先会在Lo和L1中寻找可以使用的参考帧，如果L0和L1的参考帧都可用，则选择其中QP比较大的帧，如果某个列表不可用，则选择另外一个列表，如果都不可用，则关闭TMVP。

在 HEVC 中，当slice header中的 use_integer_mv_flag 等于 0 时，运动矢量差（MVD）（CU 的运动矢量和预测运动矢量之间）以四分之一亮度样本为单位用信号表示。 在VVC中，引入了CU级自适应运动矢量分辨率（AMVR）方案。 AMVR允许CU的MVD以不同的精度进行编码。 根据当前CU的模式（正常AMVP模式或仿射AVMP模式），可以如下自适应地选择当前CU的MVD：

– 正常 AMVP 模式：四分之一亮度样本、半亮度样本、整数亮度样本或四亮度样本。
– 仿射 AMVP 模式：四分之一亮度样本、整数亮度样本或 1/16 亮度样本。

如果当前CU具有至少一个非零MVD分量，则有条件地用信号发送CU级MVD分辨率指示。 如果所有 MVD 分量（即，参考列表 L0 和参考列表 L1 的水平和垂直 MVD）均为零，则推断四分之一亮度样本 MVD 分辨率。

对于具有至少一个非零MVD分量的CU，用信号发送第一标志以指示是否将四分之一亮度样本MVD精度用于CU。 如果第一标志为0，则不需要进一步的信令并且四分之一亮度样本MVD精度用于当前CU。 否则，用信号发送第二标志以指示将半亮度样本或其他MVD精度（整数或四亮度样本）用于正常AMVP CU。 在半亮度样本的情况下，半亮度样本位置使用 6 抽头插值滤波器而不是默认的 8 抽头插值滤波器。 否则，用信号发送第三标志以指示对于正常AMVP CU使用整数亮度样本还是四亮度样本MVD精度。 在仿射 AMVP CU 的情况下，第二个标志用于指示是使用整数亮度样本还是 1/16 亮度样本 MVD 精度。 为了确保重建的 MV 具有预期的精度（四分之一亮度样本、半亮度样本、整数亮度样本或四亮度样本），CU 的运动矢量预测器将四舍五入为相同的精度。 与 MVD 相加之前的精度与 MVD 的精度相同。 运动矢量预测值向零舍入（即，负运动矢量预测值向正无穷大舍入，正运动矢量预测值向负无穷大舍入）。

编码器使用 RD 检查确定当前 CU 的运动矢量分辨率。 为了避免总是对每个 MVD 分辨率执行四次 CU 级 RD 检查，在 VTM 中，仅有条件地调用除四分之一亮度样本之外的 MVD 精度的 RD 检查。 对于普通 AVMP 模式，首先计算四分之一亮度样本 MVD 精度和整数亮度样本 MV 精度的 RD 成本。 然后，将整数亮度样本MVD精度的RD成本与四分之一亮度样本MVD精度的RD成本进行比较，以决定是否有必要进一步检查四亮度样本MVD精度的RD成本。 当四分之一亮度样本MVD精度的RD成本远小于整数亮度样本MVD精度的RD成本时，跳过四亮度样本MVD精度的RD检查。 然后，如果整数亮度样本 MVD 精度的 RD 成本显着大于先前测试的 MVD 精度的最佳 RD 成本，则跳过半亮度样本 MVD 精度的检查。 对于仿射 AMVP 模式，如果在检查仿射合并/跳过模式、合并/跳过模式、四分之一亮度样本 MVD 精度正常 AMVP 模式和四分之一亮度样本 MVD 精度仿射 AMVP 的速率失真成本后未选择仿射帧间模式，则不检查 1/16 亮度样本 MV 精度和 1-pel MV 精度仿射帧间模式。 此外，在四分之一亮度样本MV精度仿射帧间模式中获得的仿射参数被用作1/16亮度样本和四分之一亮度样本MV精度仿射帧间模式中的起始搜索点。