什么是沉浸式观影体验？
我们希望画面中每一处细节都能清晰细腻地呈现；那些疾驰而过的动态影像，都拥有高清流畅的观感；饱和丰富的色彩，带来强烈的视觉冲击；声音环绕在身边，打造全方位的震撼音效......来「快手放映厅」，只需点击“质臻影音”，就可以亲历一场极致的视听之旅。
1月25日小年夜，快手App「放映厅」频道正式营业，为全面提升用户在画质、音质上的消费体验，音视频技术团队推出了质臻影音档位。春节期间，「放映厅」最高单日有超过5000w用户点击进入，极大激发了用户观影热情。其背后的“质臻影音”拥有着怎样的魔力，是如何定义出极致音画体验的呢？
质臻影音融合多种视频智能修复及增强技术，打造沉浸式观影体验。音视频技术团队希望不仅请“全国人民免费看”，更要在设备能力范围内，提供给用户最好的视听体验。随着手机等终端设备的技术迭代和发展，终端的解码和显示能力不断提升，如支持高分辨率显示，支持高刷新率以及支持HDR显示效果。越来越多的用户可以在手机上流畅播放1080P甚至4K分辨率的高清视频，60fps或120fps的高刷新率视频，以及色彩细腻的HDR视频；扬声器的升级也带来了更具空间感的全景立体声。针对这些方向，质臻影音实现高分辨率，高帧率，HDR，3D环绕声场四大效果，显著提升用户消费体验。
在放映厅，质臻影音拥有1080P和4K两个档位，可以根据用户的手机型号和网络情况智能化选择合适的分辨率版本；对于支持HDR解码和显示的机型，提供HDR版本以展现最佳色彩表现，而对于不支持HDR的机型，也相应提供了SDR+版本，模拟HDR效果。根据用户手机设备分布情况，团队定制了增强档位版本，力争让每位用户在不卡顿、低功耗的情况下获得最佳播放体验。
在质臻影音，哪些影片被修复？
快手放映厅的视频种类繁多，集合了海量影、剧、综内容，但影像质量有所差异。“无论视频源质量如何，能否都让用户在这里收获更清晰、更流畅的观看体验？”面对这一问题，团队将此次重点修复和增强的视频源进行了分类，力争全方位提升视频质量。
经典重现，焕发光彩
年代久远的经典老电影是此次修复的重点对象，例如《唐伯虎点秋香》《英雄本色》等。这些影片拍摄时间较为久远，其拍摄设备、拍摄方式以及影片处理和剪辑技术等不够先进，都会不同程度地影响视频质量，产生如毛刺、噪声、划痕以及视频块效应等问题。
如何修复这些经典影片，使其“旧貌换新颜”，是一项棘手的工作。音视频技术团队开发和优化了多个维度的修复处理算法，有效消除视频中的低质现象，改善视频源画质，提升用户在视频画质和视频内容双维度的消费体验。
身临其境，让清晰更进一步
对于近几年的影视作品，视频在清晰度和画质上相对较好，例如《你的名字》《少年的你》等，是否有办法让画质清晰度进一步提升呢？这成为了此次工作中另一攻坚方向。通过不断尝试，团队融合了增强类算法，提升了失焦模糊、纹理边缘较弱等场景的清晰度。
而一些存在独特风格的影片，例如电影《一代宗师》，其包含大量暗光场景，频繁出现的暗光噪声会影响观影体验。针对这种个性化问题，技术团队采用修复算法去除视频中暗光噪声，优化视频画质。
在放映厅中，此次质臻影音共修复和增强了数百部影片，对新老影片都进行了不同程度的优化，无论是何种电影风格，都能得到全方位提升。
“质臻影音”背后的神秘算法
质臻影音这个产品，都会用到哪些神秘算法呢？画质、音质又经历了怎样的技术加持？
针对视频中普遍存在的画质问题，技术团队开发了多维度的修复和增强算法，改善视频画质。为了让用户消费更加细腻清晰的视频，团队为修复后的视频使用了4K超分辨率算法，让分辨率和清晰度都“更上一层楼”。在音质层面，采用了对白增强，低音增强，声场拓宽等音频增强手段，让声音更高级，更通透，立体环绕感更强。
对于《枪王》《英雄本色》等经典老影片，由于拍摄方法、胶片处理、暗光环境等诸多因素，易产生噪声、划痕以及块效应等问题，技术团队针对性地设计了不同修复算法，实现“点对点”精准解决方案。通过调用不同修复算法能力，修复后的视频可以明显抑制原素材中噪声、视频块效应等问题，观影体验大幅提升，让老电影也能像经历了数字电影拍摄方法一样呈现高质量画质。
电影《英雄本色2》
（左：高清档位；右：质臻影音档位）
针对画质较好的影片，为了进一步提升消费体验，技术团队开发了去模糊算法。该算法主要针对视频中失焦模糊、编码模糊、运动模糊以及降采样模糊等多种类型问题进行清晰度增强处理。去模糊能力的通用化是经典的ill-pose问题（不适定问题），针对这个问题，团队从数据构建和模型结构优化两个方向上进行解决。为了有效模拟视频模糊，对于线上海量模糊视频预测求解模糊核，在得到模糊核后对于高清视频进行模糊退化；同时，针对采样模糊和编码模糊，在模糊核退化的基础上增加了上下采样模糊和不同视频码率的模糊退化，从而构建贴合真实场景的模糊数据集。
针对视频任务场景，团队采样时序性多帧融合视频处理框架，有效利用帧间信息，提升模型在视频任务上处理精度。在采用视频去模糊增强技术后，视频中边缘和纹理清晰度明显提升，这项技术对字幕场景、动画类影视内容尤为重要。
电影《开国大典》
（左：高清档位；右：质臻影音档位）
电影《你的名字》
（左：高清档位；右：质臻影音档位）
针对修复后的1080P视频，团队研发了4K视频超分辨率算法，对高分辨率视频提供多倍超分辨率能力。为避免超分辨率算法产生的过平滑问题，团队还对高分辨率场景SR算法进行针对性优化，其中最为主要的是在模型结构设计和模型优化求解中，着重视频边缘保护和纹理生成，保证视频超分辨率后清晰度进一步提升，让视频画质更加细腻、清晰和自然。
电影《唐伯虎点秋香》
（左：高清档位；右：质臻影音档位）
电影《天下无贼》
（左：高清档位；右：质臻影音档位）
智能触发：为画面提供定制化处理策略
由于每部影片存在的画质问题差异化很大，如何对放映厅中的海量视频进行定制化处理策略呢？面对这一挑战，团队设计了智能触发对应修复增强能力算子的机制，可实现自适应处理，从而改善每个视频中存在的特定画质问题。
具体来看，在有了Deart、Deblur、SR等这些增强处理的原子算法之后，具体到每个视频，需要对算法进行排列组合以达到最优画质。同时，为了尽可能保留增强的细节，前处理参数和编码参数也需要做一些针对性适配和调整。因此，通过选取合适的增强算法、前处理参数和编码参数，以达到转码后的码率和质量最佳的trade-off是需要深入研究的技术问题。
在快速让每条视频智能化找到最优解的方向上，算法同学的方案是先构建一个搜索空间，包含所有原子算法的排列组合方式，每种方式下都可以获得转码后的视频，团队使用快手自研的视频质量检测算法的分数对视频画质进行衡量，得到Rate分数曲线，从中选择一个最优的组合方式作为目标GT。
考虑到机器成本，在实际应用中不能遍历所有的解空间，团队基于对视频内容的感知，提取视频特征，包括复杂度特征和多种深度特征，以上述GT为训练目标，训练机器学习模型。
实际的转码流程如下图所示：首先对视频进行内容分析，提取特征，使用上述训练的机器学习模型预测使用的增强算法，前处理和编码参数，然后按照预测的结果进行增强、前处理和编码操作。
质臻影音是快手音视频技术团队结合多年实践经验及技术积淀，在“视”“听”极致追求上的一次大力实践，后续将在低质视频修复、视频极致增强等领域不断探索，期待在更多丰富的应用场景中落地。
如何体验质臻影音？
第一步：
打开快手 App，点击「放映厅」频道
第二步：
切换清晰度档位，选择「质臻影音」。
