本公开涉及计算机视觉，具体地，涉及一种动态神经辐射场表示和压缩的端到端联合优化方法。
背景技术：
1、逼真的体视频为虚拟现实和遥感体验提供了沉浸式体验。神经辐射场在逼真的静态场景中的出色表现，激发了对体视频的研究。如今，动态神经辐射场显示出在表示逼真的体视频方面具有重大潜力。然而，目前的技术仍存在许多限制，例如动态神经辐射场方法只能表达有限的片段的动态场景，在涉及任意运动或者较长时间序列的视频序列方面，采用神经辐射场存储、传输体积视频仍然存在挑战。
2、在目前的技术中，难以找到一种高效的神经辐射场表示和压缩方法来生成和存储长序列动态神经辐射场。直接将每帧静态神经辐射场方法扩展到动态场景是不切实际的，其忽略了场景的时空连续性，导致网络参数过多。在一些方法中，尝试通过将特征变形回规范空间来在每帧中重新创建特征。然而，仅依赖规范空间会限制具有显著运动或拓扑变化的序列的有效性。并且，将神经辐射场扩展到4d时空域会面临着渲染质量次优和与大型模型存储相关的挑战，特别是在流媒体场景中。此外，传统图像编码器不适用于神经辐射场特征所在的高维特征域，因此有必要采用基于深度学习的方法对神经辐射场进行压缩。当前没有将动态神经辐射场表示和压缩进行端到端联合优化的方法，导致动态细节的丢失和压缩效率降低。
3、因此，本领域的技术人员致力于开发一种将动态神经辐射场表示和压缩进行端到端联合优化的方法，以提高动态神经辐射场的重建质量和压缩率，显著提高率失真性能。
技术实现思路
1、针对现有技术中的缺陷，本公开的目的是提供一种动态神经辐射场表示和压缩的端到端联合优化方法。
2、为实现上述目的，根据本公开的一个方面，提供一种动态神经辐射场表示和压缩的端到端联合优化方法，包括：
3、采用系数特征网格和基础特征网格表示动态神经辐射场，采用残差特征网格和所述系数特征网格补偿所述动态神经辐射场的误差区域，确定经过表示的所述动态神经辐射场；
4、对所述经过表示的所述动态神经辐射场进行模型训练处理和模拟量化操作处理，确定所述经过表示的所述动态神经辐射场的预测压缩数据量和经过模拟量化操作处理的所述动态神经辐射场；
5、根据预设的损失函数对所述经过模拟量化操作处理的所述动态神经辐射场进行优化处理，确定训练完成的所述动态神经辐射场；
6、对所述训练完成的所述动态神经辐射场进行均匀量化处理和编码处理，确定所述动态神经辐射场的实际压缩数据量。
7、可选地，所述采用系数特征网格和基础特征网格表示动态神经辐射场，采用残差特征网格和所述系数特征网格补偿所述动态神经辐射场的误差区域，确定经过表示的所述动态神经辐射场，包括：
8、采用特征体素网格表示所述动态神经辐射场；
9、对采用所述特征体素网格表示的所述动态神经辐射场进行基分解处理，确定系数特征网格和基础特征网格；
10、根据所述系数特征网格和所述基础特征网格，确定重建的所述动态神经辐射场。
11、可选地，所述根据所述系数特征网格和所述基础特征网格，确定重建的所述动态神经辐射场，包括：
12、根据光线位置，对所述系数特征网格和所述基础特征网格进行插值处理，确定经过插值处理的所述系数特征网格和经过插值处理的所述基础特征网格；
13、将所述经过插值处理的所述系数特征网格和所述经过插值处理的所述基础特征网格进行哈德曼积处理，确定所述系数特征网格和所述基础特征网格的哈德曼积；
14、将所述系数特征网格和所述基础特征网格的哈德曼积输入多层感知机，确定所述重建的所述动态神经辐射场。
15、可选地，所述采用系数特征网格和基础特征网格表示动态神经辐射场，采用残差特征网格和所述系数特征网格补偿所述动态神经辐射场的误差区域，确定经过表示的所述动态神经辐射场，还包括：
16、采用连续的特征网格组表示所述重建的所述动态神经辐射场；
17、将每一所述特征网格组的初始帧采用关键帧的长参考特征网格进行表示，每一所述特征网格组的每一剩余帧采用所述残差特征网格和所述系数特征网格进行表示，确定经过表示的所述动态神经辐射场。
18、可选地，所述对所述经过表示的所述动态神经辐射场进行模型训练处理和模拟量化操作处理，确定所述经过表示的所述动态神经辐射场的预测压缩数据量和经过模拟量化操作处理的所述动态神经辐射场，包括：
19、对所述经过表示的所述动态神经辐射场进行模型训练处理，并采用预设的熵模型对所述经过表示的所述动态神经辐射场进行数据分布预测处理，确定所述经过表示的所述动态神经辐射场的预测压缩数据量；
20、在对所述经过表示的所述动态神经辐射场进行模型训练处理时，采用均匀噪声对所述经过表示的所述动态神经辐射场进行模拟量化操作处理，确定经过模拟量化操作处理的所述动态神经辐射场。
21、可选地，所述预设的损失函数包括失真损失函数、所述预测压缩数据量、残差特征网格的l1范数。
22、可选地，所述对所述训练完成的所述动态神经辐射场进行均匀量化处理和编码处理，确定所述动态神经辐射场的实际压缩数据量，包括：
23、对所述训练完成的所述动态神经辐射场的特征网格进行均匀量化处理，确定经过均匀量化处理的所述动态神经辐射场；
24、对所述经过均匀量化处理的所述动态神经辐射场进行区间编码，确定所述动态神经辐射场的实际压缩数据量。
25、根据本公开的第二方面，提供一种动态神经辐射场表示和压缩的端到端联合优化系统，包括：
26、表示模块，用于采用系数特征网格和基础特征网格表示动态神经辐射场，采用残差特征网格和所述系数特征网格补偿所述动态神经辐射场的误差区域，确定经过表示的所述动态神经辐射场；
27、模型训练模块，用于对所述经过表示的所述动态神经辐射场进行模型训练处理和模拟量化操作处理，确定所述经过表示的所述动态神经辐射场的预测压缩数据量和经过模拟量化操作处理的所述动态神经辐射场；
28、优化模块，用于根据预设的损失函数对所述经过模拟量化操作处理的所述动态神经辐射场进行优化处理，确定训练完成的所述动态神经辐射场；
29、压缩模块，用于对所述训练完成的所述动态神经辐射场进行均匀量化处理和编码处理，确定所述动态神经辐射场的实际压缩数据量。
30、根据本公开的第三方面，提供一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本公开第一方面提供的所述方法的步骤。
31、根据本公开的第四方面，提供一种电子设备，包括：
32、存储器，其上存储有计算机程序；
33、处理器，用于执行所述存储器中的所述计算机程序，以实现本公开第一方面提供的所述方法的步骤。
34、与现有技术相比，本公开实施例具有如下至少一种有益效果：
35、通过上述技术方案，采用系数特征网格和基础特征网格表示动态神经辐射场，并采用残差特征网格和系数特征网格补偿动态神经辐射场的误差区域，确定经过表示的动态神经辐射场，再对经过表示的动态神经辐射场进行模型训练处理和编码处理，同时实现对动态神经辐射场的表示和压缩的优化，提高动态神经辐射场的重建质量和压缩率，对动态神经辐射场的表示和压缩过程进行端到端的联合优化，并采用可微的模拟量化操作处理促进动态神经辐射场的端到端的训练，实现对动态神经辐射场高效地建模和压缩。
36、本公开的实施例，还采用预设的熵模型预测动态神经辐射场的预测压缩数据量，促进动态神经辐射场的端到端的训练。
1.一种动态神经辐射场表示和压缩的端到端联合优化方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述采用系数特征网格和基础特征网格表示动态神经辐射场，采用残差特征网格和所述系数特征网格补偿所述动态神经辐射场的误差区域，确定经过表示的所述动态神经辐射场，包括：
3.根据权利要求2所述的方法，其特征在于，所述根据所述系数特征网格和所述基础特征网格，确定重建的所述动态神经辐射场，包括：
4.根据权利要求2所述的方法，其特征在于，所述采用系数特征网格和基础特征网格表示动态神经辐射场，采用残差特征网格和所述系数特征网格补偿所述动态神经辐射场的误差区域，确定经过表示的所述动态神经辐射场，还包括：
5.根据权利要求1所述的方法，其特征在于，所述对所述经过表示的所述动态神经辐射场进行模型训练处理和模拟量化操作处理，确定所述经过表示的所述动态神经辐射场的预测压缩数据量和经过模拟量化操作处理的所述动态神经辐射场，包括：
6.根据权利要求1所述的方法，其特征在于，所述预设的损失函数包括失真损失函数、所述预测压缩数据量、残差特征网格的l1范数。
7.根据权利要求1所述的方法，其特征在于，所述对所述训练完成的所述动态神经辐射场进行均匀量化处理和编码处理，确定所述动态神经辐射场的实际压缩数据量，包括：
8.一种动态神经辐射场表示和压缩的端到端联合优化系统，其特征在于，包括：
9.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7中任一项所述方法的步骤。
10.一种电子设备，其特征在于，包括：
