随着大数据时代的发展,虚拟现实、增强现实等需要实时图像处理和计算的应用,对GPU加速引擎服务提出了新的挑战和机遇。

HarmonyOS SDK GPU加速引擎服务(XEngine Kit)提供的空域GPU超分能力,基于单帧输入图像,使用空间邻域信息实现超采样。当GPU性能不足以支持渲染高分辨率场景时,为了提高用户体验,可以使用空域GPU超分能力,将较低分辨率图像通过超分重建为高分辨率图像。相较于直接渲染高分辨率图像,使用超分能力能够降低GPU渲染负载,降低功耗。

功能演示

下面是空域GPU超分(GLES)功能演示,如果开发者对实现方式感兴趣,可以下载GLES DemoVulkan Demo体验,基于具体的应用场景优化。

空域GPU超分开发步骤

一、API介绍

1.OpenGL ES API

HMS_XEG_SpatialUpscaleParameter用于输入超分的参数,根据头文件提供的枚举可知,一共需要输入两个参数:

•XEG_SPATIAL_UPSCALE_SCISSOR 用于设置超分的采样区域,值为格式为长度为4的int型数组的地址。

•XEG_SPATIAL_UPSCALE_SHARPNESS用于设置锐化度,值为float类型数的地址。

HMS_XEG_RenderSpatialUpscale用于执行超分渲染,输入为待超分的纹理id。

伪代码为:

float m_sharpness = 0.3;
int upscaleScissor[4] = {0, 0, 720, 540};
HMS_XEG_SpatialUpscaleParameter(XEG_SPATIAL_UPSCALE_SHARPNESS, &m_sharpness);
HMS_XEG_SpatialUpscaleParameter(XEG_SPATIAL_UPSCALE_SCISSOR, upscaleScissor);
...
glBindFramebuffer(GL_FRAMEBUFFER, framebufferID);
glViewport(0, 0, 1080, 720);
glScissor(0, 0, 1080, 720);
HMS_XEG_RenderSpatialUpscale(textureID);

当输入枚举XEG_SPATIAL_UPSCALE_SCISSOR为{0,0,textureWidth,textureHeight},调整sharpness值所对应的图像如下:

Sharpness=0:

Sharpness = 0.3:

将sharpness继续调高,sharpness = 1:

当输入枚举XEG_SPATIAL_UPSCALE_SCISSOR为{ textureWidth/4,textureHeight /4, textureWidth/2,textureHeight/2}时,即:输入纹理从四分之一的宽高处开始,宽高长度为纹理的一半。超分效果如图:

原始图与超分1.5倍后图片对比如下:

2.Vulkan API

HMS_XEG_CreateSpatialUpscale用于创建一个超分实例,构造参数是一个struct,具体参数说明如下:

在创建时指定图像尺寸好处在于当一个实例创建完成后,后续使用过程中只需要传递超分的输入和输出图片即可。由于超分需要使用的Vulkan资源在此接口创建完成,在超分过程中仅进行绘制,开销很小。缺点是由于实例创建后输入输出的尺寸、锐化值等被固定,当有参数变化时,都需要重新创建实例,所以使用此接口时,最好先明确超分的尺寸,避免运行时进行超分实例的创建、销毁。

XEG_SpatialUpscaleDescription用于执行超分,和一般Vulkan命令一样,此接口仅用于Vulkan的录制,录制完成后需要submit接口输入的commandbuffer。

VKAPI_ATTR void VKAPI_CALL HMS_XEG_CmdRenderSpatialUpscale (VkCommandBuffer commandBuffer, XEG_SpatialUpscale xegSpatialUpscale, XEG_SpatialUpscaleDescription *pXegSpatialUpscaleDescription)

此接口的入参包括一个vkcommandbuffe、创建完成的超分实例xegSpatialUpscale,超分的输入输出结构体。XEG_SpatialUpscaleDescription包括两个vkiamgeview,分别是超分输入纹理和输出纹理的vkimageview。

HMS_XEG_DestroySpatialUpscale:用于销毁超分实例xegSpatialUpscale。

1)在Vulkan初始化时创建xegSpatialUpscale。

XEG_SpatialUpscale xegSpatialUpscale;
VkRect2D srcRect2D;
srcRect2D.offset.x = 0;
srcRect2D.offset.y = 0;
srcRect2D.extent.width = 960;
srcRect2D.extent.height = 540

VkRect2D dstRect2D;
dstRect2D.offset.x = 0;
dstRect2D.offset.y = 0;
dstRect2D.extent.width = 1440;
dstRect2D.extent.height = 810;

XEG_SpatialUpscaleCreateInfo createInfo;
createInfo.format = VK_FORMAT_R8G8B8A8_UNORM;
createInfo.sharpness = 0.2f;
createInfo.outputSize = dstRect2D.extent;
createInfo.inputRegion = srcRect2D;
createInfo.inputSize = srcRect2D.extent;
createInfo.outputRegion = dstRect2D;
HMS_XEG_CreateSpatialUpscale(device, &createInfo, &xegSpatialUpscale);

2)执行超分命令,超分命令录制需要在renderpass外进行。

正常的vk命令录制,首先begincommandbuffer。

vkBeginCommandBuffer(cmdbuffer, &cmdBufInfo))
(beginerenderpassinfo省略)
Begine一个renderpass:
vkCmdBeginRenderPass(cmdbuffer, &renderPassBeginInfo, VK_SUBPASS_CONTENTS_INLINE);
(renderpass内录制命令,如vkCmdSetScissor、vkCmdBindPipeline等等)

结束一个renderpass。

vkCmdEndRenderPass(cmdbuffer);

一个renderpass结束后,可以进行超分。

XEG_SpatialUpscaleDescription xegDescription{0};
xegDescription.inputImage = inputTextureImageView;
xegDescription.outputImage = outputTextureImageView;
HMS_XEG_CmdRenderSpatialUpscale(cmdbuffer, xegSpatialUpscale, &xegDescription);

超分完成后,进行下一个renderpass命令的录制,直到全部的命令录制完成。

vkCmdBeginRenderPass(cmdbuffer, &renderPassBeginInfo, VK_SUBPASS_CONTENTS_INLINE);
VK_CHECK_RESULT(vkEndCommandBuffer(cmdbuffer));

3)当进程准备销毁时,需要销毁超分实例。

HMS_XEG_DestroySpatialUpscale(xegSpatialUpscale);

超分效果图:

当inputRegion是输入纹理的全部区域,outputRegin是输出纹理的全部区域,sharpness = 0:

提高锐化度Sharpness = 0.3:

继续提高锐化度sharnpness =1.1 此时已经出现锐化过度的现象:

当修改inputregion为输入纹理的中间区域,如{ inputTextureWidth/4, inputTextureHeight/4,inputTextureWidth/2, inputTextureHeight/2 }, 即:输入纹理从四分之一的宽高处开始,宽高长度为纹理的一半。超分结果效果如图:

继续调整输出区域outputRegion,如:{outputTextureWidth/3, outputTextureHeight/3, outputTextureWidth/2, outputTextureHeight/2},即从宽高的三分之一开启,宽高长度为纹理宽高的一半,效果如图:

上述例子通过修改inputRegion和outputRegion可以控制超分区域和采样区域。

原始图与超分1.5倍后图片对比如下:

注:本文演示图片部分素材来源于Frank Meinl制作的Crytek Sponza,Crytek已根据CC BY 3.0获得授权许可。

了解更多详情>>

访问GPU加速引擎服务官网

获取空域GPU超分开发指导文档

Logo

为开发者提供学习成长、分享交流、生态实践、资源工具等服务,帮助开发者快速成长。

更多推荐