[发明专利]用于学习可组合的三维(3D)对象的高阶函数网络及其操作方法

说明书

一种用于表示三维(3D)对象的装置，该装置包括：存储指令的存储器；以及处理器，该处理器被配置为执行指令以：将二维2D图像发送到外部设备；在发送了2D图像的基础上，从外部设备接收使用第一神经网络获得的映射函数参数；基于接收到的映射函数参数，设置第二神经网络的映射函数；以及基于3D样本，使用其映射函数被设置的第二神经网络来获得与2D图像相对应的3D对象。

技术领域

本公开涉及表示三维(3D)对象，并且更具体地，涉及用于学习可组合的(composable)3D对象的高阶函数网络及其操作方法。

背景技术

在纯几何项中，3D对象O是的子集。然而，在存储器中直接地表示该无穷的点的集合并不简单。

基于体素的方法使用该集合的均匀离散化来将基于卷积神经网络(convolutional neural network，CNN)的方法扩展到3D世界。然而，3D表面的固有稀疏性使得体素化在内存和计算时间两者方面都是低效的。

基于分割的方法(诸如八叉树)解决了体素化的空间效率缺点，但是其实现起来繁琐并且查询效率低。

点集表示(O的离散和有限子集)也由于以下事实而得到了普及：其保留了基于体素的方法的简单性，同时消除了基于体素的方法的存储和计算负担。尽管点云比体素更灵活，但是仍然不清楚如何使其适应产生任意分辨率或变化的分辨率预测的任务。

发明内容

技术问题的解决方案

根据实施例，一种用于表示三维(3D)对象的装置，包括：存储指令的存储器，以及处理器，该处理器被配置为执行指令以：将二维(2D)图像发送到外部设备；在发送了2D图像的基础上，从外部设备接收使用第一神经网络获得的映射函数参数；基于接收到的映射函数参数，设置第二神经网络的映射函数；以及基于3D样本，使用其映射函数被设置的第二神经网络来获得与2D图像相对应的3D对象。

3D样本可以是3D标准域(canonical domain)的表面或内部。

3D标准域可以是单位球体或单位立方体。

3D对象可以是包括在2D图像中的对象的表面或内部。

第一神经网络可以是被训练为基于在CNN中输入的2D图像来输出映射函数参数的卷积神经网络(CNN)，并且可以结合第二神经网络来训练。

第二神经网络可以是被训练为基于在CNN中输入的3D样本来输出3D对象的卷积神经网络(CNN)，并且可以结合第一神经网络来训练。

装置可以是与外部设备分离并在外部设备外部的客户端设备。

外部设备可以是与装置分离并且在装置外部的服务器设备。

根据实施例，一种表示三维(3D)对象的方法，该方法由装置执行，并且包括：将二维(2D)图像发送到外部设备；在发送了2D图像的基础上，从外部设备接收使用第一神经网络获得的映射函数参数；基于接收到的映射函数参数，设置第二神经网络的映射函数；以及基于3D样本，使用其映射函数被设置的第二神经网络来获得与2D图像相对应的3D对象。

3D样本可以是3D标准域的表面或内部。

3D标准域可以是单位球体或单位立方体。

3D对象可以是包括在2D图像中的对象的表面或内部。

第一神经网络可以是被训练为基于在CNN中输入的2D图像来输出映射函数参数的卷积神经网络(CNN)，并且可以结合第二神经网络来训练。

第二神经网络可以是被训练为基于在CNN中输入的3D样本来输出3D对象的卷积神经网络(CNN)，并且可以结合第一神经网络来训练。

装置可以是与外部设备分离并在外部设备外部的客户端设备。