HoloPart – 港大联合 VAST 开源生成完整可编辑部件的 3D 模型-爱论文

HoloPart是什么

HoloPart 是香港大学、VAST 团队推出的新型扩散模型，支持将 3D 物体分解为完整、可编辑的语义部件，即使部件被遮挡。HoloPar基于两阶段方法，用局部注意力和全局上下文注意力机制，确保零件的细节和整体形状的一致性。HoloPart 在 ABO 和 PartObjaverse-Tiny 数据集上的表现显著优于现有方法，为几何编辑、材质编辑和动画制作等下游应用提供新的可能性。

HoloPart的主要功能

3D 零件隐式分割：识别可见的表面片段，支持补全被遮挡的部分，生成完整的 3D 零件。几何超分辨率：支持几何细节的超分辨率重建。下游应用支持：支持多种下游应用，包括几何编辑、材质编辑、动画制作和几何处理。

HoloPart的技术原理

两阶段方法：初始分割：用现有的 3D 零件分割技术（如 SAMPart3D）获取初始的、不完整的零件片段（表面片段）。零件补全：基于 PartComp（基于扩散模型的网络）将片段补全为完整的 3D 零件。扩散模型：PartComp 是基于扩散模型的网络，基于捕捉零件的细粒度几何细节，确保零件的局部特征被准确还原。用整体形状的上下文信息，确保补全的零件与整体形状在几何和语义上保持一致。数据预训练与微调：用变分自编码器（VAE）和扩散模型对大规模的完整 3D 形状数据进行预训练，学习通用的 3D 形状表示。在有限的零件数据上对预训练模型进行微调，适应零件补全任务，克服数据稀缺的挑战。

HoloPart的项目地址

项目官网：https://vast-ai-research.github.io/HoloPart/GitHub仓库：https://github.com/VAST-AI-Research/HoloPartHuggingFace模型库：https://huggingface.co/VAST-AI/HoloPartarXiv技术论文：https://arxiv.org/pdf/2504.07943在线体验Demo：https://huggingface.co/spaces/VAST-AI/HoloPart