建模师们有福了！权威365beat压球网攻略

毋庸在建模、UV、贴图软件之间反复横跳，一个使命台就能得到：

这是腾讯专为3D遐想师、游戏开拓者、建模师等打造的专科级AI使命台混元3D Studio。

一个平台解决整套遐想历程，岂论是前期的观点遐想、几何建模，照旧进一步的组件拆分、低模拓扑，以及后续贴图、绑骨蒙皮、动画等都能全粉饰。

这下真让3D钞票坐蓐周期从几天变因素分钟了。

那它是怎样作念到的呢？让咱们来个深度剖析。

中枢架构

混元3D Studio全体是一个规章且模块化的使命历程。

其中每个阶段都会对钞票进行处理，并为下一个阶段提供至关遑急的数据输入。从最初的创意到最终的游戏钞票，这一遐想确保了通盘这个词过程的无缝衔尾与自动化。

混元3D Studio使命流

通盘这个词使命流共包含：

组件拆分：诈骗连通性分析和语义分割算法，复杂模子好像被自动拆解为逻辑上和功能上独处的组件（举例：步枪的弹匣、枪管和枪托），从汉典毕组件的独处裁剪和动画制作。

可控图像生成（观点遐想）：文本或图像皆可看成输入模态，搭救文生图和图生多视图功能。此外，专用的A-Pose设施化模块确保脚色模子骨架姿势的一致性，作风迁徙模块则用于养息图像视觉扫尾，以匹配方向游戏的好意思术作风。

高保真几何生成：基于现时先进的扩散模子架构，笔据单视图或多视图图像生成精采的三维网格模子（高模）。收获于纷乱的跟班才气，好像确保生成的几何结构与输入prompt高度一致，并极地面规复物体的3D名义细节。

低模拓扑生成（PolyGen）：该模块摒弃传统的基于图形学的重拓扑方法，秉承自追想模子逐面地生成低多边形钞票。通过将几何名义的点云看成要求输入，PolyGen好像智能生成高保真网格对应的拓扑结构，适用于游戏钞票等应用场景，骄气低极点数、结构合理以及精良变形适合的边流散播。

语义UV张开：不同于传统的语义性差的传统UV张开方法与东说念主工UV张开。语义UV张开模块已毕了具备高下文语义感知的UV切线生成，不错依据模子的体式与布线散播进行结构分析，升迁UV拆分的语义性、合感性与可用性，进而故意于高质地纹理的生成。

纹理生成与裁剪：集成了生成式大模子，可笔据文本或图像prompt生成物理准确的PBR纹理，并通过无损裁剪层，搭救用户使用当然言语指示对纹理进行精采化二次养息。

绑骨蒙皮&动画殊效：在自动化的临了阶段，该模块好像推断骨骼要津位置与层级结构，并忖度极点权重，生成可径直用于设施游戏引擎的可驱动动画钞票。

共七个中枢时候模块，其中每个模块都对应钞票制作历程中的某一重要阶段，底下一个个来看。

组件拆分

团队提倡了一种用于打造可插足坐蓐、可裁剪且结构合理的三维钞票的新范式。

给定一张输入图片，首先使用Huyuan3D获取全体体式。然后，将全体网格传递给部件检测模块P3-SAM，以赢得语义特征和部件的范畴框（bounding boxes）。临了，由X-Part将全体体式解析为各个部件。

组件拆分全体历程

其中，P3-SAM（原生3D语义分割）是组件拆分生成历程中的重要法子。

P3-SAM包含一个特征索求器、三个分割头和一个IoU（交并比）瞻望头。

混元3D Studio使命流

PointTransformerV3看成特征索求器，并领路其不同层级的特征看成点级特征。

输入的点教唆和特征信息会被领路，并传递至分割头，用于瞻望三个多模范掩码。

同期，IoU瞻望头用于评估掩码质地。为已毕物体的自动分割，诈骗FPS（最远点采样）生成点教唆，互助NMS（非极大值按捺）合并冗余掩码。

点级掩码随后被投影到网格面上，从而赢得部件分割扫尾。

本方法的另一重要改进在于，富裕摒弃2D SAM的影响，依赖于原生3D部件监督，进行原生3D分割模子的磨练。

还提倡了一个可控且可裁剪的扩散框架X-Part。

X-Part历程

首先，为已毕可控性提倡了一个基于部件级教唆的特征索求模块，诈骗包围盒看成教唆，指示部件的位置和尺寸，而不是径直将分割扫尾看成输入。

其次，将语义特征以经心遐想的特征扰动表情引入到框架中，这有助于已毕存道理的部件解析。

为了考证X-Part的有用性，在多个基准数据集上进行了多数实验。扫尾标明，X-Part在组件级解析和生成方面取得了现时最优的表露。

横向量化比较

组建拆分横向扫尾对比

可控图像生成包含图像作风化与姿态设施化两大模块。

图像作风化模块允许用户在3D建模前，通过树立选项一键生成多种主流游戏好意思术作风的3D遐想图。

用户可提供任务对象图像，并通过文本的作风化指示。步地为"Change the style to {style type} 3D model. White Background."，从而生成内容保合手一致且艺术作风精确稳健指示要求的作风化输出。

磨练数据以三元组阵势构建： {输入参考图像，作风类型，作风化3D遐想图}，已毕对写实图像与作风化作品的精确映射。

针对无参考图像的文本到图像作风化的应用场景，系统先用自研通用文本图像生成模子合成参考图像，再经过图像作风化活水线，最终输出作风化作品。

作风化扫尾展示

针对随性脚色参考图像的姿态设施化（如A-pose），需兼顾姿态精确辨别和脚色一致性的严格保合手，并需已毕对参考图像中配景和说念具的排斥。

为此，团队将含随性姿态/视角的脚色图像看成要求输入，注入来指点生成过程。

姿态设施化历程图

数据集构建：首先基于脚色渲染数据，构建[随性姿态/视角脚色图像，设施A-pose正面图像]的图像对。

随后，将含有说念具（如手合手火器、基座等）的渲染数据输入裁剪模子，剥离脚色执行除外的说念具与配景，保证形象一致性。最终所得图像对经东说念主工筛选，纳入数据集，使模子具备说念具与配景剔除才气。

磨练政策秉承了分辨率递进想路，自512×512起步，冉冉升至768×768，促使模子更好地学习细粒度特征，显贵升迁生成图像在面部、复杂衣饰等细节部分的保真度。

此外，针对团结脚色在不同场景下的参考图像进行随即要求输入，升迁姿态泛化才气和生成一致性。

团队还至极采集了高质地数据集，涵盖半身像、非东说念主型类东说念主物及拟东说念主化脚色等难度类型，并在后期秉承SFT和DPO进一步微调，增强模子泛化性与鲁棒性。

姿态设施化扫尾高保真几何生成

高保真几何生成的使命活水线基于业界率先的Hunyuan3D框架，全体结构包含如下两个子模块：

Hunyuan3D-ShapeVAE：一种变分编码–解码式的Transformer结构，先对三维几何体进行压缩，再进行重构。

该模块的编码器输入带有三维位置和名义法向的点云，经过基于Vector-Set Transformer的遑急性采样，镶嵌为紧凑的体式潜变量z。解码器则诈骗z查询基于均匀网格的三维神经场，位置网格为，最终将神经场Fg映射为象征距离函数（SDF）值。

几何生成历程

Hunyuan3D-DiT：一种基于流的扩散模子，径直在ShapeVAE的潜空间操作。

集结由21层Transformer堆叠而成，每层包含Mixture-of-Experts (MoE)子层，有用升迁模子容量与抒发力。

Hunyuan3D-DiT通过流匹配方向磨练，将高斯噪声映射到体式潜变量，已毕体式生成的高效及高质地采样。

Hunyuan3D-DiT主要以单张输入图像为要求进行生成。该图像首先被养息至518×518尺寸，配景被移除，随后通过冻结的DINOv2主干集结[7]编码为图像潜变量，并通过交叉重见解领路到生成的体式潜变量中。

为了进一步提供几何和先验指挥，Hunyuan3D-Studio引入了两项补充辨别信号：

包围盒要求辨别。对于给定的包围盒，将其高、宽、长编码为，具体表情为两层 MLP。随后，将与图像潜变量法式列维度拼接，酿成最终要求向量。

在磨练过程中，非常对图像或点云进行微弱的形变，使得图像中的物体比例与对应点云伪善足一致，从而促使模子学会反应包围盒这一辨别信号。

多视图图像生成要求。为充分诈骗图像生成模子的纷乱才气，将多视角图像（由扩散模子生成）看成脚色建模的脱落要求束缚。

多视图生成历程

单图到多视图图像生成。如图所示，为了从单张输入图像高保真地合成多视角视图，本有缱绻在预磨练文本到图像基础模子之上引入轻量LoRA适配层。磨练数据集由随性视角录像机采集的物体中心视图过火对应的多视图着实图像对构成。

磨练时，通过模子原生的变分自编码器（VAE）分别将单视图输入与多视图方向编码为潜在抒发。

LoRA层以两个信息源为要求：一是无噪单视图图像的潜变量（与加噪的多视图潜变量拼接用于结构指点）；二是借助预磨练 SigLIP 视觉编码器索求的输入图像语义要求向量。最终用设施流匹配圆寂优化LoRA参数。

多视图要求注入。与单图要求近似，首先将通盘视角图像编码为图像潜变量。每个除原始图像外的视图都注入一个带固定索引的正弦位置编码。自后，通盘生成视图的潜变量与原始图像潜变量在序列维度拼接，酿成最终要求向量。

包围盒要求辨别生成扫尾

多视图要求辨别生成扫尾展示低模拓扑

在几何生成高模或用户提供的模子基础上，低模拓扑模块的方向是生成干净、稳健好意思术范例的拓扑结构。

尽管在高保真几何生成模块或组件拆分模块照旧生成了考究的体式，这些体式频频由多数芜杂的三角面构成，难以径直用于卑鄙应用（如语义UV张开和绑定）。

因此，秉承自追想模子，径直从生成体式的点云瞻望低模拓扑的极点和面。

低模拓扑全体结构图

网格分词化（Mesh Tokenization）。为了以下一个token瞻望范式建模网格，第一步是将其分词为一维序列。

秉承了Blocked and Patchified Tokenization (BPT)看成网格的基础分词方法。具体来说，BPT联结了两个核神思制：

1）块级索引（Block-wise Indexing），它将三维坐标别离为闹翻空间块，将笛卡尔坐标改造为块偏移索引，以诈骗空间的局部性；

2）Patch团员（Patch Aggregation），通过登第高度数极点看成patch中心，将相连面片团员为妥洽的patch，进一步压缩面片级数据。每个patch以中心极点过火外围极点的规章进行编码，减少了极点的重迭，提高了空间一致性。通过BPT，模子的磨练和推理遵循都得到了显贵升迁。

集结结构。低模拓扑模块的集结结构由点云编码器和自追想网格解码器构成。点云编码器主要受到Michelangelo和 Hunyuan3D系列的启发，秉承Perceiver架构，将点云编码为要求编码cp。

随后，秉承Hourglass Transformer看成网格解码器主干，通过交叉重见解层以点云token看成要求进行解码。

磨练和推理政策。网格token的散播由带参数的Hourglass Transformer建模，通过最大化对数概率进行磨练。不同的要求cp通过交叉重见解（cross-attention）领路进模子。

为了进一步诈骗高多边形网格数据并升迁磨练遵循，本有缱绻秉承了截断磨练政策（truncated training strategy）。具体来说，每次磨练迭代时，会随即登第长度为固定面数（如4k面）的网格序列片断进行磨练。而在推理阶段，咱们应用滚动缓存（rolling cache）政策，以松开磨练和推理阶段之间的各别。

基于拓扑感知掩码的DPO网格生成后磨练。本有缱绻建立了一条用于第二阶段微调的偏好数据集构建历程，该历程包含候选生成、多目的评估和偏好排序。对于每个输入点云P ，咱们诈骗预磨练模子生成八个候选网格。

每个候选网格领路过三项目的进行评估：范畴边比（Boundary Edge Ratio, BER）和拓扑分数（Topology Score, TS）用于预计拓扑质地，豪斯多夫距离（Hausdorff Distance, HD）用于预计几何一致性。

当且仅当骄气以下要求时，偏好关系被界说：

从通盘两两比较中整理出偏好三元组，以构建数据集。

为了解决局部几何劣势和面密度不一致的问题，秉承了掩码直达偏好优化（Masked Direct Preference Optimization, M-DPO），它在DPO的基础上膨大了质地感知的定位掩码。本节界说了一个二值掩码函数，该函数用于笔据每个面的质地评估将高质地区域（值为1）与低质地区域（值为0）区分开来。

每个区域对应于块补丁分词（block patch tokenization, BPT）中的一个子序列。独一当子序列中的通盘面片的四边形比例进步预设阈值且平均拓扑分数超出另一阈值时，该子序列才会被判定为高质地区域。令为冻结的参考模子，为可磨练政策。M-DPO的方向函数为：

其中，正项和负项分别是：

这里，暗意元素逐位相乘，是范数。M-DPO已毕了对低质地区域的有针对性的细化，同期保合手了质地令东说念主恬逸的区域。

下图展示了后磨练后的矫正扫尾，实验扫尾标后光磨练阶段对于升迁生成网格的竣工性和拓扑质地至关遑急。

预磨练预后磨练扫尾对比

如图所示，本有缱绻与现存的低模拓扑方法对比如下。从图中不错看出，本有缱绻好像生成结构更复杂且拓扑质地和褂讪性显贵升迁的网格。

与其他有缱绻扫尾对比

基于组件拆分Mesh的低模拓扑生成扫尾

不同面数级别低模拓扑扫尾对比语义UV张开

传统UV张开方法的扫尾频频阑珊语义道理，这将显贵影响后续贴图的质地与资源诈骗遵循。

因此，这些传统方法难以径直应用于游戏开拓、影视制作等专科活水线。为支吾这一挑战，本节提倡了一个通过自追想表情生成艺术家作风裁切缝的新式框架SeamGPT。

将曲面裁切问题建模为序列瞻望任务，将裁切缝暗意为有序的三维线段序列。给定输中计格M，方向是生成缝边。SeamGPT的全体历程如下图所示。

SeamGPT全体架构图

本有缱绻秉承两种圆寂函数进行模子磨练：用于token瞻望的交叉熵损成仇用于正则化体式镶嵌空间的KL散度圆寂，确保该空间保合手紧凑且一语气。模子经过一周磨练后管制。

磨练时刻，首先将通盘样本缩放至一个立方体范畴框内，范围为−1到1。随后应用数据增强时候，包括在 [0.95,1.05]区间内的随即缩放、随即极点抖动和随即旋转。

与其它方法的量化比较

可视化对比纹理生成与裁剪

混元3D团队提倡了一种高保果然纹理合成方法：将二维扩散模子膨大为几何要求下的多视角生成模子，并通过视图投影将其扫尾烘焙为高分辨率的纹理贴图。

该体系缚构系统性地解决了多视角纹理生成的两个中枢挑战：

跨视角一致性与几何对皆;

RGB纹理向光照着实PBR材质纹理的膨大

本节将纹理生成框架膨大为搭救多模态纹理裁剪的抽象系统。

首先，增强了现存的多视角基于物理渲染（PBR）材质生成模子，以搭救文本和图像指点的多模态裁剪。

其次，提倡了一种基于材质的三维分割方法，好像从仅含几何信息的输中计格中生成按部件别离的材质分割图，已毕局部纹理裁剪。

临了，引入了一种4K材质球生成模子，好像笔据文本教唆合成高分辨率的可平铺纹理球，包括基础色（Base Color）、金属度（Metallic）、松弛度（Roughness）和法线贴图（Normal），以搭救专科的艺术创作历程。

多模态纹理裁剪。本节引入了一种文本指点的纹理裁剪模子，该模子基于经心整理的包含8万份高质地PBR材质三维钞票的数据集进行磨练。

这些钞票被渲染成多视角的HDR图像，并借助视觉-言语模子（Vision-Language Model, VLM）生成了纹理刻画性标题和裁剪指示。

诈骗图像裁剪模子框架，构建了粉饰多视角的大范围图像裁剪对。

随后，纹理基础模子从这些图像对中推断出一致的多视角纹理，合成了多数文本-纹理配对，用于微调裁剪模子。在磨练过程中，将文本教唆和参考图像特征妥洽编码为说合潜变量序列。

基于基础纹理生成模子，系统通过3万对文本-纹理样本已毕端到端优化，最终得到一个好像在文本和视觉指挥下进行纹理合成与裁剪的妥洽模子。

针对图像指点的纹理裁剪模子，提倡了一种简化的大家夹杂（Mixture of Experts，MoE）架构，以处理种种化的图像输入。

为判断输入图像是否与方向几何体匹配，团队忖度几何渲染视图与输入图像之间的CLIP一样度。当指点图像与方向网格具有较高的几何对应关系时，通过变分自编码器（VAE）编码器注入图像特征；

不然，秉承CLIP图像镶嵌进行特征领路，近似于IP-Adapter的方法。这种自适合要求机制确保在职意图像要求下已毕鲁棒的纹理裁剪。

文本和图像指点的纹理裁剪

上图展示了令东说念主咋舌的多模态裁剪扫尾，标明好像对游戏中的物体（如说念具和脚色）进行种种作风的材质裁剪，且搭救全局和局部修改。

基于材质的3D分割。对于分割任务，本有缱绻秉承了近似于PartField的分割框架。

该框架首先从输入的点云或网格数据中索求特征，随后基于索求的三维点特征进行聚类，将三平面（triplane）暗意颐养为更紧凑的VecSet暗意。

特征索求模块通过包含30万个三维钞票的数据集进行端到端磨练。

在零件标注方面，诈骗了原始三维钞票中镶嵌的材质槽和零件标注，同期过滤掉不成靠的零件数据。

在聚类过程中，秉承SAM来确定驱动的聚类中心数目，从而保证聚类的鲁棒性和性能。

材质图生成历程

4K材质图生成。本节改进性地改编了蓝本用于编码一语气视频帧的3D VAE框架，将多域材质数据（包括渲染图、基础色、险峻、松弛度、金属度等）压缩为妥洽的潜在暗意，从汉典毕可膨大的4K分辨率纹理合成。

具体而言，通过带有纹理的三维钞票对3D VAE进行微调，以已毕域不变的特征索求，得到一个PBR-VAE模块。随后，使用材质球数据集对3D扩散变压器（Diffusion Transformer，DiT）进行微调，构建了材质球生成模子的中枢架构。

绑骨蒙皮&动画殊效

本节先容了绑骨蒙皮与动画殊效模块，该模块由两大部分构成：东说念主形脚色动画模块和通用脚色动画模块。

每个脚色输入首先经过检测模块处理。要是输入被判定为东说念主形脚色，则进入东说念主形动画分支；不然，转入通用动画分支。

东说念主形分支包括基于模板的自动绑定模块和动作重定向模块。

为在骨骼生成的准确性与易用性之间取得均衡，团队秉承22个身段要津看成模板骨骼。近似构建绑定与蒙皮模子，但与其在蒙皮瞻望中未领路绑定磋议信息不同，本有缱绻的模子同期整合骨骼特征和极点特征，以已毕更精确的扫尾。

此外，系统还包含姿势设施化模块，将用户提供的随性姿势模子颐养为设施的T型姿势。将T型姿势模子输入动作重定向模块，可赢得更可靠且精确的扫尾。

相较之下，通用分支领路了自追想骨骼生成模块与几何拓扑感知蒙皮模块。由于通用脚色在骨骼拓扑和要津数目上存在各别，大多数现存骨骼生成方法基于自追想时候，本接头模块即建立在这些自追想方法之上。

对于蒙皮模块，以往算法频频仅将网格极点和骨骼要津看成输入特征，较少关怀它们之间的拓扑关系。比拟之下，团队的蒙皮模块显式领路了这些拓扑关系，从而带来更庄重和褂讪的扫尾。

与其它方法的绑骨蒙皮扫尾对比

动作驱动扫尾展示

以上模块通过妥洽的钞票图进行协同管理，各阶段输出的元数据会传递至卑鄙历程。

这种机制已毕了参数化辨别，使高级次的好意思术养息好像一语气通盘这个词管线，同期具备可逆性，搭救增量式更新而无需全量重算。

最终输出不错笔据方向游戏引擎（如Unity或Unreal Engine）的范例进行树立与导出。

感兴致的一又友可戳下方相接体验～

体验地址：https://3d.hunyuan.tencent.com/studio

时候文书：https://arxiv.org/pdf/2509.12815

一键三连「点赞」「转发」「预防心」

接待在驳斥区留住你的想法！

— 完 —

🏆 年度科技风向标「2025东说念主工智能年度榜单」评比报名开启啦！咱们正在寻找AI+期间领航者 点击了解笃定

❤️‍🔥 企业、居品、东说念主物3大维度，共建立了5类奖项，接待企业报名参与 👇 

一键关怀 👇 点亮星标

科技前沿进展逐日见权威365beat压球网攻略