具体职责可分为四个核心板块:
核心算法攻关
目标:研究并开发下一代资产级三维生成大模型的核心算法
重点:提升生成模型的质量(Artist-like Mesh),确保生成的三维网格在拓扑、细节和结构上达到“艺术家水准”
多模态条件控制研究
目标:赋予模型强大的“理解与遵从”能力,实现高精度、高可控的生成
研究方向:
条件融合:研究如何将图像、文本、深度图、法线图、语义分割图等多种模态的信息,作为条件输入模型
控制方法:开发创新的条件注入与控制技术,如类似2D领域的 ControlNet 控制模块、在扩散模型(UNet/DiT)中设计条件Token注入机制等
模型调优与工程化
目标:对前沿3D生成模型进行改造、优化,以适应具体业务需求
主要工作:
基于自研模型进行局部模块微调、LoRA调优等实验
将上述研究的自定义Conditioning方法实现并集成到模型中
技术调研与数据基建
目标:保持技术前瞻性,并构建支持算法迭代的数据基础
具体任务:
技术追踪:持续跟进三维生成大模型领域的前沿算法,评估并落地可行的技术方案
数据闭环:从数据科学家视角出发,主导或深度参与3D数据闭环的构建
这包括设计创新的数据表示方法、制定数据质量标准、以及搭建高效的数据处理与增强流水线,为模型训练提供高质量燃料