从flops efficiency角度,对大模型预训练过程进行分析与探索,包括不限于对scaling law的研究,数据的认知实验,MoE等模型架构设计,以及其他工程与算法结合的ml sys相关优化等
负责原生多模态大模型的构建与预训练,包括各模态分词器设计,合成数据策略,以及跨模态融合训练策略等,提升原生多模态模型在视觉/语音的理解与生成任务上的能力
进行大模型reasoning能力的相关研究,研究pre-train / test-time compute对于模型推理能力的影响,借助SFT / DPO / self-play等手段,提高模型在代码数学等推理任务上的表现
通过post-training激发模型在各下游任务上的能力,从而构建具有通用问题解决能力的agent