东方财富
算法工程师（多模态方向）
算法工程师（多模态方向）
发布于 大约 17 小时前普通员工/个人贡献者
上海市
中级经验
全职员工
仅现场办公
硕士
研究与开发 (研发)
强化学习
分布式训练
多模态学习
金融科技
大模型
Megatron-LM
DeepSpeed
vLLM
RLHF
AI 估算 · 35k–65k
多模态大模型方向稀缺，金融科技行业薪资较高，结合上海市场水平估算。
职位详情
关于这个职位
该职位负责金融场景多模态大模型（MLLM）的研发与优化，包括模型训练、Agent系统构建及部署
你将与产品团队合作，将前沿技术转化为创新产品，适合有3年以上CV/多模态经验、精通大模型训练和强化学习的候选人
最低要求
硕士及以上学历，在多模态、CV等领域有3年以上深入研究或工作经验，有主导过行业影响力的项目或发表过顶会论文者优先
精通多模态大模型预训练与微调，深度理解大模型Post-training技术栈（尤其是RL训练范式与训练稳定性调优）
具备优秀的C++/Python编程能力，熟悉分布式训练（Megatron-LM, DeepSpeed）及高性能计算相关技术
熟悉LangChain、AgentScope或OpenClaw等框架，有实际解决Agent记忆缺失、幻觉或长链推理中断问题的经验者优先
有金融行业经验者优先，对金融业务（如K线模式识别、宏观因子分析等）有一定理解，能敏锐感知金融数据与通用数据在多模态建模上的差异
工作职责
负责设计并构建适用于金融场景的高性能多模态大模型（MLLM），提升模型对金融时序图表、扫描件及非结构化文档的极端理解能力
负责主导构建具备高度自主规划（Planning）能力的Agent系统，重点聚焦跨工具调度、多轮参数提取及具备金融逻辑约束的推理能力
负责深入应用Mid/Post-training训练范式（SFT、RLHF/DPO、Agentic RL），利用强化学习提升多模态大模型的效果以及Agent等链路规划效果
负责针对大模型部署与推理进行系统架构优化，结合vLLM、sglang或Triton等技术推动多模态AIGC产品的工程化落地
负责与产品和业务团队深度合作，将业务痛点转化为技术问题，共同完成前沿技术向创新产品的转化
完成公司交办的其他工作
优先资格
有主导过行业影响力的项目或发表过顶会论文者优先
有金融行业经验者优先
AI 洞察
优缺点分析
优点
- 站在AI前沿，接触多模态和强化学习最新技术
- 金融科技赛道薪资有竞争力，公司平台稳定
- 有机会将研究成果落地到实际产品，产生影响力
- 技术难度高，需要持续学习新范式（Agentic RL等）
- 金融数据敏感，模型需高精度和稳定性，容错率低
缺点 / 挑战
- 多团队协作，沟通成本可能较高
- 适合有扎实CV/多模态背景、对金融科技感兴趣、热爱技术挑战的算法工程师
角色解读
- 技术深耕：成为多模态大模型领域的专家，主导前沿研究
- 管理转型：从IC转向技术Leader，带领团队攻关
- 业务拓展：深入金融业务场景，转型为AI+金融解决方案专家
- 设计并训练金融多模态大模型，提升对图表、文档的理解能力
- 构建自主规划的Agent系统，解决跨工具调度和长链推理问题
- 应用强化学习（RLHF/DPO）优化模型效果，推动AIGC产品落地
- 与产品团队协作，将业务需求转化为技术解决方案
- 精通多模态大模型预训练与微调，熟悉Post-training技术栈
- 扎实的编程能力（Python/C++）和分布式训练经验（Megatron-LM, DeepSpeed）
- 熟悉Agent框架（LangChain等），了解推理优化工具（vLLM）
- 具备金融领域知识或兴趣，能理解数据差异
申请策略
- 调研东方财富的AI产品（如Choice数据、妙想），在面试中展现业务理解
- 准备1-2个相关项目案例，说明从问题到解决方案的完整过程
- 突出多模态大模型项目经验，尤其是训练和微调细节
- 展示强化学习应用案例（如RLHF、DPO）和Agent系统设计
- 强调编程和分布式训练能力，附上GitHub或论文链接
- 补充强化学习在LLM中的应用知识（如PPO、GRPO）
- 熟悉金融数据特点（如K线、财报），可自学基础金融知识
面试指南
- STAR法则：情境-任务-行动-结果，量化成果
- 先说明思路，再举具体例子，最后总结教训或优化方向
- 对于设计题，先澄清需求，再给出高层次的架构，最后深入细节
- 请介绍你参与的多模态大模型项目，包括架构、训练方法和遇到的挑战
- 如何用强化学习优化Agent的推理能力？请举例说明
- 在分布式训练中，如何处理数据并行和模型并行的混合策略？
- 金融数据（如时序图表）与自然图像在多模态建模中有何不同？
- 请设计一个Agent系统，能根据用户指令从多个金融数据源提取信息并生成报告
匹配度报告
70
综合匹配度
金融科技+前沿AI，技术成长空间大，薪资有竞争力，但工作压力可能较大。
适合人群
适合追求技术成长、愿意接受高薪但可能高强度工作的求职者。
最强匹配
成长发展匹配
最弱匹配
工作生活匹配
薪资福利80
成长发展90
工作生活40
使命价值70
薪资福利匹配
80较高
上市公司大平台，金融行业薪资水平较高，但JD未明确薪资和福利，综合评估补偿性动机较好。
薪资信号未披露（AI估算：35K-65K/月）
成长发展匹配
90较高
前沿多模态和强化学习技术，高成长空间，但JD未明确提及培训或晋升通道。
技术前沿前沿/新兴技术
技术栈多模态、大模型、强化学习、RLHF、Agent、vLLM
业务类型ambiguous
工作生活匹配
40较低
仅现场办公，上海核心区域，但未提及弹性或WLB，金融科技公司可能工作强度较大。
工作模式仅现场办公
办公地点市区核心地段
加班情况未提及（无法判断）
使命价值匹配
70中等
金融科技改善用户理财体验，有一定社会价值，但JD未突出使命感。
行业发展稳定成熟行业
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs