蚂蚁集团
蚂蚁集团-财富AI Lab-大模型评测工程师（金融方向）
蚂蚁集团-财富AI Lab-大模型评测工程师（金融方向）
发布于 大约 10 小时前普通员工/个人贡献者
全职员工仅现场办公算法优化工程师
算法优化工程师
Llm
Llm-As-A-Judge
Rag
投资理财
金融评测
值不值得投
75综合评分
综合评分 75
蚂蚁集团财富AI Lab大模型评测工程师，技术前沿，薪资面议，WLB一般。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
40K
比算法优化工程师中位数低
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 1080 个在招
市场机会
选择面较广
杭州 · 算法优化工程师 · 66 个在招
职位详情
关于这个职位
该职位隶属于蚂蚁集团财富AI Lab，专注于金融领域大模型评测体系的建设
你将负责构建金融Benchmark、设计评测标准与多路Judge，并开展版本评测与根因归因，推动质量改进闭环
适合具备金融专业背景和AI动手经验，对评测与实验设计有浓厚兴趣的候选人
最低要求
金融相关专业背景：计算机/数学/统计 + 金融交叉背景优先，金融工程、金融学、数量经济等相关专业
有基金、券商、银行理财、投研、量化或保险资管等金融机构从业经历者优先
年以上工作经验，本科及以上
投资理财专业能力：
① 领域知识——熟悉股票、基金、ETF、债券、衍生品、资产配置等至少一个方向，能核验并挑战其中的金融逻辑与结论
② 数据严谨性——理解金融数据的主体、口径、币种、复权、报告期等维度，能识别主体错配、时点错配、单位错误与口径混用，能从推导过程、适用条件、风险边界追问结论的可靠性
③ 合规边界——理解收益承诺、投资建议、投顾适当性等金融合规红线
AI 动手经验：拥抱 AI，有用大模型做过投资理财类 Agent、量化分析、投研辅助等场景任务的动手经验，熟悉 Prompt、RAG、Agent 与工具调用机制
评测与方法论：对评测与实验设计有兴趣，愿意在团队方法论下掌握抽样、对照实验、Precision/Recall、置信区间、偏差等概念
具备结构化分析与证据意识，能在结论存在争议时明确事实、假设与边界
工作职责
建设金融领域深度 Benchmark：抽象投资理财领域的真实任务，把金融专家的研究框架、分析逻辑与业务规则沉淀为可泛化、可规模化的 Rubric / Checkpoint
从真实流量、典型任务、长尾与高风险 Case 构造有代表性的金融评测集，持续提升蚂小财的金融专业力与事实准确性
设计金融专业评测标准与多路 Judge：联合金融专家、产品、算法团队，将专业判断转化为原子、可追溯的标准
组合 LLM Judge、金融事实核验、规则 / Python Judge、Vision 与 Trace Judge，并结合专家 Gold 持续校准，提升评测可信度
开展版本评测与根因归因：搭建生产级评测工程，通过同口径 A/B、配对实验、置信区间与噪声基线判断版本变化是否真实，链路定位问题，区分模型错误、金融口径差异、检索供给错误、工具故障与 Judge 误判
推动质量改进闭环：将评测发现转化为模型、数据、Prompt、工具、产品或标准的明确改进动作，建立 Badcase 闭环，联动算法、产品、工程与金融专家团队，输出支持版本准出与研发决策的指标、证据与代表性 Case
优先资格
加分项：建设过 LLM Benchmark、LLM-as-a-Judge、RAG / Agent Evaluation 或自动化评测平台
有 CFA、FRM、CPA、证券/基金从业等知识体系
有论文、专利、开源项目或用 AI 解决过金融行业问题的可展示案例
AI 洞察
优缺点分析
优点
- 蚂蚁集团平台大，资源丰富，能接触前沿的金融AI应用场景
- 岗位稀缺，金融+AI复合背景人才需求旺盛，职业前景好
- 评测工作可能涉及大量细节，需要耐心和严谨
- 跨团队协作多，沟通成本高
- 适合有金融背景且对AI技术有浓厚兴趣，喜欢钻研和解决复杂问题，具备严谨逻辑和协作精神的求职者
缺点 / 挑战
- 工作内容有挑战性，能深度参与大模型评测体系建设，积累宝贵经验
- 对金融专业知识和AI技术都有较高要求，需要持续学习
角色解读
- 可向大模型评测专家或AI质量保障方向深入，成为金融AI领域的稀缺人才
- 有机会晋升为技术专家或团队负责人，领导评测团队
- 可横向拓展至AI产品经理或金融科技解决方案等方向
- 构建金融领域的大模型评测基准（Benchmark），将金融专家的知识转化为可量化的评测标准
- 设计并实现多路Judge系统，包括LLM Judge、规则校验、金融事实核验等，确保评测结果可靠
- 负责版本评测和根因分析，通过A/B测试和统计分析判断模型改进效果，并定位问题来源
- 推动评测结果反馈到模型、数据、产品等环节，形成质量改进闭环
- 扎实的金融知识，熟悉股票、基金、债券等至少一个领域，能理解金融数据的复杂性和合规要求
- 具备AI应用经验，熟悉大模型、Prompt、RAG、Agent等，有实际项目经验
- 掌握评测方法论，如实验设计、统计检验、置信区间等，有数据分析和证据意识
- 良好的沟通协作能力，能与金融专家、算法、产品等多团队高效合作
申请策略
- 了解蚂蚁集团财富AI Lab的业务方向，如蚂小财
- 在简历中展示你对金融AI评测的独特见解
- 突出金融专业背景和相关从业经历，如基金、券商等
- 强调大模型应用项目经验，尤其是投资理财、量化分析等场景
- 展示评测相关经验，如构建Benchmark、设计评测体系等
- 如有CFA、FRM等证书或开源项目，务必提及
- 学习大模型评测方法，如LLM-as-a-Judge、RAG评估等
- 熟悉Python和数据分析工具，如pandas、numpy
面试指南
- 结合具体项目，说明设计思路和实现过程
- 强调数据严谨性和实验设计，体现逻辑性
- 展示跨团队协作和沟通能力
- 如何设计一个针对金融领域大模型的评测基准？
- 请描述一次你使用大模型解决金融问题的经历
- 如何确保评测结果的可靠性和可重复性？
- 当评测结果与金融专家意见不一致时，你会如何处理？
- 你如何理解金融合规在AI应用中的重要性？
职位点评
薪资福利80
成长发展90
工作生活50
使命价值70
薪资福利
80较高
蚂蚁集团作为巨头企业，薪资福利优厚，但JD未明确薪资，需面议。
薪资信号面议 (30K-50K/月)
成长发展
90较高
岗位涉及前沿大模型评测技术，有明确的成长路径和技能提升空间。
技术前沿前沿/新兴技术
技术栈LLM、Benchmark、LLM-as-a-Judge、RAG、Agent
业务类型profit_center
工作生活
50较低
工作地点在北京或杭州，但JD未提及弹性工作，可能需现场办公。
工作模式仅现场办公
办公地点未明确
加班情况未提及（无法判断）
使命价值
70中等
金融AI领域有社会价值，但JD未强调使命，行业增长快。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
蚂蚁集团 的其他在招职位
相似职位推荐
Watch Jobs