汇丰
Sr. Associate Director, Software Engineering
Sr. Associate Director, Software Engineering
发布于 大约 14 小时前中层管理(经理/总监)
广州市
高级经验
全职员工
混合式弹性办公
本科
软件工程
Cuda
Llm
Lora
Qlora
Sglang
Tensorrt-Llm
Vllm
团队管理
模型微调
AI 估算 · 45k–65k
高级AI管理职位，汇丰广州，薪资有竞争力，市场稀缺度高。
职位详情
关于这个职位
该职位是汇丰银行CTO平台部门的软件工程高级副总监，负责AI模型的托管与推理优化、微调流水线开发，并带领工程团队交付成果
适合具备深厚AI工程背景和团队管理经验的技术领导者
最低要求
机器学习、自然语言处理、计算机科学、数据科学、统计学或相关领域的学士/硕士/博士学位
年以上团队领导经验，包括人员管理和交付所有权
年以上AI经验，在模型推理优化/托管和模型微调流水线开发方面有成熟的专业知识
有LLM相关工作经验者优先
精通Python、CUDA等编程语言
熟悉GPU/CPU架构和高性能计算原理
深入了解AI模型推理：KV缓存管理、批处理、量化（INT4/FP8/GPTQ/AWQ）、算子优化和推理框架集成（vLLM、TensorRT-LLM、SGLang等）
有构建和维护模型托管系统的实践经验，包括容器化（Docker、Kubernetes）和云计算平台（AWS、GCP、Azure）进行可扩展部署
擅长设计端到端模型微调流水线：数据预处理、分布式训练、超参数调优以及与预训练模型的集成
熟悉微调框架和工具（Hugging Face Transformers、Accelerate、LoRA、QLoRA），并能优化微调工作流以提高效率
具备推理和微调系统的性能基准测试、监控和故障排除经验
展现出AI原生思维，应用AI驱动的方法提高生产力、质量和决策能力
有利用编码助手（如AI结对编程工具）加速软件开发、提升代码质量和支持工程最佳实践的经验
工作职责
支柱1：模型托管与推理优化
设计、构建和维护可扩展、可靠的模型托管系统，以支持跨多样硬件平台的大规模AI模型部署（LLM、嵌入模型、STT/TTS等）
开发并实施推理优化策略，以实现低延迟、高吞吐量和成本效率，包括模型量化、KV缓存优化和动态批处理/连续批处理
评估、集成和定制最先进的推理框架（vLLM、TensorRT-LLM、SGLang等），以优化目标硬件上的模型性能
监控和维护推理系统健康，跟踪关键性能指标（延迟、吞吐量、TTFT、内存使用率、可用性），并解决性能瓶颈或部署问题
与硬件团队合作，利用硬件特定优势并优化托管基础设施以实现最大资源利用率
确保模型托管系统符合可靠性、可扩展性和安全性标准，支持高可用性生产工作负载
支柱2：模型微调流水线开发
设计并构建端到端、可扩展的模型微调流水线，以支持使用自定义、特定领域数据集对预训练模型进行领域特定适配
与数据科学家和领域专家合作，理解领域需求，定义微调目标，并针对领域特定指标验证微调模型性能
将微调模型集成到现有的托管和推理基础设施中，确保从微调到部署的顺利交接
支柱3：团队管理与交付所有权
领导和培养高绩效工程团队：招聘、指导、绩效管理，并培养包容、协作的文化
端到端拥有交付成果，包括路线图规划、优先级排序、利益相关者管理以及按时间表和质量标准执行
优先资格
有LLM相关工作经验者优先
AI 洞察
优缺点分析
优点
- 汇丰作为全球领先的银行，平台稳定，资源充足，项目影响力大
- 职位聚焦AI基础设施前沿技术（LLM推理优化、微调），技术成长空间大
- 混合办公模式提供灵活性，团队管理经验可迁移性强
- 技术栈更新快，需要持续学习并推动团队跟上行业趋势
- 适合具有深厚AI工程背景、渴望从技术专家转型为团队领导者的候选人，能够在稳定的大平台上推动创新
缺点 / 挑战
- 作为高级管理者，需要平衡技术深度与人员管理职责，工作强度较高
- 金融行业对系统的可靠性、安全性和合规性要求严格，压力较大
角色解读
- 可晋升为Director或更高管理层，负责更大规模的工程团队和战略方向
- 在AI基础设施领域持续深耕，成为行业专家，影响公司技术决策
- 跨部门调动到其他核心业务线，拓宽金融科技领域视野
- 领导并管理一个高绩效的AI工程团队，负责招聘、指导和绩效管理
- 设计和构建大规模AI模型的托管与推理系统，优化性能、降低成本
- 开发端到端的模型微调流水线，支持业务领域的定制化
- 与跨部门团队协作，制定技术路线图并确保按时交付
- 精通Python、CUDA，熟悉GPU/CPU架构和高性能计算
- 深入了解模型推理优化技术（量化、KV缓存、批处理等）和主流推理框架
- 具备容器化（Docker、Kubernetes）和云平台（AWS/GCP/Azure）经验
- 有团队管理和项目交付的丰富经验，能制定优先级并推动执行
申请策略
- 关注汇丰的技术文化和对AI的投入，在面试中展现对金融科技的热情
- 准备一个技术领导力的案例，展示如何平衡技术决策与团队发展
- 突出管理经验：列出团队规模、关键交付成果、人员成长案例
- 强调AI基础设施项目：量化模型推理优化带来的延迟/吞吐量提升
- 展示技术深度：具体说明使用的框架（vLLM、TensorRT-LLM等）和优化方法
- 提及金融科技或大规模系统经验，体现对可靠性和合规性的理解
- 如果缺乏LLM相关经验，可学习LLM推理优化和微调，通过开源项目练习
- 补充云原生技术（Kubernetes、Docker等）的实践，尤其是部署大规模AI服务
面试指南
- 使用STAR方法（情境、任务、行动、结果）回答行为问题
- 技术问题需结合具体数据（延迟、吞吐量等）展示量化成果
- 管理问题要体现以人为本，强调沟通、赋能和结果导向
- 请描述你在模型推理优化方面的具体经验，使用过哪些框架？取得了什么成果？
- 你如何管理一个工程团队？请举例说明你如何处理团队冲突或绩效问题
- 在金融行业部署AI模型时，你如何考虑可靠性、安全性和合规性？
- 你对LLM的最新进展有哪些了解？你如何看待LLM在银行业的应用？
- 请描述一个你负责的从零到一的AI项目，从规划到交付
职位点评
79
综合评分
稳定大厂、技术前沿、管理岗位，薪资优厚，WLB尚可。
更适合这类人
最适合追求前沿技术成长和管理能力提升的求职者，对薪酬和稳定性也有较高期待。
表现最好
成长发展
相对薄弱
使命价值
薪资福利85
成长发展90
工作生活75
使命价值65
薪资福利
85较高
该职位薪资水平较高，福利完善（大型外企标准），且明确提及灵活办公，对补偿性动机满足较好。
薪资信号未披露（AI估算：45K-65K/月）
福利待遇flexible working、opportunities to grow
成长发展
90较高
职位聚焦AI前沿技术（LLM推理优化、微调），提供持续专业发展机会，成长空间大。
技术前沿前沿/新兴技术
技术栈LLM、vLLM、TensorRT-LLM、SGLang、量化、KV缓存、LoRA、QLoRA、分布式训练
成长机会continuous professional development、opportunities to grow、fostering an inclusive, collaborative culture
业务类型profit_center
工作生活
75中等
混合办公模式提供灵活性，但高级管理角色可能涉及较高的工作强度。
工作模式混合式弹性办公
办公地点市区核心地段
加班情况未提及（无法判断）
工作生活平衡flexible working
使命价值
65中等
金融行业稳定，但社会影响力有限，更多体现在技术支持层面。
行业发展稳定成熟行业
社会影响中性/一般
使命信号make a real impression、valued, respected
创新程度积极采用新技术
Watch Jobs