汇丰
Associate Director, Software Engineering (Model Hosting/Inference Optimisation)
Associate Director, Software Engineering (Model Hosting/Inference Optimisation)
发布于 大约 2 个月前中层管理(经理/总监)
深圳市 / 广州市
高级经验
全职员工
混合式弹性办公
本科
软件工程
HPC
LLM
CUDA
SGLang
vLLM
TensorRT-LLM
Fine-tuning
AI 估算 · 35k–55k
外资银行中层技术管理岗，结合AI稀缺技能，市场薪资较高；深圳/广州/西安一线城市薪资水平有差异，取中位数。
职位详情
关于这个职位
该职位负责构建和优化大模型托管与推理平台，包括LLM、嵌入模型等，涉及量化、批处理、分布式训练等技术，需与数据科学家合作
适合有AI平台经验、精通Python和CUDA、熟悉推理框架（如vLLM、TensorRT-LLM）的资深工程师
最低要求
本科/硕士/博士学历，ML/NLP/CS/数据科学/统计或相关领域
年以上AI平台经验，涵盖模型托管/推理优化和微调管道
大语言模型经验优先
扎实的Python和CUDA工程技能，理解GPU/CPU架构和HPC基础
深入推理专业知识：KV-cache、批处理、量化（INT4/FP8/GPTQ/AWQ）、算子优化、框架集成（vLLM, TensorRT-LLM, SGLang）
有Docker/Kubernetes和云平台（AWS/GCP/Azure）操作经验
端到端微调专业知识：数据准备、分布式训练、超参数调优、HF/Accelerate/LoRA/QLoRA
基准测试/监控/故障排除
工作职责
设计、构建和运营可扩展、可靠的模型托管平台，支持LLM、嵌入和STT/TTS，覆盖异构硬件
驱动推理优化，降低延迟、提高吞吐量和成本（量化、KV缓存优化、动态/连续批处理）
评估、集成和定制推理框架（如vLLM、TensorRT-LLM、SGLang），最大化目标硬件性能
负责推理健康度和性能监控：延迟、吞吐量、TTFT、内存、可用性
排查瓶颈和部署问题
与硬件团队合作，应用硬件特定优化，提高资源利用率
确保托管系统满足生产标准：可靠性、可扩展性、安全性、高可用性
构建端到端、可扩展的微调管道，使用领域数据集适配基础模型
与数据科学家/领域专家合作，定义目标和指标，验证结果，并将微调模型集成到托管/推理栈中
AI 洞察
优缺点分析
优点
- 岗位涉及前沿的大模型推理和微调技术，技能积累价值高
- 汇丰作为全球银行，平台大，项目规模大，能提升系统设计能力
- 混合办公模式提供灵活性，工作地点选择多
- 外资企业文化相对成熟，重视员工发展和多样性
- 大模型推理优化技术迭代快，需要持续学习和实验
- 作为Associate Director，需承担一定的管理职责和跨团队协调
- 适合有3年以上AI平台经验、对推理优化充满热情、愿意在金融科技领域深造的技术管理者
缺点 / 挑战
- 金融行业对系统稳定性要求极高，生产环境压力大
角色解读
- 向AI平台架构师或技术总监方向发展，负责更大规模的AI基础设施
- 未来可转型为AI产品负责人，结合业务需求推动平台演进
- 在汇丰内部可跨部门轮岗，积累金融科技和数字化转型经验
- 设计并维护大模型托管平台，确保高可用和可扩展性
- 优化推理性能，包括量化、批处理、KV缓存等技术
- 与硬件团队协作，进行硬件特定优化，提升资源利用率
- 构建微调管道，适配领域数据集，并与数据科学家合作验证模型效果
- 精通Python和CUDA，理解GPU/CPU架构和HPC基础
- 深入掌握推理优化技术，如vLLM、TensorRT-LLM、SGLang等框架
- 有Docker/Kubernetes和云平台操作经验，具备分布式训练能力
- 熟悉微调工具包，如Hugging Face、LoRA、QLoRA等
申请策略
- 针对汇丰的CTO平台部门，可在面试中表达对金融科技和AI基础设施的兴趣
- 提前了解汇丰的技术栈和开源贡献，展示对公司的认同
- 突出大模型推理优化项目经验，具体说明使用过的框架和优化效果
- 强调端到端微调管道的构建经历，包括数据处理、训练、部署
- 展示在云原生环境（Docker/K8s）上部署和管理AI服务的经验
- 如果有管理经验或技术领导力体现，务必强调
- 深入学习CUDA编程和GPU架构，特别是针对最新硬件（如H100）的优化
- 熟悉主流推理框架的最新特性，如vLLM的continuous batching
面试指南
- 使用STAR方法：情境-任务-行动-结果
- 强调数据驱动的决策：通过基准测试和监控指标来证明优化效果
- 展现系统思维：不仅考虑单个模型，还要考虑整个平台的可扩展性和运维
- 请描述一次你优化大模型推理性能的经历，使用了哪些技术和指标？
- 如何设计一个支持多个LLM推理请求的高可用系统？
- 你如何选择量化策略（INT4 vs FP8）？在精度和速度之间如何权衡？
- 请解释vLLM的架构和工作原理，以及它在生产环境中的优缺点
- 你如何与数据科学家协作，将微调模型部署到生产环境中？
职位点评
74
综合评分
汇丰Associate Director，大模型推理优化前沿岗位，发展性强，薪资待遇好，WLB一般。
更适合这类人
最适合追求前沿技术成长和职业发展的求职者。
表现最好
成长发展
相对薄弱
使命价值
薪资福利75
成长发展90
工作生活70
使命价值60
薪资福利
75中等
外资银行Associate Director级别薪资有竞争力，福利完善，但JD未明确具体薪资和福利细节。
薪资信号未披露（AI估算：35K-55K/月）
成长发展
90较高
岗位涉及前沿大模型技术，有丰富的学习和发展机会，JD提到持续专业发展和灵活工作，但没有明确晋升路径。
技术前沿前沿/新兴技术
技术栈LLM、vLLM、TensorRT-LLM、SGLang、CUDA、Quantization、Fine-tuning
成长机会continuous professional development
业务类型profit_center
工作生活
70中等
混合办公模式提供灵活性，但JD未提及具体远程天数或WLB政策。
工作模式混合式弹性办公
办公地点未明确
加班情况未提及（无法判断）
使命价值
60中等
金融科技对社会有正向影响，但JD未突出使命感或社会价值。
行业发展稳定成熟行业
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs