米哈游【日常实习】3D大模型训练优化工程师
任职要求
1、硕士及以上学历，具有扎实的计算机基础，熟悉操作系统和计算机体系结构等，熟练掌握 C++/Python，对数据结构与算法设计有较深刻的理解； 2、熟悉至少一种主流的深度学习框架（如 PyTorch）和至少一种主流的训练框架（如 Megatron/Deepspeed/FSDP）； 3、熟练掌握 CUDA 相关编程，有内核级优化经验者优先； 4、了解大模型训练基本范式，熟悉 Transformer 架构及其优化方法（如 FlashAttention、GQA/MLA 等…
工作职责
1、支撑团队不同大模型任务下的训练及推理优化，包括但不限于：架构设计、检查点优化、训练容错恢复、底层算子优化及通信优化等； 2、研究和优化大规模异构加速集群调度、存储、通信互联、监控、Profiling等组件，提升整体硬件利用效率； 3、针对具体任务调研并进行对应的 Scale Up 实验及优化，包括但不限于并行化策略优化、ZeRO/FSDP 优化、FP8、激活值优化等，加速模型训练，优化显存开销；
大模型具备很强的泛化及理解世界能力，在小红书内的众多生产场景遍地开花，大模型的训练和部署已成为许多算法工程师的日常。在多团队、多业务频繁使用的大规模GPU集群上，如何能够通过高效的GPU调度策略，使大家不仅能丝滑地完成训练及部署任务，同时也能充分激发大规模GPU集群的效能，是行业公认的关键挑战。在这里，你可以聚焦LLM场景，接触到超大规模GPU集群，并使用真实负载数据进行深入分析及技术探索。欢迎加入我们，一起探索领先技术改变世界！ 工作职责： 1、负责万卡规模GPU集群效能分析及优化，通过调度策略优化、在离线混部、集群调度、GPU虚拟化、故障快速恢复、存储&网络加速等手段，提升大规模GPU集群的整体使用效率。 2、负责构建面向大模型训练、微调、推理、部署全流程LLMOps，与下游云原生平台深度融合，支撑大模型在公司内各业务生产链路稳定高效地落地。 3、持续关注业界最新的GPU资源调度相关技术动态，探索建设业界领先的资源调度策略及方法，构建下一代大规模AI资源调度系统。
Location： 杭州市西湖区西溪谷国际商务中心G座 上海在静安区氪空间 北京在昌平龙泽地铁站滴滴天空之城A座 我们这里是滴滴国际金融最重要的业务和技术底盘，用技术的手段将底盘能力做扎实(即保障资金安全、业务系统高可用)， 国际化业务才能在更专注的去追寻业务的高速发展，不用因为技术底盘不扎实而影响业务的发展。如果你对这一块有兴趣，会得到比较快的技术成长 * 国际化业务目前发展势头良好。 * 资金安全&高可用，预防线上的资损问题和高可用问题，是国际金融业务的核心技术和底盘。 * 团队氛围开放积极，有机会与国内外各部门业务与技术进行日常交流学习。 职责要求: 1、滴滴国际化金融(IBG FinTech) 技术风险能力建设，包含应急能力、变更防御、红蓝攻防、性能容量、资金安全，构建Fintech技术风险体系； 2、参与重大项目的技术风险保障工作，对技术风险领域进行评审和分析； 3、贴身业务，挖掘业务风险，沉淀技术风险领域标杆，释放研发技术风险投入，更聚焦在业务研发上； 4、明星业务，多底盘充满了挑战和机遇，欢迎来战。
1. 负责国际化Fintech资金平台的日常设计和开发，包括payin、payout、资金等领域的需求支持 2. 重构Fintech资金平台或新建部分子系统，用合理的架构高质量高效率地解决海外渠道的接入成本、渠道可用性、支付成功率、资损防控、资金核对、差错处置、补偿和追资等需求 3. 投身拉美移动支付蓝海，依托出行、外卖、钱包、信贷等高频支付场景，支撑钱包、信用卡、理财、现金贷及商户收单等金融业务 4. 打造业界领先，稳定、安全、便捷、低成本的资金平台
你将参与或负责如下工作： 1. 负责国际化支付平台的日常设计和开发，包括收单、收银台、支付、账户账务等领域的需求支持 2. 重构国际支付平台或新建部分子系统，用合理的架构高质量高效率地解决海外渠道的可用性、支付成本、支付成功率、资损防控，以及收付款等数十个国家的多样化需求 3. 投身拉美移动支付红海，依托出行及外卖高频支付场景，支撑钱包、信用卡、理财、现金贷及商户收单等金融业务 4. 打造业界领先，稳定、安全、便捷、低成本的全球支付平台，同产品、运营和商务一起逐步推进商业化