米哈游【日常实习】3D大模型训练优化工程师
任职要求
1、硕士及以上学历，具有扎实的计算机基础，熟悉操作系统和计算机体系结构等，熟练掌握 C++/Python，对数据结构与算法设计有较深刻的理解； 2、熟悉至少一种主流的深度学习框架（如 PyTorch）和至少一种主流的训练框架（如 Megatron/Deepspeed/FSDP）； 3、熟练掌握 CUDA 相关编程，有内核级优化经验者优先； 4、了解大模型训练基本范式，熟悉 Transformer 架构及其优化方法（如 FlashAttention、GQA/MLA 等…
工作职责
1、支撑团队不同大模型任务下的训练及推理优化，包括但不限于：架构设计、检查点优化、训练容错恢复、底层算子优化及通信优化等； 2、研究和优化大规模异构加速集群调度、存储、通信互联、监控、Profiling等组件，提升整体硬件利用效率； 3、针对具体任务调研并进行对应的 Scale Up 实验及优化，包括但不限于并行化策略优化、ZeRO/FSDP 优化、FP8、激活值优化等，加速模型训练，优化显存开销；
日常实习：面向全体在校生，为符合岗位要求的同学提供为期3个月及以上的项目实践机会。 团队介绍：UGC-Game是基于AIGC技术打造的新一代游戏开发引擎和互动社区。我们旨在提供各类工具和连接玩家和游戏产品的平台，帮助游戏创作者以更低的门槛和更高的效率，去创造更为丰富和自由的游玩互动体验，让人人都能成为游戏造梦师。加入这里，你将亲历产品从0-1的过程，dream big，dream fun！ 1、包括但不限于3D生成模型和多模态模型优化，3D数据分析，几何结构优化等； 2、包括但不限于动作生成模型优化，动作数据分析，自动重定向，自动绑定等； 3、包括但不限于LLMs方向的数据建设、指令微调、偏好对齐、模型优化； 4、包括但不限于游戏NPC智能对话交互，肢体动作生成，游戏剧情生成等应用落地。
大模型具备很强的泛化及理解世界能力，在小红书内的众多生产场景遍地开花，大模型的训练和部署已成为许多算法工程师的日常。在多团队、多业务频繁使用的大规模GPU集群上，如何能够通过高效的GPU调度策略，使大家不仅能丝滑地完成训练及部署任务，同时也能充分激发大规模GPU集群的效能，是行业公认的关键挑战。在这里，你可以聚焦LLM场景，接触到超大规模GPU集群，并使用真实负载数据进行深入分析及技术探索。欢迎加入我们，一起探索领先技术改变世界！ 工作职责： 1、负责万卡规模GPU集群效能分析及优化，通过调度策略优化、在离线混部、集群调度、GPU虚拟化、故障快速恢复、存储&网络加速等手段，提升大规模GPU集群的整体使用效率。 2、负责构建面向大模型训练、微调、推理、部署全流程LLMOps，与下游云原生平台深度融合，支撑大模型在公司内各业务生产链路稳定高效地落地。 3、持续关注业界最新的GPU资源调度相关技术动态，探索建设业界领先的资源调度策略及方法，构建下一代大规模AI资源调度系统。
Location： 杭州市西湖区西溪谷国际商务中心G座 上海在静安区氪空间 北京在昌平龙泽地铁站滴滴天空之城A座 我们这里是滴滴国际金融最重要的业务和技术底盘，用技术的手段将底盘能力做扎实(即保障资金安全、业务系统高可用)， 国际化业务才能在更专注的去追寻业务的高速发展，不用因为技术底盘不扎实而影响业务的发展。如果你对这一块有兴趣，会得到比较快的技术成长 * 国际化业务目前发展势头良好。 * 资金安全&高可用，预防线上的资损问题和高可用问题，是国际金融业务的核心技术和底盘。 * 团队氛围开放积极，有机会与国内外各部门业务与技术进行日常交流学习。 职责要求: 1、滴滴国际化金融(IBG FinTech) 技术风险能力建设，包含应急能力、变更防御、红蓝攻防、性能容量、资金安全，构建Fintech技术风险体系； 2、参与重大项目的技术风险保障工作，对技术风险领域进行评审和分析； 3、贴身业务，挖掘业务风险，沉淀技术风险领域标杆，释放研发技术风险投入，更聚焦在业务研发上； 4、明星业务，多底盘充满了挑战和机遇，欢迎来战。