美团机器学习资源调度系统工程师
任职要求
1. 计算机基础扎实,熟练掌握Go、Python或Java至少一种编程语言。 2. 3年以上软件开发或系统架构经验,有大规模集群管理经验者优先。 3. 熟悉Kubernetes、Containerd、Docker等云原生核心技术栈和云原生开发模式。 4. 具备良好的系统设计与问题排查能力,有机器学习平台开发…
工作职责
1. 负责机器学习平台的资源调度系统设计与优化,提升集群资源利用率。 2. 构建和维护大规模算力集群,支撑大规模分布式训练、推理等多样化 AI 工作负载,保障高可用与高性能运行。 3. 与算法和工程团队协作,优化训练任务调度策略,针对 GPU 计算、显存、互联带宽等关键路径进行性能调优,降低训练成本与时间。 4. 建设覆盖硬件、驱动、调度链路的全栈可观测体系,基于监控数据驱动资源优化与容量预测决策。 5. 开发自动化运维工具,实现任务调度、监控告警与故障自愈能力。 6. 跟踪业界前沿技术,持续改进集群管理与调度架构。
我们专注于大数据之上的机器学习算法研究与应用,如果你了解机器学习、深度学习、强化学习、迁移学习、主动学习、特征提取与稀疏学习、等级学习等相关知识,对人工智能抱有极大的热情,勇于挑战各种实际应用难题,欢迎加入我们! 具体职责包括但不限于: 1、负责机器学习、深度学习领域的技术研发工作,包括但不限于神经元网络模型设计与优化、强化学习、迁移学习、主动学习、维度降低、核方法、谱方法、特征提取与稀疏学习、等级学习、推荐、随机优化等的算法和系统研发等。 2、负责机器学习尤其是深度学习前沿问题的探索与研究,结合未来实际应用场景,提供全面的技术解决方案。 3、负责提供分布式的算法实现的解决方案,大幅提升算法计算规模和性能。 4、负责提供大数据分析建模方案,沉淀行业解决方案,协助拓展业务边界。

•参与相关机器学习、强化学习等模型的研发、设计、训练调优和部署等工作,配合工程团队产出企业级的算法产品•将机器学习、强化学习领域的算法应用于实际场景,解决真实业务问题•将实践中的创新点以Github Repo/Paper/Tech Report等形式开源
下一代AI应用场景复杂多样,对推理加速提出迫切需求。我们将系统性探索从服务化优化提升资源效能,到前沿压缩算法设计,再到高性能算子优化等关键层面,致力于构建一套灵活、高效的推理加速体系,为下一代AI技术的广泛落地与创新突破注入强劲动力。在这里,你将拥有充分的探索空间和资源支持,和我们一起挑战具有业界影响力的高价值课题。 核心职责与挑战 我们希望你对技术充满好奇,并具备出色的动手能力。在导师的指导下,你将参与到以下一项或多项富有挑战的工作中: 1. 下一代生成模型推理技术探索: a. LLM/MLLM: 探索针对AR的生成特点,探索超高倍投机采样、模型压缩、efficient attention、蒸馏等技术。 b. Diffusion: 探索sparse attention、cache、采样步数消减等技术。 c. 软硬结合的优化技术:探索极低比特量化、稀疏计算等硬件依赖的前沿加速技术。 2. 极致性能的推理引擎工程实践: a. 深入分析与优化现有推理框架(如vLLM, TensorRT-LLM等)的性能瓶颈,进行从算子到系统层面的全栈优化。 b. 精通CUDA/CUTLASS/Triton等底层编程技术,针对新型Transformer架构变种,手写高性能算子,压榨硬件的每一分潜力。 c. 设计和实现高效的KV Cache管理与压缩方案,优化请求调度与批处理策略,最大化系统吞吐并降低延迟。