快手【快Star-X】多模态推理模型算法工程师
任职要求
1、硕士及以上学历,计算机、人工智能、数学等相关专业; 2、具备扎实的机器学习、强化学习和多模态学习基础,熟悉 DiT、Flow matching、DPO/PPO/GRPO等相关技术; 3、强烈的自驱力、探索精神和批判性思维,具备系统性解决复杂工程与科学问题的能力。 加分项: 1、有相关研究或者项目经验; 2、有相关方向高水平期刊或会议论文发表经历; 3、做过有影响力的开源项目或产品。
工作职责
1、负责研发业界领先的多模态推理模型,重点研究多模态理解与生成的统一推理架构,探索并推动多模态综合推理能力的边界突破; 2、探索创新性机制设计,包括但不限于强化学习的奖励机制、长期记忆机制与高效的在线/持续学习范式; 3、研究如何在统一的状态空间中有效整合、抽象与利用不同模态(图像、视频、语言、等)信息,完成复杂推理任务; 4、发表高水平学术论文和开源项目,提升团队在学术界、工业界的技术影响力。
1、diffusion步数压缩: 探索 diffusion 模型的 one-step / few-steps 的无损蒸馏算法, 跟进学术界最前沿的 few-steps diffusion 算法, 包括但不限于 consistency modeling, shortcut, score distillation等方案, 打造实时化的极致高效可灵/可图 大模型; 2、高效attention设计: 探索新一代注意力实现机制, 包括但不限于: sparse/quant-attention, linear-attention, mamba等, 打破 attention 计算平方复杂度限制, 解决 长序列视频/图像 引起的推理挑战, 推进 可灵/可图 大模型的长序列场景下的推理极限; 3、强化反馈优化: 应用 DPO/GRPO/PPO 等强化学习的手段调优模型效果, 在模型压缩的前置条件下探索强化学习与压缩算法的化学反应, 推动 可灵/可图 大模型的效果-效率帕雷托前沿新SOTA。
1、参与多模态模型、视频生成模型等大模型的分离式推理编排、异构算力匹配、全球化计算调度; 2、参与大规模异构算力集群的算力资源池化、弹性资源混部、潮汐资源调度; 3、基于HBO、强化学习等优化算法,持续优化工业级多模态视频生成、多模态内容理解系统的耗时体验与算力消耗。
1、参与多模态模型、视频生成模型等大模型的全链路数据生产流水线搭建; 2、参与多模态数据处理所需的LLM/VLM模型推理、跨模态检索、跨模态对齐等工程系统的建设; 3、基于各类分布式数据处理以及推理优化技术,持续优化超大规模多模态数据处理的推理、存储以及检索效率。
1、探索和打造下一代 AI 驱动的广告生成、推荐与竞价系统。致力于将 AIGC、大语言模型(LLM)、多模态大模型(MLLM)、博弈论以及强化学习(RL)等前沿技术,应用于业务的各个核心环节,提升平台商业效率与用户体验。 2、参与端到端大模型应用系统的设计与落地,涵盖模型训练、算法优化、系统部署及业务集成; 3、深入研究大模型在广告创意生成、广告推荐、机制设计、用户建模、Query建模、智能竞价等领域的创新应用; 4、与业务、产品、系统、平台等多团队紧密合作,在真实超大规模数据和复杂业务场景中打磨技术; 5、持续跟进行业前沿技术,探索具备商业价值与学术创新的解决方案,推动技术落地与规模化应用。