快手【留用实习】多模态大模型算法工程师-AIGC
任职要求
1、硕士及以上学历，计算机、数学或统计学相关专业； 2、对基于图像、视频、语音、文本等模态内容的各类算法有一定的理解，并在如下一个或多个相关方向有相关研究经历： GAN 、扩散模型、图像生成、多模态等； 3、具备扎实的编程功底，熟悉 Pytorch 等主流深度学习框架，熟练使用 C ++/ Python 等至少一种编程语言，熟悉 Linux 开发环境； 4、对学术前沿有浓厚兴趣，时刻跟进技术前沿，并善于利用各类技术解决复杂的实际问题，有良好的沟通表达能力。
工作职责
1、了解多模态内容生成相关算法，如Diffusion Models 、 GAN 、 VAE 、 Autoregressive Models等，包括但不限文本/图像/视频生成，解决生成质量、多样性、可控性、采样效率、可编辑等问题； 2、了解端到端多模态生成式大模型的框架设计、训练与调优，构建基于生成模型的AI系统，推动多模态AIGC在快手各业务场景的产品化落地。
1、负责通过基于大语言模型及多模态大模型的微调、prompts调优、指令构建及演化技术，将大模型的生成、理解、交互能力在公司核心业务场景应用落地，包括但不限于AIGC创意生成、视频处理、智能化特效、智能对话、代码生成、音视频传输、电商场景内容理解等； 2、负责LLM及多模态大模型的应用中台及相关技术模块搭建，包括但不限于Agents 、RAG、 function call、system prompts等，探索大模型应用前沿及新兴应用场景； 3、跟踪行业及大模型技术发展，结合业界前沿技术和业务需求，打造大模型应用的最佳实践； 4、了解业务，与公司各技术团队密切配合，能与产品、运营等角色高效沟通需求和目标，发挥自己的主观能动性，设计技术解决方案，培养自己的良好的业务sense和综合素质。
1、参与快手大模型（包括不限于大语言模型，文生图模型，文生视频模型和多模态大模型）日常评测工作和评测体系建设； 2、参与评测方案的持续迭代和优化，通过Prompt工程、自训练算法模型、NLP模型等手段，建设提升大模型评测能力； 3、参与快手大模型相关应用的迭代和效果优化，调研行业先进AI技术，并推动落地在实际项目中； 4、与相关上下游团队密切配合，评估模型效果、给出迭代建议、明确优化方向，从评测视角持续帮助模型能力提升。
1、基于快手自研的文生视频（可灵）、文生图（可图）、文生文（快意）等大语言模型和多模态模型，研发包含多媒体素材AIGC自动化创作系统与工具平台和 Chatbot、VideoCaption、VQA 等各类形态的工业级 AI Agent 系统，并应用于快手生态的内容生产与消费、内容理解与素材挖掘等各类业务场景； 2、参与研发AIGC、AI Agent等系统所依赖的关键子系统，并于算法团队合作持续迭代AIGC的内容质量与效果、AI Agent的智能化效果； 3、跟踪业界AIGC、AI Agent等内容成产、智能体的前沿进展，并将最新的大模型技术能力引入到实际业务场景中。
1、打造最适合短视频、直播、搜索推荐、电商、创作者玩法的多模态大模型，为快手的各项业务提供基座模型技术支持。多模态技术是通向AGI的重要方法和里程碑，期待和更多对多模态技术感兴趣的同学一起打造真正带来价值的模型算法技术； 2、深度探索多模态大模型的多阶段预训练、监督微调和RLHF等技术，打造业界第一梯队的多模态大模型，赶超GPT-4o、Gemini Pro等闭源模型的实际使用效果； 3、图片、语音、音频和视频多种模态信号的高效处理方式探索，提供对各类信号最精准的理解能力； 4、混合专家、蒸馏剪枝等兼顾模型性能和效果的技术探索。