快手【留用实习】多模态内容理解算法工程师
任职要求
1、硕士及以上学历，对视觉前沿技术有浓厚兴趣，时刻跟进学术界最新进展，有自己独立的想法和判断，能够快速复现学术界最新成果； 2、编程基础扎实，熟练掌握C++/Python，熟悉Pytorch、TensorFlow等训练框架； 3、对常见的模型结构、建模方法、Loss设计、优化策略、训练过程中的重要tricks等有深入了解和丰富经验； 4、工作认真努力，有很好的沟通能力。
工作职责
1、对图像、视频、文本等进行深入的语义理解，支持短视频、直播、搜索、推荐、商业化等业务需求； 2、推进视觉相关基础技术研发，如大规模分类、检测、分割、序列识别、人脸、自监督学习、内容生成、模型压缩和优化等。
1、了解多模态内容生成相关算法，如Diffusion Models 、 GAN 、 VAE 、 Autoregressive Models等，包括但不限文本/图像/视频生成，解决生成质量、多样性、可控性、采样效率、可编辑等问题； 2、了解端到端多模态生成式大模型的框架设计、训练与调优，构建基于生成模型的AI系统，推动多模态AIGC在快手各业务场景的产品化落地。
1、负责通过基于大语言模型及多模态大模型的微调、prompts调优、指令构建及演化技术，将大模型的生成、理解、交互能力在公司核心业务场景应用落地，包括但不限于AIGC创意生成、视频处理、智能化特效、智能对话、代码生成、音视频传输、电商场景内容理解等； 2、负责LLM及多模态大模型的应用中台及相关技术模块搭建，包括但不限于Agents 、RAG、 function call、system prompts等，探索大模型应用前沿及新兴应用场景； 3、跟踪行业及大模型技术发展，结合业界前沿技术和业务需求，打造大模型应用的最佳实践； 4、了解业务，与公司各技术团队密切配合，能与产品、运营等角色高效沟通需求和目标，发挥自己的主观能动性，设计技术解决方案，培养自己的良好的业务sense和综合素质。
1、参与综合短视频，直播，电商，本地，社交和多语言等搜索业务，用大规模机器学习，强化学习，多模态预训练等技术提升搜索质量，用户留存和点击率等核心业务指标； 2、负责搜索query 意图分类，query 表征，query推荐，视频内容理解&多模态表征，多模态语义召回和相关性等搜索核心技术，提升搜索用户渗透率和相关性； 3、负责搜索用户行为分析，语义和行为混合检索，多序列&多任务粗排，精排，重排等搜索排序技术，提升搜索质量和内容消费指标； 4、负责搜索生态和机制，参与搜索混排，多目标优化，异构内容混排，短期和长期目标平衡，冷启动等搜索等机制和算法。
1、基于快手自研的文生视频（可灵）、文生图（可图）、文生文（快意）等大语言模型和多模态模型，研发包含多媒体素材AIGC自动化创作系统与工具平台和 Chatbot、VideoCaption、VQA 等各类形态的工业级 AI Agent 系统，并应用于快手生态的内容生产与消费、内容理解与素材挖掘等各类业务场景； 2、参与研发AIGC、AI Agent等系统所依赖的关键子系统，并于算法团队合作持续迭代AIGC的内容质量与效果、AI Agent的智能化效果； 3、跟踪业界AIGC、AI Agent等内容成产、智能体的前沿进展，并将最新的大模型技术能力引入到实际业务场景中。