快手【留用实习】机器学习算法工程师-多模态交互与生成
任职要求
1、硕士及以上学历，计算机科学/电子/数学/统计专业； 2、扎实的编程能力，拥有相应的音频、视频、自然语言处理的背景知识； 3、对至少一个深度学习工具有过深入了解，如PyTorch、TensorFlow等； 4、具有解决富有挑战的新颖问题的能力和热情。 加分项： 1、在顶级会议或期刊上发表过文章，包括但不限于：ISMIR、Interspeech、ICASSP、ACL、EMNLP、CVPR、ICCV、ICLR、ICML、NeurIPS、IEEE； 2、在多模态融合方面有实际算法落地经验； 3、有良好的团队协作和独立工作的能力。
工作职责
1、研究多模态数据（如音频、视频、自然语言、用户交互）的分析、处理和生成算法，实现多种模态间的融合、转化和交互； 2、探索新颖的多模态交互与生成的应用场景，推进多模态信息处理在不同业务场景下的落地。
1. 负责语音多模态大模型的研究与开发，包括Pretrain、SFT、RLHF等； 2. 负责语音处理算法的研究与开发，支撑大模型训练对数据的需求； 3. 负责大模型技术在快手业务中的落地，并探索新玩法或业务创新； 4. 负责跟踪国内外前沿技术的发展和实践，保持团队技术的敏锐性。
1、负责通过基于大语言模型及多模态大模型的微调、prompts调优、指令构建及演化技术，将大模型的生成、理解、交互能力在公司核心业务场景应用落地，包括但不限于AIGC创意生成、视频处理、智能化特效、智能对话、代码生成、音视频传输、电商场景内容理解等； 2、负责LLM及多模态大模型的应用中台及相关技术模块搭建，包括但不限于Agents 、RAG、 function call、system prompts等，探索大模型应用前沿及新兴应用场景； 3、跟踪行业及大模型技术发展，结合业界前沿技术和业务需求，打造大模型应用的最佳实践； 4、了解业务，与公司各技术团队密切配合，能与产品、运营等角色高效沟通需求和目标，发挥自己的主观能动性，设计技术解决方案，培养自己的良好的业务sense和综合素质。
1、数据特征算法方案制定与效果优化：针对不同模态、多种类目的数据，设计自动化筛选方案；对多模态数据涉及的前沿特征算法（如物体跟踪、ID 重识别、音频分离）进行场景化效果优化。与算法工程师协作，制定数据调整与扩展策略，提升模型在真实场景中的生成能力； 2、数据 pipeline 建设：负责多模态大模型训练数据的构建与管理，参与数据筛选、标注及质量评估工作。分析和挖掘现有数据资源，设计有效的数据分布策略，支持模型持续迭代； 3、数据分布分析：对模型训练数据分布进行详细分析，识别数据偏差、不均衡及潜在问题。提供可视化报告及改进建议，确保训练数据覆盖目标场景并满足多样性需求，最终通过数据驱动方法优化视频生成大模型效果。
1、参与综合短视频，直播，电商，本地，社交和多语言等搜索业务，用大规模机器学习，强化学习，多模态预训练等技术提升搜索质量，用户留存和点击率等核心业务指标； 2、负责搜索query 意图分类，query 表征，query推荐，视频内容理解&多模态表征，多模态语义召回和相关性等搜索核心技术，提升搜索用户渗透率和相关性； 3、负责搜索用户行为分析，语义和行为混合检索，多序列&多任务粗排，精排，重排等搜索排序技术，提升搜索质量和内容消费指标； 4、负责搜索生态和机制，参与搜索混排，多目标优化，异构内容混排，短期和长期目标平衡，冷启动等搜索等机制和算法。