快手【快Star-X实习】多模态内容理解算法工程师
任职要求
1、硕士及以上学历，对视觉前沿技术有浓厚兴趣，时刻跟进学术界最新进展，有自己独立的想法和判断，能够快速复现学术界最新成果； 2、编程基础扎实，熟练掌握C++/Python，熟悉Pytorch、TensorFlow等训练框架； 3、对常见的模型结构、建模方法、Loss设计、优化策略、训练过程中的重要tricks等有深入了解和丰富经验； 4、工作认真努力，有很好的沟通能力。
工作职责
1、对图像、视频、文本等进行深入的语义理解，支持短视频、直播、风控、搜索、推荐、商业化等业务需求； 2、推进视觉相关基础技术研发，如大规模分类、检测、分割、序列识别、人脸、自监督学习、内容生成、模型压缩和优化等。
1、负责通过基于大语言模型及多模态大模型的微调、prompts调优、指令构建及演化技术，将大模型的生成、理解、交互能力在公司核心业务场景应用落地，包括但不限于AIGC创意生成、视频处理、智能化特效、智能对话、代码生成、音视频传输、电商场景内容理解等； 2、负责LLM及多模态大模型的应用中台及相关技术模块搭建，包括但不限于Agents 、RAG、 function call、system prompts等，探索大模型应用前沿及新兴应用场景； 3、跟踪行业及大模型技术发展，结合业界前沿技术和业务需求，打造大模型应用的最佳实践； 4、了解业务，与公司各技术团队密切配合，能与产品、运营等角色高效沟通需求和目标，发挥自己的主观能动性，设计技术解决方案，培养自己的良好的业务sense和综合素质。
1、参与综合短视频、直播、电商、本地、社交和多语言等搜索业务，用大规模机器学习、强化学习、多模态预训练等技术提升搜索质量，用户留存和点击率等核心业务指标； 2、负责搜索query 意图分类、query 表征、query推荐、视频内容理解&多模态表征、多模态语义召回和相关性等搜索核心技术，提升搜索用户渗透率和相关性； 3、负责搜索用户行为分析、语义和行为混合检索、多序列&多任务粗排、精排、重排等搜索排序技术，提升搜索质量和内容消费指标； 4、负责搜索生态和机制，参与搜索混排、多目标优化、异构内容混排、短期和长期目标平衡、冷启动等搜索等机制和算法。
1、基于快手自研的文生视频、文生图、文生文等大语言模型和多模态模型，研发包含多媒体素材AIGC自动化创作系统与工具平台和 Chatbot、VideoCaption、VQA 等各类形态的工业级 AI Agent 系统，并应用于快手生态的内容生产与消费、内容理解与素材挖掘等各类业务场景； 2、参与研发AIGC、AI Agent等系统所依赖的关键子系统，并与算法团队合作持续迭代AIGC的内容质量与效果、AI Agent的智能化效果； 3、跟踪业界AIGC、AI Agent等内容成产、智能体的前沿进展，并将最新的大模型技术能力引入到实际业务场景中。
参与快手大模型推理引擎研发，工作内容包括： 1、参与大模型推理引擎的设计和研发，支撑快手自研以及开源模型的快速部署和高性能推理 2、通过各种技术手段持续优化性能，降低推理成本，包括但不限于：算子/编译优化、异构推理、模型量化&蒸馏、分布式并行等 3、支持RL中的多样化采样、generation性能优化等