影石多模态大模型算法工程师
任职要求
1、计算机、自动化、数学等AI相关专业，硕士及以上学历，博士优先； 2、熟练掌握深度学习领域的基础算法，在图片识别、目标检测、图像分割、视频理解、VQA、NLP等前沿算法领域中的一个或数个有丰富的理论基础和工程经验，在大模型方向上有相关的算法经验； 3、熟悉掌握Python等编程语言，学习能力和逻辑思维能力强，具备团队合作精神； 4、有发表大模型、LLM、多模态等相关Top论文优先，有主导过大模型相关的算法项目优先。
工作职责
1、探索和研究多模态大模型技术，理解算法原理并进行深度定制和优化； 2、根据业务场景需求，进行数据搭建、模型修改、指令微调、偏好对齐、Benchmark等一系列算法优化工作； 3、提出创新性的算法解决思路，并结合前沿算法成果改进现有算法系统，探索多模态大模型在更多业务场景上的赋能。
1. 负责生态链产品大模型算法研发，主要是基于基座模型的finetune和应用 2. 负责大模型算法落地应用，包括IPC、智能门锁、智能音箱等场景，与产品和工程紧密配合，将大模型算法在能产生用户价值的场景中进行落地 3. 大模型算法部署和小型化研究，适配低成本和低算力设备 4. 可能会参与传统深度学习模型的研发和落地
1、打造最适合短视频、直播、搜索推荐、电商、创作者玩法的多模态大模型，为快手的各项业务提供基座模型技术支持。多模态技术是通向AGI的重要方法和里程碑，期待和更多对多模态技术感兴趣的同学一起打造真正带来价值的模型算法技术； 2、深度探索多模态大模型的多阶段预训练、监督微调和RLHF等技术，打造业界第一梯队的多模态大模型，赶超GPT-4o、Gemini Pro等闭源模型的实际使用效果； 3、图片、语音、音频和视频多种模态信号的高效处理方式探索，提供对各类信号最精准的理解能力； 4、混合专家、蒸馏剪枝等兼顾模型性能和效果的技术探索。
1. 负责多模态大模型数据构建、模型训练、模型自动化评测构建等工作。 2. 全方面提升多模态大模型通用、车端、具身性能。 3. 跟进大模型前沿工作
1. 探索研究多模态理解、生成式AI、机器学习、强化学习、AIGC、计算机视觉、人工智能等前沿技术； 2. 探索大规模/超大规模多模态理解与生成交织的基础模型，并进行极致系统优化；数据建设、指令微调、偏好对齐、模型优化；提升数据合成、Scalable Oversight、模型推理、规划能力，构建全面客观准确的评测体系，探索提升大模型能力； 3. 探索突破包括而不限于多模态RAG，视觉COT与Agent等在内的多模态模型、世界模型进阶能力，构建GUI/游戏等虚拟世界的通用多模态Agent； 4. 利用预训练、仿真等技术对虚拟/现实世界的各类环境进行建模，提供多模态交互探索的基本能力，推动应用落地，研发以人工智能技术为核心的新技术、新产品。