京东多模态算法工程师
任职要求
1.研究方向为人工智能、大语言模型、搜索推荐、强化学习，硕士以上学历； 2.在顶级期刊或国际会议（如CCF-A）上，以第一作者发表论文；或者在顶级竞赛上获奖； 3.熟悉多模态视觉大模型相关算法（LLaVa、Chameleon、Qwen-VL、OpenCLIP等）…
工作职责
1.探索大规模/超大规模多模态视觉大模型，并进行极致系统优化，数据建设、指令微调、偏好对齐、模型优化； 2.探索统一的多模态大模型架构，打通理解与生成之间的壁垒，研究如何在单一模型框架下实现对多模态信息的深度理解与高质量生成； 3.探索多模态推理模型（Reasoning）架构、提升多模态在学科、通用视觉任务上的思考和推理能力； 4..探索多模态视觉大模型后训练方法，探索指令微调、强化学习等后训练策略，提升模型的性能。
业务描述： 1、研发Omni基础模型 2、研发金融的预测模型 3、研发激活模型抽象能力、学习能力、知识与规律的自我探索能力的方式 4、研发跟投资的人思维模式对齐的模型回复方式 5、研发模型的长期记忆，逻辑库存储、推演新的逻辑进行规律发现和持续学习 岗位职责： 1、结合Omni架构将模型拓展为世界模型雏形，研发流式的Omni Real Time 交互模型 2、探索原生的多模态表征方法（Native Multimodal Representation） 3、探索多模态对齐（Audio-Language、Vision-Language、Video-Language）与跨模态表示学习 4、构建面向 Omni场景的多模态数据流水线和数据治理体系（文本、图像、音频、视频） 5、研究并实现多模态预训练、指令微调、对齐学习与RL 的各种PO训练策略 6、优化训练性能，提升训练效率与推理速度（包括KV缓存、量化、蒸馏等） 7、针对实际业务场景进行模型压缩、蒸馏、推理加速与端侧适配 8、提升在多模态问答、检索增强、多轮对话、Agent任务中的表现与鲁棒性 9、支持模型在多端产品落地（APP端、网页端、智能硬件等）
1、参与设计基于CV/NLP/多模态算法的内容理解识别方案；负责快手广告视频场景的内容识别与生态治理算法研究及应用； 2、探索风控与广告生态场景的大模型落地方案，应用于生态治理核心业务中； 3、深入理解业务本质，与产品运营配合，持续提升内容识别能力，综合使用多种手段，识别平台内不良内容，解决广告生态体验的问题。
1. 基于大模型的多模态内容理解技术研发与应用落地，涵盖文本、图像、音频、视频等多类型数据的融合处理； 2. 设计并优化多模态语义理解算法，包括但不限于跨模态检索、多模态内容生成、多模态情感分析、多模态语义匹配等； 3. 参与构建多模态内容理解系统，解决实际业务场景中的复杂问题，并应用于内容安全、生态治理、智能内容审核等核心业务中； 4. 跟踪国内外大模型与多模态技术前沿动态，将先进算法与技术转化为实际应用方案，推动技术创新与产品迭代。
1、负责图像分类、目标检测、多模态算法的研发创新； 2、参与设计基于CV/多模态算法的内容安全审核方案，应用到快手的视频、直播、图文等多个核心场景。