京东多模态大模型可控视觉生成底座研发与应用
任职要求
1. 计算机及数理等相关领域的本硕博在校生。 2. 对LLM/VLM、预训练/后训练、SFT/强化学习、Diffusion Model、DiT等前沿技术有深入理解与实操经验。 3. 编码能力强，有极高的技术追求，具备出色的业务抽象表达沟通与…
工作职责
1. 负责电商零售多模态大模型的基座研发，以及支持电商全域场景的多模态应用落地。 2. 研发支持多模态参考信息的可控电商素材生成基座模型，并利用AIGC能力赋能商家平台。 3. 负责视觉/多模态、AIGC大模型技术的创新与优化，涵盖数据构建、模型设计、效果迭代与评估全流程。 4. 负责多模态大模型的预训练、增量预训练与后训练相关工作，包括模型结构升级与多模态大模型（VLM）评测等。
1. 开展电商场景下的视频生成大模型算法研究，攻克商品一致性、多参考图、多镜头控制等核心技术难题； 2. 负责视频生成模型的训练与推理优化，解决训练与应用阶段的速度及稳定性等问题，保障研究成果具备规模化落地能力； 3. 围绕电商内容应用场景构建数据迭代机制，持续优化并提升应用场景下的核心模型指标； 4. 推动多模态视频生成研究成果在集团内容业务及商品素材等场景的端到端落地，提升消费者购物体验与商品转化率。
ByteIntern：面向2027届毕业生（2026年9月-2027年8月期间毕业），为符合岗位要求的同学提供转正机会。 团队介绍：Data AML是字节跳动的机器学习中台，为抖音/今日头条/西瓜视频等业务提供推荐/广告/CV/语音/NLP的训练和推理系统。为公司内业务部门提供强大的机器学习算力，并在这些业务的问题上研究一些具有通用性和创新性的算法。同时，也通过火山引擎将一些机器学习/推荐系统的核心能力提供给外部企业客户。 1、深度参与业界效果领先的生成模型Seedance/Seedream相关工作，理解模型Seed-VLM的软硬件协同优化和算法优化逻辑，构建业界领先的模型优化能力矩阵； 2、研发面向多端异构平台的量化&稀疏、MOE压缩、Token压缩、Cache复用、投机解码、KV Cache压缩等加速算法，构建Training-Free或结合Post-Training/RL-Training的加速算法能力； 3、面向分布式训练/推理场景，深度挖掘模型表示位宽、分辨率、步数、结构等维度的冗余，通过算法和工程创新加速训练和推理过程，实现降本增效； 4、探索Efficient AIGC、Efficient LLM领域最前沿的问题，包括多模态理解生成统一建模加速、结合RL训练的模型优化等方向。
1. 研发多模态商品理解模型，融合图像、文本、视频特征，优化跨模态特征对齐与检索算法； 2. 负责高质量多模态训练数据集构建，包含图像清洗、属性标注与图文匹配关系挖掘； 3. 探索多模态大模型在图像搜索领域的应用，提升模型在复杂商品数据上的泛化能力； 4. 设计多模态表征评测框架，集成自动化评估与人工审核机制，提升模型迭代效率； 5. 基于大语言模型（LLM）实现用户意图识别、生成式排序与重排及多目标优化； 6. 结合SFT、RLHF等技术实现生成式端到端推荐建模，持续优化搜推系统决策； 7. 利用奖励模型（Reward Model）与强化学习量化商业目标，构建长期生态价值体系； 8. 探索大模型推理机制，优化语义理解与认知能力，提升搜推系统的智能化水平。
1、负责多模态大模型（MLLM）全流程算法研发，完成模型持续预训练、增量后训练、指令微调SFT、偏好对齐Alignment全链路工作；开展模型结构设计、模态融合方案设计、损失函数设计优化、训练策略迭代制定，提升模型综合能力。 2、攻坚跨模态语义对齐、多模态特征融合、异构图文/图表/文档数据解析理解等核心技术难点，优化模型在跨模态检索、视觉问答VQA、Chart/DocVQA、图文理解、长文档逻辑推理、图文生成等任务效果。 3、跟踪全球多模态大模型前沿技术演进，结合业务场景输出技术路线规划，主导模型迭代优化、技术难点攻关，沉淀可复用技术方案。 4、深耕业务场景，探索多模态模型与智能体Agent融合落地，围绕文档智能解析、grounding，图表推理、专业内容问答、复杂逻辑推理搭建垂域应用方案，实现算法技术和业务深度融合。 5、牵头多模态模型项目完整研发、迭代与落地交付，针对业务痛点定制模型优化方案，持续验证、复盘提升模型线上表现。