字节跳动医疗大模型多模态算法实习生-搜索-筋斗云人才计划
任职要求
1、2026届及以后毕业，博士在读，人工智能、计算机、数学相关专业优先； 2、优秀的代码能力、数据结构和基础算法功底，熟练掌握C/C++或Python编程语言； 3、熟悉计算机视觉（CV）相关的算法和技术，对MLLM中模型结构、ViT训练、Detail Caption等方向有深入理论研究和实践； 4、有自然语言处理…
工作职责
团队介绍：字节跳动搜索团队主要负责抖音、今日头条、西瓜视频等产品的搜索工程、算法创新和架构研发工作。我们的职责是用前沿的技术去打造一个用户体验佳、信息效率高的搜索引擎产品。我们的愿景是做一款用户首选的搜索引擎，我们的使命是可以充分整合内容，高效连接人与信息。 团队主要负责抖音、今日头条、西瓜视频、问答和百科等产品的业务研发和架构研发工作。 我们使用前沿的前端、客户端和服务端技术赋能于搜索业务的快速迭代，并在技术上不断创新和突破。同时专注于大流量、高并发、低延时的搜索系统的构建，在性能优化上，追求从内存、Disk等优化到业务架构和网络协议的创新探索，在迭代效能上不断探索容器化、动态化、搭建化等方案的创新，技术氛围强，充分给同学们提供自我成长的机会。 课题介绍： 课题主题：医疗大模型多模态理解能力、业务效果提升。 课题挑战：通过合成数据、Detail Caption、Grounding等方面提高模型在医疗患处图片、报告等不同数据的理解能力；在模型训练范式、模型结构、数据配比探索最佳实践方案，取得业务效果大幅提升的同时实现前沿技术突破；通过强化学习方法提升医疗科普/问诊等业务场景效果，探索理想态的CoT、LongCoT样本，激发医疗模型的深度思考能力；围绕Rule Base Reward、PRM、ORM等方法并结合GRPO/PPO等算法进行强化激发，提升模型的泛化能力。 1、负责医疗领域大模型的预训练、SFT、强化训练，模型性能达到业界领先水平； 2、对模型在业务场景中的效果负责，将模型成功落地应用并在业务中取得实际收益； 3、调研大模型方向尤其是医疗领域的前沿技术方案，持续提升部门关键技术竞争力。
ByteIntern：面向2027届毕业生（2026年9月-2027年8月期间毕业），为符合岗位要求的同学提供转正机会。 团队介绍：字节跳动 Seed 团队成立于 2023 年，致力于寻找通用智能的新方法，追求智能上限。团队研究方向涵盖 LLM、GenMedia、AI for Science、机器人等，在中国、新加坡、美国等地设有实验室和岗位。 Seed 团队在 AI 领域拥有长期愿景与决心，坚持深耕基础，期望成为世界一流的 AI 研究团队，为科技和社会发展作出贡献。目前团队已推出业界领先的通用大模型以及前沿的多模态能力，支持豆包、扣子、即梦等超过 50 个应用场景。 1、多模态大模型Post-Training全链路优化：参与SFT、RL、Agent训练等核心算法的调优与创新，围绕搜索、教育、医疗等业务场景进行定向能力打磨，提升模型在真实任务中的效果与稳定性； 2、视频通话AI体验与多模态融合：参与视频通话基础AI能力的优化，包括视觉理解、长多轮对话、逻辑推理、联网搜索等；同时参与创新特性研发，如视频Memory、智能主动响应、音视频双工等，并推动多模态推理、智能体等技术在产品中的落地； 3、可穿戴硬件端AI能力与端云协同：协同优化端侧执行链路与服务端多模态模型的适配效果，打通端云协同流程，提升视频通话及硬件联动场景下的端到端体验； 4、手机助手基础体验与智能特性研发：参与手机助手的视觉理解、工具调用、跨应用任务规划等基础能力优化；同时参与手机Memory、GUI Agent、Intent理解等新特性的研究与落地，提升整体交互体验。
研究领域： 人工智能 项目简介： 目前，大模型应用已经非常普遍，比如对话系统、AI搜索、智慧医疗、金融理财等场景。伴随着业务场景越来越丰富，大模型的迭代周期也越来越短。如何能在较短的周期内，进行快速迭代，成了各大厂的迫切诉求。在迭代过程中，如何快速评估大模型的效果，是一个非常关键的环节。 为了更好的对大模型开展评测，指导大模型进行快速、正确的迭代，我们需要聚焦以下关键的问题：1）评测对象；2）评测数据集；3）评测方法；4）评测结论反馈。 因此，本项目旨在用大模型算法，通过数据挖掘和自动化评测的技术手段，解决大模型迭代过程中的评测问题。研究方向涵盖语言大模型评测、多模态大模型评测、结构化问答评测等。
1.负责指令型大模型（LLMs）核心技术研发，包括预训练、垂域SFT、RLHF等 2.负责推理型大模型（RLMs)核心技术研发，包括RL、ReFT等，持续追踪和应用领域最新技术进展； 3.多模态泛健康AIGC的创意玩法探索，以及细粒度可控、不同输入条件下的内容生成技术研究等 4.严肃医疗诊疗方向的上限探索，用大模型辅助医学问题解决提效
3D数字人技术作为一项前沿科技，在娱乐、教育、医疗等多个领域展现出巨大的应用潜力。近年来，视觉语言大模型的突破性进展，为3D数字人的多模态交互提供了新的契机。我们希望研发新的模型、算法，利用多模态基础模型的跨模态信息处理能力，提升了3D数字人和用户交互的真实感和沉浸感，从简单的命令响应式交互向情感计算、意图理解等高级功能转变。