字节跳动医疗大模型多模态算法实习生-搜索-筋斗云人才计划
任职要求
1、2026届及以后毕业,博士在读,人工智能、计算机、数学相关专业优先; 2、优秀的代码能力、数据结构和基础算法功底,熟练掌握C/C++或Python编程语言; 3、熟悉计算机视觉(CV)相关的算法和技术,对MLLM中模型结构、ViT训练、Detail Caption等方向有深入理论研究和实践; 4、有自然语言处理(NLP)、大模型训练和强化学习(RL)算法经验者优先。 加分项: 1、有ICML、ICLR、NeurIPS、ACL、CVPR等顶级学术会议发表过有影响力研究成果的优先; 2、在ACM/ICPC、NOI/IOI、Kaggle等编程/AI比赛获奖者优先; 3、主导、参与过AI相关的有大影响力的开源/闭源项目的优先。
工作职责
团队介绍:字节跳动搜索团队主要负责抖音、今日头条、西瓜视频等产品的搜索工程、算法创新和架构研发工作。我们的职责是用前沿的技术去打造一个用户体验佳、信息效率高的搜索引擎产品。我们的愿景是做一款用户首选的搜索引擎,我们的使命是可以充分整合内容,高效连接人与信息。 团队主要负责抖音、今日头条、西瓜视频、问答和百科等产品的业务研发和架构研发工作。 我们使用前沿的前端、客户端和服务端技术赋能于搜索业务的快速迭代,并在技术上不断创新和突破。同时专注于大流量、高并发、低延时的搜索系统的构建,在性能优化上,追求从内存、Disk等优化到业务架构和网络协议的创新探索,在迭代效能上不断探索容器化、动态化、搭建化等方案的创新,技术氛围强,充分给同学们提供自我成长的机会。 课题介绍: 课题主题:医疗大模型多模态理解能力、业务效果提升。 课题挑战:通过合成数据、Detail Caption、Grounding等方面提高模型在医疗患处图片、报告等不同数据的理解能力;在模型训练范式、模型结构、数据配比探索最佳实践方案,取得业务效果大幅提升的同时实现前沿技术突破;通过强化学习方法提升医疗科普/问诊等业务场景效果,探索理想态的CoT、LongCoT样本,激发医疗模型的深度思考能力;围绕Rule Base Reward、PRM、ORM等方法并结合GRPO/PPO等算法进行强化激发,提升模型的泛化能力。 1、负责医疗领域大模型的预训练、SFT、强化训练,模型性能达到业界领先水平; 2、对模型在业务场景中的效果负责,将模型成功落地应用并在业务中取得实际收益; 3、调研大模型方向尤其是医疗领域的前沿技术方案,持续提升部门关键技术竞争力。
研究领域: 人工智能 项目简介: 目前,大模型应用已经非常普遍,比如对话系统、AI搜索、智慧医疗、金融理财等场景。伴随着业务场景越来越丰富,大模型的迭代周期也越来越短。如何能在较短的周期内,进行快速迭代,成了各大厂的迫切诉求。在迭代过程中,如何快速评估大模型的效果,是一个非常关键的环节。 为了更好的对大模型开展评测,指导大模型进行快速、正确的迭代,我们需要聚焦以下关键的问题:1)评测对象;2)评测数据集;3)评测方法;4)评测结论反馈。 因此,本项目旨在用大模型算法,通过数据挖掘和自动化评测的技术手段,解决大模型迭代过程中的评测问题。研究方向涵盖语言大模型评测、多模态大模型评测、结构化问答评测等。
1.负责指令型大模型(LLMs)核心技术研发,包括预训练、垂域SFT、RLHF等 2.负责推理型大模型(RLMs)核心技术研发,包括RL、ReFT等,持续追踪和应用领域最新技术进展; 3.多模态泛健康AIGC的创意玩法探索,以及细粒度可控、不同输入条件下的内容生成技术研究等 4.严肃医疗诊疗方向的上限探索,用大模型辅助医学问题解决提效
3D数字人技术作为一项前沿科技,在娱乐、教育、医疗等多个领域展现出巨大的应用潜力。近年来,视觉语言大模型的突破性进展,为3D数字人的多模态交互提供了新的契机。我们希望研发新的模型、算法,利用多模态基础模型的跨模态信息处理能力,提升了3D数字人和用户交互的真实感和沉浸感,从简单的命令响应式交互向情感计算、意图理解等高级功能转变。

1.大模型微调与优化 基于业务场景需求,主导7B/14B等参数量级大模型的微调全流程,涵盖数据清洗、算法选择(如LoRA/QLoRA)、量化压缩(INT4/INT8)及部署优化 设计参数高效微调方案,优化模型推理效率与成本,推动RAG技术栈(向量数据库/检索增强)在业务中的落地 跟踪前沿技术(如Diffusion模型、多模态微调),探索模型轻量化与领域适配的创新方案 2.AI Agent开发与系统集成 构建基于LLM的智能体架构,实现任务规划、记忆管理、工具调用等核心功能,开发符合业务逻辑的Agent交互系统 集成LangChain、LlamaIndex等开发框架,实现AutoGPT式自主决策能力,优化Agent在复杂场景下的鲁棒性 推动Agent与数字孪生、数字员工等技术的融合,提升工业检测、智能客服等场景的自动化水平 3.客户需求转化与方案落地 深度参与客户需求分析,将业务场景(如制造、金融、医疗)转化为可执行的AI技术方案,提供端到端咨询服务 输出技术文档与API接口,支持跨部门协作与客户侧的技术培训 监控模型生产环境表现,针对客户反馈持续迭代优化,确保SLA达成与成本可控