字节跳动多模态算法工程师-医疗大模型
任职要求
1、人工智能、计算机、数学相关专业优先； 2、优秀的代码能力、数据结构和基础算法功底，熟练掌握C/C++或Python编程语言； 3、熟悉计算机视觉（CV）相关的算法和技术，对MLLM中模型结构、ViT训练、Detail Caption等方向有深入理论研究和实践； 4、有自然语言处理（NLP）、大模…
工作职责
1、参与医疗领域大模型的预训练、SFT、强化等工作，使模型效果位于业界领先水平； 2、调研大模型前沿技术方案，在模型训练范式、模型结构、数据配比探索最佳实践方案，取得业务效果大幅提升的同时实现前沿技术突破； 3、探索理想态的CoT、LongCoT样本，结合GRPO/PPO等算法进行强化激发，提升模型的泛化能力。
整体岗位描述：负责结合自然语言处理（NLP）和计算机视觉（CV）技术，开展微表情分析、心理疾病诊疗、欺诈识别等模型研发工作。参与设计和实现多模态大模型，推动技术在情感计算、金融风控、心理健康等领域的应用。 1.负责多模态算法的研究与开发，包括但不限于微表情识别、情绪分析、心理疾病诊疗、金融风控等； 2.结合NLP和CV技术，设计和实现跨模态数据融合算法，如文本与图像的联合建模； 3.与团队协作，推动算法模型在实际场景中的落地应用； 4.关注前沿技术动态，探索多模态技术在心理健康、金融风控领域的创新应用。
大模型数据处理与优化 1. 构建从数据采集、清洗、评估、消融归因的全流程数据框架，辅助模型能力稳步提升； 2. 设计和优化PB级多模态多领域训练数据的解析、理解、筛选、改写、合成体系； 3. 设计面向医疗领域的结构化数据处理流程，沉淀医学权威知识库，解决医疗模型幻觉问题； 4. 训练数据提取、过滤、改写、分类等模型。 高质量数据生产和评估 1. 基于业务场景，设计高质量高效率的数据生产流程，交付对模型有增益的数据； 2. 训练预标注和数据质控模型，不断提升数据生产效率和交付质量。
-致力于打造业界领先的医疗大模型对话系统。通过持续的技术创新和优化，成功构建了一套完整的医疗智能对话解决方案 -数据合成：负责领域知识和训练数据的构建与维护，利用数据飞轮机制不断优化数据质量和丰富度，提升模型性能和应用效果 -大模型训练：针对业务需求进行大模型的继续训练、有监督微调和强化学习，以及多模态模型训练，实现模型在垂直领域的深度适配，与业务专家合作，构建和优化结构化的提示词系统，利用COT等先进技术增强大模型的推理能力，高效、精准解决实际问题 -信息检索：开发和优化Query理解、语义索引、相关性排序等技术，提升RAG的效果，实现大模型与知识库的深度融合，基于领先的智能体框架，运用并增强大模型的推理、对话和反思能力，解决复杂业务问题 -大模型评测：制定和实施全方位的大模型评估方案，结合人工评估和自动化评估手段，建立完整的评测体系，确保模型性能的可靠性和稳定性 -应用落地：深入理解业务痛点，定义问题解决方案，设定任务标准和目标，通过持续的技术创新和优化，实现最佳的业务效果和用户体验
-致力于打造业界领先的医疗大模型对话系统。通过持续的技术创新和优化，成功构建了一套完整的医疗智能对话解决方案 -数据合成：负责领域知识和训练数据的构建与维护，利用数据飞轮机制不断优化数据质量和丰富度，提升模型性能和应用效果 -大模型训练：针对业务需求进行大模型的继续训练、有监督微调和强化学习，以及多模态模型训练，实现模型在垂直领域的深度适配，与业务专家合作，构建和优化结构化的提示词系统，利用COT等先进技术增强大模型的推理能力，高效、精准解决实际问题 -信息检索：开发和优化Query理解、语义索引、相关性排序等技术，提升RAG的效果，实现大模型与知识库的深度融合，基于领先的智能体框架，运用并增强大模型的推理、对话和反思能力，解决复杂业务问题 -的可靠性和稳定性 -应用落地：深入理解业务痛点，定义问题解决方案，设定任务标准和目标，通过持续的技术创新和优化，实现最佳的业务效果和用户体验