字节跳动大模型算法专家-Dev AI方向
任职要求
1、本科及以上学历，计算机相关专业，3年以上深度学习算法研究与开发经验，具有LLM开发和实际落地经验； 2、具备LLM相关算法的扎实基础，包括但不限于单模态/多模态LLM训练（RAG/SFT/RLHF/Prompt）、部署和蒸馏等领域的全面学习和实践经验； 3、熟悉主流的Bert/Transformer/ViT/Clip等主流预训练模型，熟练掌握TensorFlow/PyTorch/Keras等任一主流机器学习框架； 4、有较强的业务问题到算法模型的建模能力，有强烈的技术好奇心、自驱力和进取心，能及时关注和学习业界最佳实践。
工作职责
1、负责字节跳动DevOps各业务场景中，LLM算法在需求设计、开发、测试、上线等软件工程领域的应用研究及算法落地工作，致力于提升研发效率和测试质量； 2、跟踪LLM领域的最新研究成果，用以持续提升算法应用效果，研究方向包括但不限于语言LLM、多模态LLM，Prompt工程/RAG/Agents/SFT/RLHF等LLM相关前沿技术； 3、深度参与产品研发项目，和产品经理/业务研发/业务质量等同学密切配合，提高项目整体效率和收益。
1、负责字节跳动DevOps各业务场景中，LLM算法在需求设计、开发、测试、上线等软件工程领域的应用研究及算法落地工作，致力于提升研发效率和测试质量； 2、跟踪LLM领域的最新研究成果，用以持续提升算法应用效果，研究方向包括但不限于语言LLM、多模态LLM，Prompt工程/RAG/Agents/SFT/RLHF等LLM相关前沿技术； 3、深度参与产品研发项目，和产品经理/业务研发/业务质量等同学密切配合，提高项目整体效率和收益。
1、深入探索LLM在编程场景中的应用，参与Coding Agent开发； 2、持续探索创新的评测方法，提出更好的Benchmark，定义模型能力，对大模型应用效果进行持续调优，通过数据分析与算法改进，提升应用的性能和体验； 3、构建大规模高质量的数据（数据建设、数据抓取与解析、数据合成等）； 4、关注行业动态与技术趋势，及时引入新的技术和理念，跟随团队参与校企横向项目、学术论坛会议、发布论文等，协助团队构建学术界影响力。
1、深入探索LLM在编程场景中的应用，参与Coding Agent开发； 2、持续探索创新的评测方法，提出更好的Benchmark，定义模型能力，对大模型应用效果进行持续调优，通过数据分析与算法改进，提升应用的性能和体验； 3、构建大规模高质量的数据（数据建设、数据抓取与解析、数据合成等）； 4、关注行业动态与技术趋势，及时引入新的技术和理念，跟随团队参与校企横向项目、学术论坛会议、发布论文等，协助团队构建学术界影响力。
1. 从flops efficiency角度，对大模型预训练过程进行分析与探索，包括不限于对scaling law的研究，数据的认知实验，MoE等模型架构设计，以及其他工程与算法结合的ml sys相关优化等。 2. 负责原生多模态大模型的构建与预训练，包括各模态分词器设计，合成数据策略，以及跨模态融合训练策略等，提升原生多模态模型在视觉/语音的理解与生成任务上的能力。 3. 进行大模型reasoning能力的相关研究，研究pre-train / test-time compute对于模型推理能力的影响，借助SFT / DPO / self-play等手段，提高模型在代码数学等推理任务上的表现。 4. 通过post-training激发模型在各下游任务上的能力，从而构建具有通用问题解决能力的agent。