字节跳动后端研发工程师-实验评估
任职要求
1、本科及以上学历，计算机、通信等相关专业者优先； 2、扎实的编程功底，良好的设计风格，熟悉RESTful设计规范； 3、精通Java/Spring Cloud，Python/Django，Go等至少一种，全部精通加分； 4、熟悉常用的Rpc框架（Thrift，Protobuf…
工作职责
1、参与大数据方向服务端的设计，研发以及文档编写，独立完成需求分析，测试，上线工作； 2、对需求进行技术选型，开发，确保设计合理； 3、对大数据平台新技术的预研探索和选型，新功能的设计、评审和研发。
1、参与滴滴大数据分析平台产品的研发，主要包括数据可视化、数据解读等能力建设，为公司提供数据化运营和决策支持； 2、深度参与产品需求评审和设计，能够对产品设计提出自己的见解，在理解产品的基础上进行抽象和架构设计； 3、对负责的模块能够进行持续的优化和性能提升，并积极拓展创新场景
1、负责 Agent 质量评估体系的设计与研发，建立科学的效果度量标准和评测框架，为 Agent 的质量持续提升提供数据支撑； 2、构建 Agent 可观测性能力，包括调用链追踪、性能监控、异常检测等，实现 Agent 运行全链路的透明化； 3、设计和实现 Agent 成本管控机制，包括 Token 用量分析、调用频次控制、资源配额管理等，优化运行效率与成本； 4、搭建 Agent 质量保障体系，涵盖回归测试、A/B 实验、线上巡检等，持续保障 Agent 服务的稳定性和可靠性； 5、深入理解 Agent 系统的核心机制，包括工具调用、规划执行、多轮推理、上下文管理等，从质量和效率视角推动 Agent 系统的持续优化； 6、持续跟进业界 AgentOps、LLMOps、AI 可观测性、Agent 评测等方向的前沿技术发展。
中台稠密引擎组，是小红书负责建设通用深度学习训练推理引擎的团队，面向全公司LLM、多模态LLM、SD、传统CV&NLP等稠密计算型模型训练与推理的业务场景，打造高效、易用、业界领先的训练与推理引擎，为小红书社区、商业化、安全等众多业务方向提供先进的引擎能力，支撑业务持续提升训练推理效率、模型迭代效率与算法研发效率。 1、参与设计和实现深度学习后训练及微调的前沿算法（包括但不限于RFT、RLHF等），以适应多样化的业务场景； 2、结合业务数据和场景，评估选择最适合的微调算法，以支撑业务大语言模型（LLM）微调指标的提升； 3、与数据团队紧密合作，深入理解数据特性，参与设计实现数据提质算法引擎工具，产出高质量数据集提升模型微调效果； 4、与公司内各算法团队深度合作，参与或负责大语言模型、多模态大模型等业务场景的后训练端到端效果提升及落地； 5、密切关注业界 LLM 微调算法和数据提质领域的前沿论文，并整合新技术和算法到训练引擎中，提升框架的领先性；
团队介绍：字节跳动 Seed 团队成立于 2023 年，致力于寻找通用智能的新方法，追求智能上限。团队研究方向涵盖 LLM、语音、视觉、世界模型、基础架构、AI Infra、下一代 AI 交互等，在中国、新加坡、美国等地设有实验室和岗位。 Seed 团队在 AI 领域拥有长期愿景与决心，坚持深耕基础，期望成为世界一流的 AI 研究团队，为科技和社会发展作出贡献。目前团队已推出业界领先的通用大模型以及前沿的多模态能力，支持豆包、扣子、即梦等超过 50 个应用场景。 1、负责字节跳动机器学习平台的开发，支撑公司相关业务的算法生产与高效迭代； 2、设计和实现机器学习相关的基础设施、框架、工具链等，并推动落地到业务中； 3、探索业界前沿的机器学习相关技术，持续提升平台能力、降低算法使用成本。