文远知行感知Infra工程师
任职要求
有丰富的C++ 和 python 开发经验，精通常用的数据结构和算法。 具备一定的编译环境构建能力，有CUDA相关经验。 对操作系统，计算机网络，计算机体系结构，并行计算等计算机基础知识有深入理解。 具有良好的…
工作职责
工作内容： 快速熟悉现有感知系统架构，梳理感知各模块作用和系统资源占用情况，持续跟踪评估新上feature，针对特定应用场景评估决策是否引入，并能实施代码重构。 建立灵活的监控与评估框架，全面分析评估感知系统中各个算法的性能与端到端的影响。 能优化或重构具体算法，降低资源使用率。 分析感知相关的系统问题。
-负责云原生产品 Kubernetes 容器引擎、镜像服务、可观测服务等的设计与研发工作，提升产品竞争力及体验 -负责大规模 AI Infra 云原生底座的设计与研发工作，基于云原生技术打造异构多元芯算力底座，支持国产化信创，支持业务进行大规模训练、容错及弹性推理，构建异构多元芯算力底座 -负责打造现代化的云原生智能运维能力，设计和实现覆盖 AI 场景全栈的故障感知、诊断及自愈能力 -持续提升云原生产品服务及基础设施的稳定性，优化服务性能，提升架构的可扩展性 -探索业界最新技术方向，参与开源社区，提升百度云原生核心竞争力
-负责设计和研发自动驾驶仿真测试的评价指标体系，提升自动驾驶算法离线验证能力 -负责设计和研发基于海量自动驾驶数据的自动问题分析算法，为车端/云端模型筛选高价值数据 -负责设计和研发仿真评估、自动问题分析的工程框架，提升研发和验证的效率和体验 -协同infra团队，提升自动驾驶仿真评估的科学性、易用性和效率
我们是小红书中台大模型 Infra 团队，专注打造领先易用的「AI 大模型全链路基础设施」！团队深耕大模型「数-训-压-推-评」技术闭环，在大模型训练加速、模型压缩、推理优化、部署提效等方向积累了深厚的技术优势，基于 RedAccel 训练引擎、RedSlim 压缩工具、RedServing 推理部署引擎、DirectLLM 大模型 API 服务、QuickSilver 大模型生产部署平台等核心产品，持续赋能社区、商业、交易、安全、数平、研效等多个核心业务，实现 AI 技术高效落地！ DirectLLM是小红书内部面向各业务场景建设的大模型API服务产品，通过标准化API接口提供LLM/MLLM等大模型推理服务，致力于为AI应用开发者提供品类丰富、数量众多的模型选择，并通过API接口为其提供开箱即用、能力卓越、成本经济的模型服务，各领域模型的能力均可通过统一的API和SDK来实现被不同业务系统集成。 核心职责 1. 参与小红书万亿级Token量推理系统构建，包括但不限于大模型智能网关、大模型弹性伸缩、推理系统优化等方向，共同打造国内领先的大模型MaaS服务； 2. 探索负载感知的推理系统流量调度算法，如基于Prefix Cache命中率调度、基于P/D分离的流量调度、基于KVCache使用率、推理排队负载感知的流量调度、长上下文请求调度优化等，持续提升MaaS系统的稳定性、成本效益； 3. 探索并跟进业界开源SOTA模型，如Qwen系列、DeepSeek系列，多维度评估模型效果并建立相关的准入体系，及时上架到MaaS系统； 4. 参与MaaS系统的国产卡适配与异构算力统一调度体系，如华为910C、阿里PPU、昆仑芯P800； 5. 参与攻克大规模分布式推理系统带来的复杂挑战，通过弹性调度、容量规划、链路压测等手段提升系统健壮性，确保平台能够弹性扩展，支撑业务的飞速增长。
团队介绍：字节跳动 Seed 团队成立于 2023 年，致力于寻找通用智能的新方法，追求智能上限。团队研究方向涵盖 LLM、语音、视觉、世界模型、基础架构、AI Infra、下一代 AI 交互等，在中国、新加坡、美国等地设有实验室和岗位。 Seed 团队在 AI 领域拥有长期愿景与决心，坚持深耕基础，期望成为世界一流的 AI 研究团队，为科技和社会发展作出贡献。目前团队已推出业界领先的通用大模型以及前沿的多模态能力，支持豆包、扣子、即梦等超过 50 个应用场景。 负责公司大模型的研发和应用，研究相关技术在搜索、推荐、广告、创作、对话和客服等领域的全新应用和解决方案，满足用户不断增长的智能交互需求，全面提升用户在未来世界的生活和交流方式。主要工作方向包括： 1、研究AI大模型的关键能力，通过技术愿景来驱动研究工作，包括大模型的学习、记忆、推理、规划、感知等长期话题； 2、尽情探索探索超大规模模型，致力于实现极致的系统优化； 3、深入参与数据建设、大规模预训练、指令微调、偏好对齐、模型优化等关键工作； 4、大力推动大模型应用落地，为社会创造福祉。