小红书大模型推理服务架构工程师-hi lab

【关于我们】 Hi Lab 是小红书核心AI 实验室，点点作为新一代生活场景AI搜索助手，依托海量小红书笔记 + 全网真实经验 + 深度思考大模型能力（DeepSeek等），为用户提供“精准避坑、超级实用、有画面感”的美食、旅行、购物、穿搭、生活答案。 支持多模态提问（文字/语音/拍照）、视频化回复、多轮追问，正在快速迭代成为年轻人日常的“生活搭子”。 加入Hi Lab，你将直接参与千万级DAU AI对话产品的服务端核心建设，与顶尖算法/客户端团队一起，打造高并发、高可靠的AI交互基础设施，推动AI真正懂生活、懂小红书！ 【岗位职责】 - 负责点点AI对话产品服务端核心架构设计与开发，覆盖多轮对话流、用户体系、账号体系及第三方能力集成； - 设计并实现高可用对话分发与消息路由系统，支持千万级并发访问与长连接管理； - 构建用户画像、Memory上下文与个性化记忆体系，提升多轮交互的智能与连贯性； - 对接搜索、RAG、点评、电商等第三方能力，打造灵活、可扩展的工具调用与Function Call链路； - 建设全链路稳定性与容灾体系，推动Trace、Metrics、Logging、OpenTelemetry、多地多活等可观测性与高可用能力落地； - 参与容量规划、压测优化、性能调优与持续可观测建设，确保系统在高峰期丝滑稳定； - 驱动工程效率提升，包括CI/CD自动化、服务治理、云原生实践（K8s/Istio），保障线上SLA。 1、负责 AI 对话产品服务端核心架构设计与开发，涵盖对话流、用户体系、账号与三方能力等模块； 2、设计并实现高可用的对话分发与消息路由系统，支撑千万级并发访问； 3、构建用户画像与 Memory 管理体系，支持上下文增强与个性化记忆； 4、对接第三方能力（搜索、点评、电商等），构建灵活可扩展的工具调用体系； 5、建设全链路稳定性与容灾体系，推进 Trace / Metrics / Logging / 多地多活能力落地； 6、参与系统容量规划、压测优化与持续可观测性建设； 7、推动工程效率、CI/CD 与服务质量提升，保障线上可用性。

【关于我们】 Hi Lab 是小红书核心AI 实验室，点点作为新一代生活场景AI搜索助手，正依托Hi Lab的前沿大模型能力，构建“全网真实经验 + 小红书海量笔记”的智能交互体验。 我们正在打造高效、可靠的Agent层与工具链路，让AI真正懂用户、懂生活、懂小红书生态，成为年轻人日常的“超级生活搭子”。 加入我们，你将深度参与AI Agent从0到1的工程化建设，与顶尖算法团队一起推动大模型在搜索、多模态、生活场景的极致落地！ 【岗位职责】 - 设计并构建模型与应用间的通用Agent层，支持多模型智能路由、动态Workflow编排与自动工具调用； - 深度优化Function Call、ReAct、Plan-Execute等执行机制，建设高可扩展的模块化工具体系； - 负责上下文管理、长链路缓存、资源复用与调用效率优化，确保毫秒级响应与稳定高并发； - 与算法、RAG、调度团队协作，共建任务调度、Tool编排、RAG服务与知识增强框架； - 推动AI工程标准化建设，包括可配置Pipeline、可视化调试平台、自动化测试与监控体系； - 参与复杂场景攻关（如多轮交互、工具链路容错、成本控制），驱动点点AI能力持续领先。

-负责百度千帆大模型平台模型服务工程相关系统的开发和支持，推理服务架构稳定性、性能优化、扩展性技术研发 -参与大模型的国产芯片适配、推理加速与优化工作，参与深度学习前沿加速技术研究 -将AI前沿技术应用到各个垂直行业，负责相关应用工程配套开发 -根据需求文档进行相关产品的开发，撰写开发文档，对负责的产品做好客户支持工作

-负责百度千帆大模型平台模型服务工程相关系统的开发和支持 -负责推理服务架构稳定性、性能优化、扩展性技术研发 -参与百度千帆大模型的推理加速与优化工作，参与深度学习前沿加速技术研究 -将AI前沿技术应用到各个垂直行业，负责相关应用工程配套开发 -根据需求文档进行相关产品的开发，撰写开发文档，对负责的产品做好客户支持工作