logo of xiaohongshu

小红书大模型推理服务架构工程师-hi lab

社招全职机器学习平台地点:北京 | 上海 | 广州状态:招聘

任职要求


1、熟练掌握Linux环境下的C/C++Python语言;
2、具备扎实的计算机科学功底和编程能力,熟悉常见算法数据结构,具有良好的编程习惯;
3、能够熟练使用至少一种主流的机器学习框架(TensorFlow / PyTorch等),熟悉框架内部实现;
4、熟悉Transformer模型及其应用场景
5、熟悉CUDA编程;
加分项
1、备具C端业务千卡规模以上模型服务研发和运维经验
2、具备端到端优化GPU模型推理服务经验者优先

工作职责


职位描述
团队专注于大模型机器学习系统领域的前沿技术研究和落地,提供高性能、高可靠、可扩展的机器学习系统、丰富的异构计算资源和极致的端到端的机器学习服务体验,为公司提供核心技术能力和服务。
1、负责大模型推理服务的研究与开发,服务于公司各个产品;
2、负责端到端解决大模型预训练、微调对齐阶段的工程、算法问题,为结果负责
包括英文材料
Linux+
C+
C+++
Python+
算法+
数据结构+
编程规范+
机器学习+
TensorFlow+
PyTorch+
Transformer+
CUDA+
相关职位

logo of xiaohongshu
社招3-5年引擎

小红书智创技术团队负责用户发布工具、增长&商业化业务等多个公司重要业务场景里的创作能力的支持,技术范围广,技术栈深,对技术有着极高的追求。 工作职责: 1. 负责端侧的AI算法的部署和工程化落地,提升端侧的智能化水平,并通过端侧推理架构的优化,提升用户的使用体验; 2. 负责服务端的Diffusion、LLM、VLLM等先进算法的部署和性能优化,提升推理效率,降低成本; 3. 打造具有业界一流水平的大模型推理技术能力,并通过开源共建等各类形式,形成在业界的广泛技术影响力。

更新于 2025-10-11
logo of baidu
社招2年以上ACG

-负责百度千帆大模型平台模型服务工程相关系统的开发和支持,推理服务架构稳定性、性能优化、扩展性技术研发 -参与大模型的国产芯片适配、推理加速与优化工作,参与深度学习前沿加速技术研究 -将AI前沿技术应用到各个垂直行业,负责相关应用工程配套开发 -根据需求文档进行相关产品的开发,撰写开发文档,对负责的产品做好客户支持工作

更新于 2025-10-17
logo of baidu
社招3年以上ACG

-负责百度千帆大模型平台模型服务工程相关系统的开发和支持 -负责推理服务架构稳定性、性能优化、扩展性技术研发 -参与百度千帆大模型的推理加速与优化工作,参与深度学习前沿加速技术研究 -将AI前沿技术应用到各个垂直行业,负责相关应用工程配套开发 -根据需求文档进行相关产品的开发,撰写开发文档,对负责的产品做好客户支持工作

更新于 2025-06-10
logo of jd
社招软件开发岗

1. 构建AI云推理架构:​​ 探索PD分离、KV池化、通信优化等技术,设计并实现适用于AI原生的分布式推理服务架构,应对高并发、低延迟挑战; 2. ​开发核心推理平台能力:​​ 打造AI原生网关及高可用系统,核心技术点包括但不限于:异构资源调度、身份认证与鉴权、请求智能限流、动态模型路由、推理容器/镜像加速、安全变更管控、系统深度可观测性等; 3. 参与推理全栈应用实践:​​ 积极涉足推理服务上下游应用开发,如构建RAG(检索增强生成)系统、探索提示词工程优化实践、参与AI模型市场(MCP)建设或AIGC应用落地等。

更新于 2025-07-23