阿里巴巴AI推理平台-百炼技术专家/高级开发工程师(管控与企业能力提升方向)-北京/杭州
任职要求
1. 熟练掌握Linux环境下Java/Python等1-2种语言。 2. 硕士及以上学历，3年以上开发工作经验，具备扎实的计算机科学功底和编程能力，具有良好的编程习惯。 3. 具备独立模块或系统的需求分析、架构设计和编码能力，保证高并发后端系统的架构…
工作职责
1. 负责百炼平台的模型数据与应用数据管理、模型观测、模型评测等大模型工具链产品化落地. 2. 负责百炼平台的数据系统的架构和实现，包括多模态数据源接入、解析与清洗、数据管理等能力，为百炼模型层和应用层提供安全易用、高质量的数据能力。 3. 负责百炼平台的模型与应用可观测系统建设，以及基于观测日志等数据为基础的模型评测、应用评测、数据标注、模型调优等大模型工具层能力建设。 4. 负责百炼多云与多站点架构和开发工作，帮助百炼在多个方向的业务实现快速落地与发展。 5. 了解技术使用场景和优缺点，能够就复杂技术问题，提供解决方案并执行落地，同时对上下游技术团队及技术架构有完整的了解。 6. 基于业务需求和技术洞察，在大模型数据以及数据应用方面，进行技术规划并落地。
1. 结合LLM技术，设计和优化RAG全链路的基础架构，提升系统的吞吐能力和响应速度。 2. 构建高性能，可扩展的分布式文件处理和索引构建系统，承载海量文档的知识库的索引和检索需求。 3. 规划和优化检索集群，通过合理的分片，资源分配等策略降低延迟提高吞吐，针对业务场景进行服务优化。 4. 建立完善的系统监控，日志分析和trace平台，能快速定位和解决系统问题。
1. 模型服务API： 开发实现端到端的模型服务，涵盖LLM/VL/embedding/rerank等大语言模型， 也包含diffusion model方向的生图生视频的模型服务，构建高效的服务框架提升模型接入效率， 优化端到端服务性能，确保稳定性。 2. 百炼大模型开发平台上各领域模型服务架构设计迭代、性能优化以及核心服务开发。 3. 百炼大模型开发平台模型微调、模型评测技术架构设计、算法开发以及对应业务能力建设。
1. 设计并实现高性能AI原生网关。构建低延迟、高并发的API网关系统，支持多模态、多协议接入，为国内及全球客户提供灵活、安全、可扩展的流量接入方案，提供完整的数据面控制与可观测能力。 2. 打造智能推理调度与资源管理系统。设计并实现面向复杂分布式推理场景的请求调度和资源调度系统，结合动态负载特征与异构硬件资源，持续优化请求分发策略；建设Serverless化资源调度架构，实现资源的弹性伸缩与极致利用率提升。 3. 构建先进的MLOps平台能力。深度优化模型服务的CI/CD流程，推动算法研发到生产部署的自动化与标准化；实现模型版本管理、灰度发布、监控告警、性能分析等全生命周期管理能力，提升迭代效率与系统稳定性。
1. 核心系统研发 （1）设计与优化大模型推理服务框架与分布式缓存系统。 （2）支持多推理引擎适配、多模态推理、分布式部署及高效数据管理。 （3）开发工具链与服务化能力，包括模型量化、转换、调度与生命周期管理。 2. 性能与稳定性优化 （1）优化推理服务框架的性能，包括引擎适配、生命周期管理和资源调度。 （2）深入优化kvcache的显存、内存和存储管理、批处理、缓存策略和网络传输。 （3）支持高性能通信协议、容错与负载均衡机制。 （4）提升系统可观测性，完善监控、告警与故障恢复体系。 3. 引擎与应用集成 （1）深度集成推理引擎、缓存系统和存储系统，优化访问模式与架构设计。 （2）满足大规模、多模态推理场景下的高吞吐与低延迟需求。