快手大模型后端开发工程师-【可灵AI专项】
任职要求
1、熟练掌握 C++、Python语言，具备良好的coding和调试能力； 2、熟悉主流大模型推理框架，如sglang、vllm等； 3、熟悉推理服务框架，有大模型分布式部署经验优先； 4、具备良好的团队合作…
工作职责
1、配合算法同学，推动深度学习相关算法的落地，打造高吞吐、低延时的推理系统； 2、优化大模型推理服务性能，提升吞吐并控制成本； 3、优化大模型推理服务化框架，提升框架易用性和可调试性。
1、参与内容理解系统的工程开发，在快手短视频、直播、电商等业务场景落地； 2、设计和实现高并发、高可用的大规模算法服务架构，服务于数亿用户群体； 3、围绕AI算法研发过程，开发相关平台工具，提升算法研发效率； 4、保障现有服务的可用性和稳定性，分析系统的问题和瓶颈，优化提高系统性能；
你将参与构建和演进公司 MaaS 推理基础设施，支撑多模态大模型在多集群环境下的高效、稳定与低成本运行，具体包括： 1. 参与或主导 推理网关与核心服务 的设计与开发，支持多模态请求处理、流式推理、Micro-batch 调度等能力。 2. 参与 跨集群服务发现、健康检查与流量治理，提升推理系统的可用性与弹性。 3. 构建和优化 推理系统的可观测性能力，包括日志、指标、Tracing 以及基础成本与性能分析。 4. 针对 低延迟、高吞吐、高 GPU 利用率 等目标，参与系统性能优化与问题排查。 与算法、平台、硬件等团队协作，持续优化推理系统在性能、成本与稳定性上的整体表现。 5. 根据经验级别，逐步或直接承担 技术方案设计、系统演进决策、复盘与优化推动 等职责。 我们会根据候选人能力与经验，在具体职责深度和影响范围上进行匹配。
1. 主导现有物流系统AI化升级的整体后端架构设计，结合业务场景制定技术选型方案（如微服务/云原生架构），规划大模型集成、Agent调度的分层架构，保障系统扩展性与兼容性。 有成功落地经验、个人作品者优先； 2. 设计企业知识库的分布式架构，基于Python/Java技术栈搭建多源数据接入层、向量检索层与服务封装层，解决高并发下的数据同步与检索性能问题，输出架构设计文档。 3. 负责AI Agent核心架构落地，设计多智能体协作框架（如基于事件驱动/服务调用模式），定义Agent通信协议与状态管理机制，规避系统耦合风险，保障架构稳定性。 4. 主导架构评审与技术难点攻关，定期评估AI化架构适配性，输出架构演进方案，协调跨团队资源推进落地，确保系统AI化升级符合业务长期发展需求。
1. 负责面向LLM、图片、视频、音频的全模态标注能力建设和 Coding/Agentic 领域标注能力完善。 2. 负责标注平台智能标注能力建设，如LLM、多模态自动标注等，并建设基于标注平台的agent框架以及相关标注agent的开发； 3. 负责面向领域专家的专家标注平台建设，同时把智能标注能力迁移至专家标注平台。