阿里巴巴阿里国际站-大模型推理工程师/专家-杭州
任职要求
1. 熟练掌握 linux 环境下的 C++/Python 语言，有大规模机器学习或搜推广经验者优先。 2. 至少掌握一种机器学习框架（Tensorflow，Pytorch 或其他自研框架）。 3. 至少熟悉一种大模型训练/推理框架，诸如 vLLM、TensorRT-LL…
工作职责
1. 负责大模型训练和推理系统的研发和性能优化，包括性能计算性能优化，大模型推理框架，大模型流量调度，高效 CUDA 算子开发，低精度计算，高并发服务请求优化等打造领先的推理引擎。 2. 负责大模型训练和推理等前瞻性技术架构的调研和引入，不限于子图匹配、编译优化、模型量化等。 3. 与算法团队深度合作，进行算法和系统的联合优化，包括分析业务性能瓶颈，通过软硬结合的 方式，高效部署和优化 AIGC 核心业务模型，建设 AI 工具链等能力，支撑 AI 业务的高速发展。
我们是蚂蚁集团网络技术团队，为蚂蚁集团全站提供通智一体、稳定高效的网络基础设施产品、平台和服务。 ● 负责推理网关核心能力设计和开发； ● 通过创新的流量调度算法减少推理成本；
团队介绍：字节跳动豆包大模型团队（Seed）成立于 2023 年，致力于寻找通用智能的新方法，追求智能上限，并探索新的交互。团队研究方向涵盖 LLM、语音、视觉、世界模型、基础架构、AI Infra、下一代 AI 交互等，在中国、新加坡、美国等地设有实验室和岗位。 豆包大模型团队在 AI 领域拥有长期愿景与决心，坚持深耕基础，期望成为世界一流的 AI 研究团队，为科技和社会发展作出贡献。目前团队已推出业界领先的通用大模型以及前沿的多模态能力，支持豆包、扣子、即梦等超过 50 个应用场景。 1、负责海量大模型异构资源的调度编排、算力池化、弹性资源混布、潮汐资源拆借和Quota管理； 2、负责大模型推理服务的多角色、多阶段、PD分图/EP调度，KVCache centric调度，实现动态、及时、准确的扩缩容管理； 3、负责通过技术手段实现计算资源、RDMA高速网络资源、缓存/存储资源的最优编排，充分发挥大规模分布式集群算力； 4、负责大模型服务的稳定性，通过线上和线下的多系统联动，实现在多种异构资源（GPU、CPU、其他异构硬件）、多云环境、多种网络流量场景的问题定位、诊断、隔离和快速恢复； 5、负责多机房、多地域、多云场景的在离线任务/服务调度，实现负载的合理化分布。
1. 参与蚂蚁星河金融AI应用设计和开发，支持大模型研发训练以及在业务场景的应用落地 2. 负责信贷/资管/金市投研/营销等场景大模型应用场景的落地建设，以及相关AI平台系统的架构设计与开发； 3. 负责大模型性能分析和进行调优，识别和解决瓶颈问题，包括不限模型微调训练和模型评测等，提升模型效果和推理速度；
DirectLLM是小红书内部面向各业务场景建设的大模型API服务产品，通过标准化API接口提供LLM/MLLM等大模型推理服务，致力于为AI应用开发者提供品类丰富、数量众多的模型选择，并通过API接口为其提供开箱即用、能力卓越、成本经济的模型服务，各领域模型的能力均可通过统一的API和SDK来实现被不同业务系统集成。 工作职责： 1、参与/负责大模型推理服务平台（MaaS）的架构设计、系统研发、产品研发等工作； 2、深入参与面向大模型场景的请求调度、异构资源调度、引擎优化等核心工作，实现千亿级Token并行推理平台； 3、为内部产品线提供解决方案，协助公司内用户解决大模型应用过程中业务在平台上的使用问题。