蚂蚁金服【Plan A】算法工程师-Agent-灵光（实习）

任职要求

1.学术背景：计算机科学、人工智能、机器学习等相关专业硕士/博士学位，具有扎实的理论基础与研究能力；
2.LLM原理与推理优化经验：深入了解LLM的底层原理，熟悉量化、投机推理等推理优化技术，能够在团队项目中应用这些技术,对SGLang、vLLM等推理框架有一定的了解，具备调优和错误排查相关的经验，并能够对其进行有针对性的优化；
3.…

工作职责

部门介绍：
灵光APP是一款原生多模态的AGI助手，团队致力于构建有竞争力的AGI产品体验。算法团队以用户体验为牵引，为灵光助手构建后训练体系和模型。驱动灵光在智能体验上保持业界领先。
职位描述：
1. 参与LLM推理优化研究：探索并应用量化、投机推理等技术，以提高LLM的推理效率和响应速度；
2. 协作解决推理瓶颈：与团队成员紧密合作，分析并解决LLM推理中的瓶颈问题，确保系统的稳定性与高效性；
3. 基于强化学习（RL）优化模型：参与RL驱动的LLM优化，提升推理速度，并协助优化模型训练框架的性能。探索新的训练算法以及训练管线；  
4. Agent框架的开发与集成：协助开发和集成Agent框架，进行系统的功能验证与性能测试，确保系统可扩展性和稳定性；   
5. 跟进前沿技术：密切关注LLM推理优化技术的发展，积极研究并探索新的优化方法与框架。