阿里巴巴研究型实习生 - 大规模LLM模型训练优化研究项目

1.参与包括多模态基模型Pretrain、SFT等多个阶段的训练任务优化； 2.致力于提升不同阶段模型训练负载的极限吞吐，能够针对不同模型负载系统化的分析不同阶段耗时并提供相应的优化手段，优化手段包括但不局限于算子优化、通信优化、分布式策略优化等； 3.参与训练框架对于不同硬件的支持和优化。

1.基于电商业务场景需要，训练电商生成式预训练底座大模型； 2.根据电商的数据特点，基于In-Context Learning增强电商训练效果； 3.评估电商下游任务效果。

我们致力于优化云计算场景下的弹性计算服务（ECS）资源调度系统，通过算法创新解决动态资源分配、集群资源优化等核心问题。本岗位将深度参与资源调度算法的设计与实现，推动资源装箱效率提升、性能争用降低等关键技术突破，最终实现资源供给成本优化与整体资源利用率的显著提升。具体职责包括： 1. 研究并设计面向云计算场景的资源调度算法，解决海量算力需求下的资源分配效率问题； 2. 结合服务等级协议（SLA）要求，优化调度系统在成本、稳定性、性能等多目标约束下的决策机制； 3. 分析集群资源使用数据，建设资源画像，提出并实施资源利用率提升方案； 4. 实现算法原型，推动算法在实际生产环境中的落地与迭代； 5. 跟踪前沿技术动态，探索机器学习、强化学习等技术在资源调度领域的创新应用。

1.参与包括多模态基模型Pretrain、SFT等多个阶段的训练任务优化； 2.致力于提升不同阶段模型训练负载的极限吞吐，能够针对不同模型负载系统化的分析不同阶段耗时并提供相应的优化手段，优化手段包括但不局限于算子优化、通信优化、分布式策略优化等； 3.参与训练框架对于不同硬件的支持和优化。