字节跳动大客户技术支持实习生（云计算、大模型方向 ）-火山引擎

-通过对公有云市场趋势、客户需求和行业动态的持续跟踪，深入挖掘潜在客户群体及其业务场景，为产品推广和定制服务提供有力支撑。建立高效、精准的沟通渠道，有效传递产品价值，提升客户满意度 -业务场景Agent定制化开发与性能调优，根据具体业务场景需求，定制开发高效、稳定的Agent，并进行持续优化，确保在复杂业务场景下的高效运行，提升整体业务效率 -根据业务需求，创作高质量的Prompt和Workflow作品，确保作品能够准确反映业务逻辑、提升用户体验和效率 -支持业务更多市场推广工作

我们是百度智能云AI计算加速团队，负责大模型训练和推理框架的优化工作，为语言模型、多模态模型、强化学习等先进的AI技术提供超大规模、极致性能、兼容多芯的软件方案，支持百度内外部客户模型的快速迭代和高效部署。在这里，你可以： -紧跟最新LM技术的发展，从模型-框架-硬件集群的全局视角，优化分布式训练和推理框架、底层算子的性能，将常见模型训推MFU优化到极致状态 -在百度自研芯片上适配常见的大模型与自驾模型，结合芯片特点做框架和算子的深度优化，充分发挥自研芯片算力 -结合文生视频、具身智能、自动驾驶等前沿场景，模型-框架-集群协同创新，探索前沿的训推框架和算子优化技术 -与业务团队协同，理解客户需求，驱动技术创新，业务持续突破

该职位通过大模型训练、Agent、RAG、N2SQL、NLP、语音处理等技术创新和突破，构建Agent通用平台、大模型训练平台等工具产品，同时支持对话机器人等垂直应用及智能产品的建设。欢迎敢于接受挑战的候选人加入我们，一起赋能企业客户。我们的研究方向包括但不限于： 1、通用大模型/多语言大模型的继续训练、微调、强化对齐等技术的持续研究创新； 2、文本机器人、语音机器人、质检机器人等客服域技术的研发与落地； 3、多Agent、RAG、N2SQL、自主决策等技术的研究与落地。

随着AI大模型的兴起和各行业对于GPU算力需求的提升，各大云厂商均在提供多租户、serverless化的GPU算力供给以支持AI开发、训练、推理等负载。其中，由于大模型越来越多地被投入实际应用，大模型推理服务所占的比重也在不断上升。然而，考虑到大模型自身的新特性以及多租户serverless集群的复杂性，如何以更高的效率及更低的成本服务众多客户的模型，仍然是一个颇具技术挑战的问题，也是提升集群整体效率的关键。本项目旨在将微观的模型推理计算优化与宏观的集群层面资源、模型、请求等编排与调度进行结合，为多租户serverless推理服务降本增效。 与传统的推理服务产品形态相比，在多租户集群中部署大模型推理服务呈现一系列新特性，包括但不限于： 1、动态性：大模型推理由于其特有的自回归计算模式，其执行过程呈现高度的动态性，结合推理请求到达时间、输入输出长度等因素的不确定性，推理执行过程往往难以预测。因此对大模型推理服务进行资源供给和调度，以及提供SLO保障等就更具挑战； 2、多服务/多模型：多租集群会同时部署多个不同租户的推理服务；同时，在同一个推理服务内，也可能包含不同模型种类，如一个基模型的不同尺寸、不同精度版本等； 3、资源共享：大模型天然呈现资源密集的特性，这也使得在多租户集群中进行多服务、多模型资源共享和复用更具挑战，需要模型/请求调度层面的感知进行协同优化； 4、异构硬件/计算模式：多租户集群中往往具备多种加速器硬件类型，不同模型类型以及推理计算的不同阶段（aka prefill/decode）对异构硬件的喜好程度也各不相同，需要更具针对性的资源分配以提升资源利用效率。 本项目将着眼于以下几个层面技术，以解决上述特性带来的挑战，提升多租户serverless推理服务的效率： 1、平台层：定义多租户serverless推理服务的云产品形态，以及相应的计费模式、SLO等形态； 2、调度层：设计多租集群中的服务-模型-请求的统一调度架构，给出高可扩展的系统架构和高效的调度策略设计； 3、引擎层：归纳并实现上述产品和调度层面所需的引擎层次机制需求，例如高效的模型加载、切换、抢占，多模型共置，等等。