字节跳动AI产品经理（异构计算方向）-基础架构

1、负责公有云IaaS异构计算（CPU/GPU/NPU/FPGA等）产品的系统优化与产品设计规划工作； 2、推动异构计算产品与最新AI技术（如P/D分离、vLLM、SGLang、强化学习等）的深度融合（如模型训练加速、推理优化），提升GPU资源部署效率、使用效率、降低硬件适配成本； 3、推动异构算力适配层建设，提供标准API接口屏蔽底层硬件差异，降低业务开发复杂度； 4、跟踪业界最新模型发展趋势（如MoE架构、端侧大模型），推动异构产品与最新技术趋势的协同创新； 5、探索异构计算与行业场景（如具身智能、自动驾驶）的融合方案，推动生态合作与技术标准共建； 6、参与开源社区建设，建设在AI加速框架（如vLLM）与AI加速库领域的业界影响力。

1、负责公有云IaaS异构计算（CPU/GPU/NPU/FPGA等）产品的系统优化与产品设计规划工作； 2、推动异构计算产品与最新AI技术（如P/D分离、vLLM、SGLang、强化学习等）的深度融合（如模型训练加速、推理优化），提升GPU资源部署效率、使用效率、降低硬件适配成本； 3、推动异构算力适配层建设，提供标准API接口屏蔽底层硬件差异，降低业务开发复杂度； 4、跟踪业界最新模型发展趋势（如MoE架构、端侧大模型），推动异构产品与最新技术趋势的协同创新； 5、探索异构计算与行业场景（如具身智能、自动驾驶）的融合方案，推动生态合作与技术标准共建； 6、参与开源社区建设，建设在AI加速框架（如vLLM）与AI加速库领域的业界影响力。

团队介绍：广告业务原为商业产品与技术部门，为抖音集团的商业变现提供广告产品与技术，负责端到端大型广告系统建设，覆盖抖音、今日头条、西瓜视频、番茄小说、穿山甲等产品矩阵，践行"激发生意新可能"理念，致力于让营销更省心、更高效、更美好，推动商业的可持续增长，让不分体量、地域的企业及个体，都能通过数字化技术激发创造、驱动生意。连接广告主、用户及生态伙伴、成为开放共赢的全球最佳智能营销平台之一。在这里，你将投身建设面向未来的数字营销能力，接触到全球先进的商业产品架构、模型和算法，在互联网广告行业始终创新。 课题背景： 随着人工智能技术的快速发展，大模型技术在交易与广告场景中的应用日益广泛，已成为推动行业创新和效率提升的重要驱动力。大模型凭借其强大的学习能力和泛化性能，在多个领域展现出显著优势。例如，推荐大模型能够精准捕捉用户偏好，提升个性化推荐效果；AIGC（AI-Generated Content）技术可用于广告创意、商品图片和视频生成，大幅降低创作成本并提升内容质量；广告投放诊断系统和诊断助手帮助优化投放策略；智能客服、影片智能剪辑、智能导购、大模型审核、用户序列建模以及多模态广告和用户理解等应用，则通过自然语言处理、多模态数据融合等技术，提升用户体验和业务效率。 然而，交易与广告场景对大模型系统的要求极高，不仅需要模型具备出色的精度和泛化能力，还需在实时性、稳定性、可扩展性等方面满足严苛标准。特别是在大规模分布式训练、推理加速、异构硬件支持、多模态数据处理以及系统集成等方面，存在诸多技术难点。因此，针对交易与广告场景研发和优化大模型系统，不仅是人工智能技术发展的前沿方向，也是行业应用的迫切需求。本课题旨在通过系统和工程领域的深入研究，突破关键技术瓶颈，构建高效、稳定、可扩展的大模型解决方案，为交易与广告场景提供强有力的技术支撑。 课题挑战： 1、大规模分布式训练加速：大模型训练需处理海量数据和高复杂度计算，导致训练耗时长、资源需求大。如何优化分布式训练架构，提升数据并行、模型并行和流水线并行的效率，是首要技术难题。 2、推理加速和性能优化：交易与广告场景对实时性要求极高，如广告投放需毫秒级决策。如何在资源受限环境下通过模型压缩和推理引擎优化实现快速推理，是关键挑战。 3、异构硬件支持：大模型需适配多种硬件平台。如何实现高效部署和负载均衡，确保跨硬件精度一致性和高性能，是技术难点。 4、编译优化：编译优化是过程复杂，如何开发高效编译器，优化长尾/灵活模型或结构在不同Accelerator执行效率并减少延迟，是亟待解决的问题。 5、Agent工程：智能客服和导购等应用需构建自主决策的AI Agent。如何设计高效的Agent系统，支持复杂任务执行，是前沿挑战。 6、强化学习框架：强化学习在广告投放优化等场景中潜力巨大。如何构建高效框架，支持大规模环境训练和推理，是研究难点。 课题内容： 1、大规模分布式训练加速技术 1）研究数据并行、模型并行和混合并行算法，优化训练效率； 2）开发自适应负载均衡机制，减少资源浪费； 3）探索梯度压缩和通信优化技术，降低网络开销； 2、推理加速与性能优化方法 1）研究模型压缩技术（如量化、剪枝），减小模型体积； 2）开发高效推理引擎，支持批量推理和异步处理； 3）针对不同Accelerator的架构加速推理过程； 3、异构硬件支持与优化 1）设计通用部署框架，支持多硬件无缝集成； 2）开发硬件感知调度算法，优化任务分配； 3）研究跨硬件模型迁移技术，确保精度一致； 4、编译优化技术 1）深入优化模型编译器，优化长尾场景的计算开销； 2）研究图优化和算子融合技术，减少计算开销； 3）探索动态优化方法，提升运行时效率； 5、Agent工程与实现 1）设计模块化Agent架构，支持任务分解和决策； 2）开发多模态交互技术，提升用户体验； 3）研究Agent训练与评估方法，优化复杂场景性能； 6、强化学习框架构建 1）开发高效强化学习算法，支持多智能体协作； 2）针对交易与广告场景的训练场景优化训练速度，提升迭代效率； 3）探索强化学习在广告投放中的应用，提升决策效果。

产品规划 •洞察AI领域包括但不限于“模型”“基础设施”“典型应用场景”等方面的热门趋势，指导产品创新方向 •熟练使用AI工具，进行客户需求挖掘、市场动态分析，输出市场机会和技术发展趋势、市场容量和竞争格局，定义细分市场。 •负责产品生命周期和发展路线、商业化策略规划。 •通过竞对分析，识别产品、架构、技术和价格等方面优劣势，制定竞争策略。 •通过调研，洞察用户和客户场景、需求。 产品设计 •了解AI尤其是LLM工作基本原理，并进行AI Native Application的设计 •理解和抽象客户需求，分析客户场景，负责产品定义、功能和用户体验设计，输出PRD。 •协调研发团队完成产品的开发和测试，完成产品功能上线。 •基于对产品价值和成本的理解，参与价格策略制定和产品定价建议。 产品经营支持 •制定业务拓展策略，制定关键GTM指标，和PdSA共同制定拓展计划，跟踪产品市场表现和竞品情况，通过数据化经营分析提出产品经营改进建议。 •制定生态发展规划，结合产品力、产品优势场景及伙伴能力图谱，为产品设计基于生态的规模化增长及生态各参与者的健康发展策略。 产品上市 •制定产品上架策略，实现产品上架。 •主导产品GTM材料编写，协助PdSA完成赋能、参与产品营销推广。 •标杆建设，负责新产品、新能力的新客户建设，沉淀为可复制材料。 •产品商机挖掘，负责产品的目标市场分析，商机盘点，输出情报。 产品持续改进 •关注客户对产品的使用，合理安排产品需求优先级，推动产品改进、新产品或功能孵化，提升产品易用性，优化产品稳定性、安全性、性能和成本。