字节跳动硬件研发工程师（交互数据实验室）-PICO

团队介绍：专注于探索AI和智能硬件的结合，为用户提供更自然和便捷的交互体验的研发团队，隶属于产品研发与工程架构部。作为负责AI技术应用场景探索的部门，是字节在智能硬件领域提供综合方案研究的核心部门。我们欢迎期待心怀技术理想、不断挑战技术难题的“你”的加入，和顶尖团队一起参与技术攻坚，开启更多可能。 课题介绍： 背景：目前移动端处理器均是非对称异构多核处理器（big.LITTLE架构），之前的调度器(类)大多基于Linux原生的公平调度算法CFS/EEVDF。自EAS引入后，才使调度器第一次具备了能耗感知能力，通过EM（能耗模型）来量化调度行为导致的CPU能耗变化，从而做出能耗更优的大小核调度。但随着应用生态的日益多样和CPU算力的快速升级，EAS也暴露了自身的设计不足，如： 1、EM模型参数需要通过实验室数据模拟设定，设定后无法修改； 2、不能针对不同的场景做精细化的预估和调节； 3、功耗模型应用时未考虑任务自身的的指令执行效率和特征分类，从而做出一些不恰当的选择等； 4、为了充分发挥异构多核处理器的能效优势，精准计算和指导SoC的能效优化，迫切需要结合异构硬件特性实现对CPU指令吞吐性能感知和能效动态预估，打造一个面向AI新生态和能效智能校准能力的调度器； 5、进一步的，通过对异构计算能力的指令级能耗分解，并结合未来的芯片技术发展趋势，可以实现范围更广的多算力设备联合调度和能效建模，从软硬结合的角度构造核心竞争力，将SoC能效优化推到极致。 课题挑战： 1、开销：系统中需要实时监控和统计指令特征等信息，引入的开销需要控制在最小的范围内； 2、硬件制约：部分平台，对外提供的AMU/PMU事件较少，寄存器数量有限，可能要做分时复用设计；异构多核系统以及cache的多级设定，对指令的执行效率和产生的能效有较大扰动，需要结合架构做灰盒建模； 3、复合场景：多窗口，多应用，悬浮窗等不同场景下，能耗模型的普适性和准确性。 目标： 1、游戏、动效等场景，帧率不变，功耗优化10%。

团队介绍：专注于探索AI和智能硬件的结合，为用户提供更自然和便捷的交互体验的研发团队，隶属于产品研发与工程架构部。作为负责AI技术应用场景探索的部门，是字节在智能硬件领域提供综合方案研究的核心部门。我们欢迎期待心怀技术理想、不断挑战技术难题的“你”的加入，和顶尖团队一起参与技术攻坚，开启更多可能。 课题介绍： 背景：目前移动端处理器均是非对称异构多核处理器（big.LITTLE架构），之前的调度器(类)大多基于Linux原生的公平调度算法CFS/EEVDF。自EAS引入后，才使调度器第一次具备了能耗感知能力，通过EM（能耗模型）来量化调度行为导致的CPU能耗变化，从而做出能耗更优的大小核调度。但随着应用生态的日益多样和CPU算力的快速升级，EAS也暴露了自身的设计不足，如： 1、EM模型参数需要通过实验室数据模拟设定，设定后无法修改； 2、不能针对不同的场景做精细化的预估和调节； 3、功耗模型应用时未考虑任务自身的的指令执行效率和特征分类，从而做出一些不恰当的选择等； 4、为了充分发挥异构多核处理器的能效优势，精准计算和指导SoC的能效优化，迫切需要结合异构硬件特性实现对CPU指令吞吐性能感知和能效动态预估，打造一个面向AI新生态和能效智能校准能力的调度器； 5、进一步的，通过对异构计算能力的指令级能耗分解，并结合未来的芯片技术发展趋势，可以实现范围更广的多算力设备联合调度和能效建模，从软硬结合的角度构造核心竞争力，将SoC能效优化推到极致。 课题挑战： 1、开销：系统中需要实时监控和统计指令特征等信息，引入的开销需要控制在最小的范围内； 2、硬件制约：部分平台，对外提供的AMU/PMU事件较少，寄存器数量有限，可能要做分时复用设计；异构多核系统以及cache的多级设定，对指令的执行效率和产生的能效有较大扰动，需要结合架构做灰盒建模； 3、复合场景：多窗口，多应用，悬浮窗等不同场景下，能耗模型的普适性和准确性。 目标： 1、游戏、动效等场景，帧率不变，功耗优化10%。

1. 具身智能大模型研究与优化 (1) 研究和构建具身智能大模型（Embodied Foundation Models）与机器人大脑。 (2) 探索语言、视觉、动作等多模态融合机制（VLM / VLA / VLA-Agent）。 (3) 优化模型的长时记忆、推理能力与可泛化性。 2. 机器人智能算法研发 (1) 设计和实现机器人多模态感知、导航、操作、交互等核心算法模块。 (2) 推进大模型驱动的机器人任务规划与决策。 (3) 基于模拟器与真实世界数据，进行大规模对齐与强化学习（Sim2Real, RLHF, Imitation Learning）。 3. 系统落地与协同研发 (1) 与硬件与系统团队协作，推动模型算法在真实机器人平台上的部署与性能调优。 (2) 支撑具身智能大模型的云端训练体系、数据闭环与MLOps工程。 (3) 发表高水平论文或申请相关专利，推动业界与学界前沿研究。

团队介绍：字节跳动豆包大模型团队成立于 2023 年，致力于开发业界最先进的 AI 大模型技术，成为世界一流的研究团队，为科技和社会发展作出贡献。 豆包大模型团队在AI领域拥有长期愿景与决心，研究方向涵盖NLP、CV、语音等，在中国、新加坡、美国等地设有实验室和研究岗位。团队依托平台充足的数据、计算等资源，在相关领域持续投入，已推出自研通用大模型，提供多模态能力，下游支持豆包、扣子、即梦等50+业务，并通过火山引擎开放给企业客户。目前，豆包APP已成为中国市场用户量最大的AIGC应用。 1、负责多模态大模型的研发和应用，研究相关技术在豆包、智能助手、智能硬件等领域的全新应用和解决方案，包括而不限于多模态理解生成，视觉Agent等能力，研发以人工智能技术为核心的新技术、新产品； 2、探索超大规模模型，进行极致系统优化； 3、数据建设、指令微调、偏好对齐、模型优化； 4、相关应用落地，包括看图对话、问答、搜索、生成创作、逻辑推理、代码生成等； 5、在未来生活中的更多使用场景的深入研究和探索，满足用户不断增长的智能交互需求，全面提升用户在未来世界的生活和交流方式。