字节跳动硬件研发工程师（交互数据实验室）-PICO

团队介绍：专注于探索AI和智能硬件的结合，为用户提供更自然和便捷的交互体验的研发团队，隶属于产品研发与工程架构部。作为负责AI技术应用场景探索的部门，是字节在智能硬件领域提供综合方案研究的核心部门。我们欢迎期待心怀技术理想、不断挑战技术难题的“你”的加入，和顶尖团队一起参与技术攻坚，开启更多可能。 课题介绍： 背景：目前移动端处理器均是非对称异构多核处理器（big.LITTLE架构），之前的调度器(类)大多基于Linux原生的公平调度算法CFS/EEVDF。自EAS引入后，才使调度器第一次具备了能耗感知能力，通过EM（能耗模型）来量化调度行为导致的CPU能耗变化，从而做出能耗更优的大小核调度。但随着应用生态的日益多样和CPU算力的快速升级，EAS也暴露了自身的设计不足，如： 1、EM模型参数需要通过实验室数据模拟设定，设定后无法修改； 2、不能针对不同的场景做精细化的预估和调节； 3、功耗模型应用时未考虑任务自身的的指令执行效率和特征分类，从而做出一些不恰当的选择等； 4、为了充分发挥异构多核处理器的能效优势，精准计算和指导SoC的能效优化，迫切需要结合异构硬件特性实现对CPU指令吞吐性能感知和能效动态预估，打造一个面向AI新生态和能效智能校准能力的调度器； 5、进一步的，通过对异构计算能力的指令级能耗分解，并结合未来的芯片技术发展趋势，可以实现范围更广的多算力设备联合调度和能效建模，从软硬结合的角度构造核心竞争力，将SoC能效优化推到极致。 课题挑战： 1、开销：系统中需要实时监控和统计指令特征等信息，引入的开销需要控制在最小的范围内； 2、硬件制约：部分平台，对外提供的AMU/PMU事件较少，寄存器数量有限，可能要做分时复用设计；异构多核系统以及cache的多级设定，对指令的执行效率和产生的能效有较大扰动，需要结合架构做灰盒建模； 3、复合场景：多窗口，多应用，悬浮窗等不同场景下，能耗模型的普适性和准确性。 目标： 1、游戏、动效等场景，帧率不变，功耗优化10%。

团队介绍：专注于探索AI和智能硬件的结合，为用户提供更自然和便捷的交互体验的研发团队，隶属于产品研发与工程架构部。作为负责AI技术应用场景探索的部门，是字节在智能硬件领域提供综合方案研究的核心部门。我们欢迎期待心怀技术理想、不断挑战技术难题的“你”的加入，和顶尖团队一起参与技术攻坚，开启更多可能。 课题介绍： 背景：目前移动端处理器均是非对称异构多核处理器（big.LITTLE架构），之前的调度器(类)大多基于Linux原生的公平调度算法CFS/EEVDF。自EAS引入后，才使调度器第一次具备了能耗感知能力，通过EM（能耗模型）来量化调度行为导致的CPU能耗变化，从而做出能耗更优的大小核调度。但随着应用生态的日益多样和CPU算力的快速升级，EAS也暴露了自身的设计不足，如： 1、EM模型参数需要通过实验室数据模拟设定，设定后无法修改； 2、不能针对不同的场景做精细化的预估和调节； 3、功耗模型应用时未考虑任务自身的的指令执行效率和特征分类，从而做出一些不恰当的选择等； 4、为了充分发挥异构多核处理器的能效优势，精准计算和指导SoC的能效优化，迫切需要结合异构硬件特性实现对CPU指令吞吐性能感知和能效动态预估，打造一个面向AI新生态和能效智能校准能力的调度器； 5、进一步的，通过对异构计算能力的指令级能耗分解，并结合未来的芯片技术发展趋势，可以实现范围更广的多算力设备联合调度和能效建模，从软硬结合的角度构造核心竞争力，将SoC能效优化推到极致。 课题挑战： 1、开销：系统中需要实时监控和统计指令特征等信息，引入的开销需要控制在最小的范围内； 2、硬件制约：部分平台，对外提供的AMU/PMU事件较少，寄存器数量有限，可能要做分时复用设计；异构多核系统以及cache的多级设定，对指令的执行效率和产生的能效有较大扰动，需要结合架构做灰盒建模； 3、复合场景：多窗口，多应用，悬浮窗等不同场景下，能耗模型的普适性和准确性。 目标： 1、游戏、动效等场景，帧率不变，功耗优化10%。

1. 具身智能大模型研究与优化 (1) 研究和构建具身智能大模型（Embodied Foundation Models）与机器人大脑。 (2) 探索语言、视觉、动作等多模态融合机制（VLM / VLA / VLA-Agent）。 (3) 优化模型的长时记忆、推理能力与可泛化性。 2. 机器人智能算法研发 (1) 设计和实现机器人多模态感知、导航、操作、交互等核心算法模块。 (2) 推进大模型驱动的机器人任务规划与决策。 (3) 基于模拟器与真实世界数据，进行大规模对齐与强化学习（Sim2Real, RLHF, Imitation Learning）。 3. 系统落地与协同研发 (1) 与硬件与系统团队协作，推动模型算法在真实机器人平台上的部署与性能调优。 (2) 支撑具身智能大模型的云端训练体系、数据闭环与MLOps工程。 (3) 发表高水平论文或申请相关专利，推动业界与学界前沿研究。

团队介绍 我们隶属于SoC芯片研发体系，是连接芯片设计与最终产品化的关键桥梁。团队深度参与自研车载/嵌入式SoC的架构定义、硅前硅后验证及系统软件交付。在这里，你将不只是一个驱动“适配者”，而是从芯片规格阶段就介入，为全新的、未面世的大规模异构 SoC 从头开始设计和构建最底层的软件基石。我们倡导极客精神与工程深度，鼓励用扎实的代码能力将硬件特性发挥到极致，共同定义芯片的灵魂。 1. 协同SOC芯片设计，完成特定模块的架构设计，软件实现，后期量产维护。 2. 负责调试内核线程同步，Panic，watchdog等问题。 3. 负责车规智驾芯片驱动软件开发，完成其功能定义，软件实现，性能调优，量产支持工作。