字节跳动大模型框架专家（存算与AI） - 芯片研发

工作描述

任职要求
1、计算机、算法、电子工程或相关专业本科及以上学历，具有3年以上C++/Python开发经验，以及AI框架、训练系统、推理引擎或异构计算相关经验，熟悉多线程、异步编程、内存管理和网络通信，具备大型软件系统设计能力；
2、熟悉PyTorch、JAX等深度学习框架，理解计算图、自动微分、自定义算子、设备后端和分布式执行机制，熟悉Transformer、Attention、MoE及大模型训练和生成流程，理解模型并行、Prefill、Decode和KV Cache；
3、在分布式训练、推理引擎、分布式推理或异构Runtime中至少一个方向具有深入经验，熟悉Megatron-LM、DeepSpeed、PyTorch FSDP、vLLM、SGLang、TensorRT-LLM等至少一种框架，具有多机多卡训练、高并发在线推理或GPU/NPU集群优化经验，具有FP8、INT8、INT4、AWQ、GPTQ等低精度训练或量化推理…