拼多多算法推理优化工程师
任职要求
1、后台技术扎实，掌握Java/Python/C++语言；有较强的高性能编程基础，了解常规的性能优化方式； 2、熟悉主流推理框架和推理加速技术，包括但不限于TensorRT/TVM/onnxruntime等，模型压缩、模型量化等技术； 3、熟悉深度学习相关平台/系统，如PyTorch、T…
工作职责
1、负责工程推理平台的研发与优化，支撑平台持续升级优化； 2、负责模型推理加速，深入优化模型性能，降低资源成本； 3、负责算法项目的工程化落地，适应业务的发展，推动业务的落地解决。
1、利用图优化，编译优化，CPU/GPU优化等技术加速CV/NLP/Speech等AI算法推理，充分挖掘处理器算力，为快手数亿用户提供高效稳定的算法能力输出； 2、追踪业界在异构计算性能优化方面的发展，并进行预研和应用探索； 3、工作内容包括但不限于： （1）CUDA kernel开发； （2）编译优化技术开发； （3）onnx parser开发； （4）训推一体加速库开发； （5）多卡推理技术开发； （6）针对Transformer/bert网络结构性能优化。
1. 负责将深度学习模型（如 CNN、Transformer 等）高效部署到车端或云端集群，优化推理时延、内存占用及功耗 2. 实现车端模型包括大模型的量化（INT8/fp8），结合 TensorRT、torch 等框架完成端到端性能调优 3. 开发或优化高性能算子，利用 CUDA、OpenCL、NEON 指令集或硬件加速库（cuDNN、OneDNN）实现极致性能
面向快手搜索业务，针对在线推理各个流程（特征、模型等）进行研发与优化； 1、针对搜索业务下的sparse/dense模型进行框架研发与优化，充分压榨GPU的能力； 2、针对推理场景下的特征、embedding查询计算优化，进一步提升CPU的计算效率； 3、支持大模型在搜索场景的落地工作。
1. 研发高性能推理算法： 设计并实现自注意力机制优化、并行推理、负载均衡、弹性容量等无损推理服务优化算法，提升服务效率与稳定性； 2. 探索轻量化推理技术： 深入研究和应用有损推理加速算法，包括但不限于知识蒸馏、模型量化、网络剪枝、KV-Cache压缩等，实现模型的高效部署； 3. 聚焦软硬件一体优化策略： 从计算图优化、算子融合、计算通信重叠、专家并行、vGPU虚拟化等多个维度入手，显著提升端到端推理性能。