平头哥平头哥-深度学习推理引擎研发专家-上海
任职要求
1、 CS/EE相关领域，5+年工作经验(A Masters or higher degree in Computer Engineering, Computer Science, Applied Mathematics or related computing focused degree (or equivalent experience), 5+ years of relevant software development experience) 2、 熟悉C/C++编程（Excellent C/C++ programming and software design skills, including debugging, performance analysis, and test design）. 3、 熟悉深度学习框架，如Tensorflow，Pytorch（Familiar with …
工作职责
1、参与设计和实现推理引擎SDK，提升推理性能、易用性和产品稳定性。（Design and develop inference engine。Focusing on performance、usability and product robustness） 2、参与设计和实现推理引擎的AI编译。包括图融合、各类图优化、算子优化以及自动化调优等（Design and develop AI Compiling。including fusion，graph optimizations、kernel optimization and auto-tuning） 3、参与设计和实现推理引擎的运行时系统。包括内存管理以及资源管理等等。实现高效和稳定的稳定性。（Design and develop runtime system，including memory management and resource management） 4、参与设计和实现大模型的推理优化。基于推理引擎，研发和应用大模型推理优化的技术（Design and optimize LLM inference。Based on inference engine，develop and apply core technology for LLM inference）
● 设计和实现高效的分布式推理架构，提升多节点、多GPU环境下的推理速度和资源利用率。开发智能的请求调度算法，确保高并发场景下的最优响应时间和吞吐量。对推理引擎的运行时环境进行深度优化，减少延迟，提高整体性能。针对多种异构AI加速硬件（如NVIDIA GPU, AMD GPU, NPU等），对核心算子进行极致性能优化，最大化算力和访存带宽利用率。 ● 探索并实现极低bit量化技术和稀疏化，减少模型存储和计算资源消耗，同时保持推理精度。探索更高效的解码算法，提升生成任务的推理速度。 ● 设计并实现能够处理大规模并发请求的系统架构，确保极端负载下的稳定性和性能。引入容错机制、自动恢复和监控报警系统，保证系统的高可用性和稳定性。构建灵活的系统架构，支持动态扩展，以应对未来业务增长和技术演进的需求。 ● 持续关注并跟进业界技术发展，尤其是超长上下文、COT思维链、多模态融合等方向。积极尝试和探索新的推理优化方向，提出并验证创新性的解决方案。
1. 负责研发AI异构计算软件栈，通过结合不同加速芯片的特性，实现AI计算的全链路优化，助力打造在业界具有竞争力的高可靠、高性能、高效率的大规模AI算力基础设施。 2. 结合具体业务场景，开展软硬件协同优化和技术创新（包括但不限于算子优化与编译、量化压缩，计算通讯融合，系统调度、分布式推理优化等工程任务），为实际业务提供卓越的性能和成本效益。 3. 洞察人工智能及深度学习的发展趋势，积极参与下一代AI基础设施的设计与研发。
1.参与视觉大模型、语音大模型研发，探索表征学习和模型架构设计等关键技术； 2.参与跨模态大模型研发，提升模型多模态感知、理解、生成和执行能力； 3.深入调研视觉、语音、文本等模态前沿技术，等提升模型通用智能水平；
1.参与视觉大模型、语音大模型研发，探索表征学习和模型架构设计等关键技术； 2.参与跨模态大模型研发，提升模型多模态感知、理解、生成和执行能力； 3.深入调研视觉、语音、文本等模态前沿技术，等提升模型通用智能水平；