商汤大装置-大模型数据开发工程师
任职要求
1、计算机相关专业，本科及以上学历优先； 2、具备5年以上数据处理经验，有机器学习数据体系实操经验，熟悉常见数据处理技术，熟练使用Python编程语言，有大模型数据团队工作经验者优先； 3、熟悉常见的大数据系统及分布式计算存储框架，具备良好的编码能力和代码质量意识，有大数据平台研发经验者优先； 4、具备良好的业务洞察、需求引导和方案设计能力，能快速理解客户业务场景，整合复杂技术能力和资源，给出匹配业务目标的解决方案和合理的架构设计； 5、具有优秀的沟通能力和合作精神，能够推动多方协作，确保方案高效落地； 6、有技术团队管理经验者优先；
工作职责
商汤大装置部门目前在寻找一个可以将人工智能训练、推理数据高效处理能力工程化的人，这个人需要能理解AII大模型研究员开发的一些工具，主要focus在数据清洗、处理以及生产等，并将这些工具有机结合起来工程化为一个产品体系。 1、基于公司在人工智能大模型数据体系的积累，将现有产品、内部工具和技术能力梳理融合，形成标准解决方案对外赋能 2、和客户高效沟通，挖掘客户在数据方面的需求以及技术关键点，结合标准方案和研发技术创新，设计技术方案并推动落地 3、带领技术团队，完成标准解决方案的开发和项目的交付工作
1. 设计和实现多租户高性能 SDN 控制模块，基于 IB 网络和 RDMA 通信协议，以实现高效、稳定的大模型训练数据交换。 2. 提出合理的设备选型和组网架构方案，确保网络的稳定性和可靠性。对于网络故障，进行排查和解决，保证网络的正常运行。 3. 根据业务场景开发云网络功能模块，优化高速网络的数据传输效率、降低相应时间，并提升运维管理能力。 4. 深入了解 NVIDIA QUANTUM 和 SPECTRUM 交换机以及 ConnectX 网卡的主要特性和功能原理，以便能够充分利用其性能优势。 5. 编写相关文档和测试用例，确保产品的质量和稳定性。与团队成员和其他相关部门进行有效的沟通和协作，推动项目的进展并达成目标。
1.大模型应用开发：负麦基于主流开源/闭源大模型进行应用落地，包括问答系统、智能助手、知识检索、文档处理等；并与产品、前端、后端、数据团队紧密协作，推动算法模型在真实业务中的部署与落地。 2.RAG 系统优化：主导通用型 RAG(Retrieval-Augmented Generation)系统的构建与效果优化，包括召回、排序、长文本处理、多文档合成等关键环节。 3.Agent 框架开发：研究和实现多 Agent 协作框架，提高 Agent 在复杂任务中的稳定性与执行效果，探索如任务分解、工具使用、状态记忆等机制。 4.模型效果调优：结合业务场景，设计 Prompt、微调、评测等策略，提升大模型在特定任务中的表现。 5.技术积累与分享：沉淀可复用的模型应用框架、调优经验和评估指标，推动团队整体技术能力提升。
开发https://github.com/LazyAGI/LazyLLM 【注意】此岗位对编程要求较高，面试前欢迎先了解项目，会展开交流。 1. 结合业务落地的经验，探索并形成各个垂直领域应用定制开发的标准作业程序(SOP)，沉淀到LazyLLM中 2. 打造灵活高效的场景应用建设方案，搭建从数据到训练、微调、部署、推理、评测、交付的低代码大模型应用生产SDK。 3. 与公司内外的行业伙伴合作，打造端到端解决方案能力，探索如一体机、私有化应用开发平台、国产芯片等业务交付新形态。
支持商汤SenseCore AI智算数据中心以及大模型应用开发平台等多产品的技术设计、开发工作； 开发并维护高可用，易扩展的后端服务； 优化后端服务的性能和可扩展性，分析并解决系统中的性能瓶颈； 设计和实现高效的 API 以及微服务架构，支持复杂的业务逻辑需求； 与前端、算法、DevOps 以及其他后端团队密切合作，共同推动技术解决方案的落地。