小红书AI 算法工程 - DataEngineer Agent 方向
任职要求
1. 负责数据采集、清洗、预处理和存储，确保数据质量和完整性； 2. 设计和实现高效的数据处理流程，优化数据处理性能； 3. 开发和维护数据管道，支持AI算法的训练和推理； 4. 参与AI Agent系统的架构设计和开发，提升系统的可扩展性和稳定性； 5. 与算法团队紧密合作，将算法模型集成到生产环境中； 6. 持续优化数据处理和存储方案，提高系统的效率和可靠性； 7. 编写高质量的技术文档，包括设计文档、用户手册等； 8. 跟踪最新的数据处理技术和工具，不断学习和引入新的技术方案； 9. 支持其他团队的数据需求，提供数据方面的技术支持和咨询。
工作职责
负责研发DataEngineer Agent，DE Agent 可以完成日常数据开发工程师从数据需求、模型设计、代码开发、数据测试、任务编排、发布部署的工作，大幅度提高数据处理和分析的效率。 任职资格： 1. 计算机科学、数据科学、软件工程或相关专业本科及以上学历； 2. 五年以内数据工程或AI相关工作经验，有数据处理、数据清洗、数据建模经验者优先； 3. 熟练掌握Python、SQL等编程语言，熟悉Linux环境开发； 4. 熟悉常用的数据处理工具和框架，如Pandas、NumPy、Spark等； 5. 有向量数据库、知识图谱、数据仓库等相关经验者优先； 6. 熟悉深度学习框架，如TensorFlow、PyTorch等，有模型训练和调优经验者优先； 7. 具备良好的系统设计能力，能够独立完成技术方案的设计、开发和测试； 8. 优秀的分析问题和解决问题的能力，对解决具有挑战性的问题充满激情； 9. 良好的团队合作意识和沟通能力，能够与不同岗位的人员进行有效的合作； 10. 英语读写能力良好，能够阅读和理解技术文档和学术论文。
1、负责生产平台Dataverse 从Data For BI 数据平台升级为Data For AI+BI 数据平台，包括打造Notebook，个人开发环境，支持代码类任务（PySpark、Scala Spark、UDF、Ray、Python等）的高效开发和调试； 2、负责生产平台Dataverse Data+AI 数据血缘的建设，从在线、近线、到离线，覆盖算法链路特征、索引、模型、词表、样本等血缘链路的建设，支持算法全链路排障、内容理解和数据治理； 3、打造DataEngineer Agent、DataScience Agent，辅助数据开发工程师、数据科学家完成日常的数据处理、分析、建模的工作； 4、负责生产平台Dataverse 日常需求迭代，稳定性保障和问题排查等工作，具体模块包括数据同步、任务开发、数据测试、数据发布、任务运维及调度系统。
1. 负责百科场景下的策略算法研发工作, 包括但不限于LLM/图像等相关技术的研发 2. 利用LLM算法提升业务效果，包括但不限于内容理解、优质内容生成、召回排序模块优化, 图像生成等 3. 跟进NLP/LLM/推荐/搜索等领域前沿技术 4. 结合产品需求推动前沿技术落地
-负责百科场景下的策略算法研发工作, 包括但不限于LLM/图像等相关技术的研发 -利用LLM算法提升业务效果，包括但不限于内容理解、优质内容生成、召回排序模块优化, 图像生成等 -跟进NLP/LLM/推荐/搜索等领域前沿技术 -结合产品需求推动前沿技术落地
-负责电商搜索场景的LLM相关算法研发工作，包括但不限于基座训练、sft、偏好对齐等 -利用LLM算法提升业务效果，包括但不限于需求理解、智能问答、优质内容生成、召回排序模块优化等 -跟进NLP/LLM/推荐/搜索等领域前沿技术 -结合产品需求推动前沿技术落地