2023大数据开发工程师的工作职责10篇
1.有独立工作能力，工作踏实认真，以及较强的团队协作精神。
2.负责日志大数据平台的搭建和规划;
3.在总体架构设计下，完成日志大数据产品的设计、搭建、维护和调优，技术文档的编写与维护;
4.参与业务日志的大数据分析;
5.及时反馈开发中遇到的难点问题，沟通并寻求解决方案，按阶段有计划地完成开发任务
任职资格:
1、计算机等相关专业本科以上学历，2年以上开发经验;
2、熟悉 linux 操作系统，熟悉 shell 脚本语言，精通 Java，有较强的开发能力;
2、熟练使用SQL，熟悉Mysql、MongoDB、Hive等数据库技术的基本操作及原理;
3、熟悉Hadoop/Spark生态系统组件的使用，至少有1年的Spark(Core/Streaming/SQL)开发经验;
4、熟悉Elastic产品线(如 Elasticsearch、Kafka、Kibana、Logstash)的使用方法，了解常见优化方案，熟悉Elasticsearch部署、监控及性能调优;
5、熟悉数据挖掘、机器学习、网络数据分析等技术优先;
2023大数据开发工程师的工作职责【篇2】
1、 负责针对业务源系统进行数据抽取、处理、分析等相关工作。
2、 负责项目中涉及到的数据库创建、维护及提供数据接口工作;
3、 负责政府等业务数据库的开发、维护工作。
岗位要求：
1、计算机相关专业，有数据处理、数据库分析、开发经验，条件优秀者可适当放宽要求;
2、熟悉主流数据库的处理、分析、设计工具;
3、熟悉SQL关系数据语言;
4、熟悉常用数据库oracle、sqlserver、db2的管理，有数据库管理经验;
5、有良好的表达沟通能力;品行端正、诚实守信，具备团队合作精神，有强烈的事业心和创新开拓精神;
6、具有较强的学习、分析和判断能力。
2023大数据开发工程师的工作职责【篇3】
职责
1、负责传感器数据核心数据库产品整体架构设计及开发工作;
2、负责传感器数据数据库产品核心代码开发，并对存储性能进行持续调优;
3、进行传感器数据数据库系统的上线及部署方案设计及开发;
4、负责传感器数据库前端页面的开发，并针对业务需求进行持续调优;
5、对应用系统中存在的问题及性能瓶颈进行快速定位并解决;
岗位要求
1、具有3年以上数据库系统研发经验，大数据集群部署经验者优先;
2、精通数据库管理，熟练使用Mysql、SqlServer、ORACLE数据库、SQL语言，能独立进行应用排错、调优、数据库结构设计、数据备份和恢复等.
3、具有大型数据仓库或者数据库平台设计经验;
4、有大数据平台开发或者数据结构设计经验;
5、熟练掌握应用前端Web的开发;
6、沟通能力较好，对传感器有一定思考和了解;
7、踏实肯干，技术视野开阔，对业界新技术敏感，喜欢钻研，具有良好的学习能力并注重团队合作;
2023大数据开发工程师的工作职责【篇4】
职责
1、负责基于hadoop/spark生态系统、亿级别数据的全文检索，搜索引擎的产品研发;
2、基于海量用户行为数据和其他数据，分析和研究数据与实际业务的关联关系，并与实际业务应用相结合开发;
3、负责大数据分析需求设计和开发，承担数据抽取、清洗、转化等数据处理程序开发。
任职要求：
1、熟悉Hadoop/HBase/Spark/Storm/Redis/Kafka/ES/Flume技术及其生态圈，具备相关项目开发经验，有数据实时计算项目经验优先;
2、有搜索引擎全文检索开发经验 ，如：elasticsearch、solr;
3、熟悉python、R任意一门开发语言;
4、有SAAS，PAAS企业级应用平台或者互联网，金融等大型应用平台开发经验优先考虑;
5、 本科及以上学历，计算机/软件工程/统计学/数学等相关专业，互联网/金融等行业3年以上工作经验;
6、拥有良好的代码习惯，要求结构清晰、命名规范、逻辑性强、代码冗余率低，代码注释清晰;
7、熟悉使用svn，禅道等项目管理工具，有良好的团队协作开发经验.
2023大数据开发工程师的工作职责【篇5】
1. 编写存储过程和SQL脚本实现复杂业务逻辑;
2. 根据业务逻辑完成数据库表设计，和整个数据的抽取清洗转换过程(ETL)，以及数据输出;
3. 对于运行缓慢的SQL语句调优;
4. 数据处理自动化脚本部署和维护。
5、定时巡查数据库系统，发现潜在问题和性能瓶颈，并预警
【任职要求】
大专以上学历，计算机相关专业，有存储开发经验;
2、数据Oracle或SQLSERVER的运行机制，熟练掌握Oracle或SQLSERVER的基本操作和调优;
3、精通SQL语句，基础扎实
2023大数据开发工程师的工作职责【篇6】
1、根据数据库仓库及BI项目的需求，制定ETL相关的设计方案和开发计划，并进行后续的设计、实施、维护;
2、负责整个数据仓库数据模型的管理工作(建模、设计、实施);负责数据源调研、入库、开发的全流程工作，并保证数据质量;
3、负责数据仓库的模型的标准制定，实施，监督工作;承担数据抽取、清洗、转化等数据处理程序开发。
任职要求：
1、精通关系型数据库理论，熟练掌握Oracle数据库，熟悉数据仓库架构与模型;
2、熟悉Informatica等主流ETL开发工具;
3、精通SQL语句，对SQL查询优化有丰富的经验，熟悉PLSQL，熟悉函数、存储过程，触发器等的开发;
4、熟悉Linux操作系统SHELL脚本。
2023大数据开发工程师的工作职责【篇7】
1.负责ORACLE、SQLSEVER等数据库的实时数据处理、故障分析出来，性能优化等;
2.定位和解决数据集群组件性能和高可用问题，协助数据集群监控系统的开发;
3.深入探索业务数据，创造性的思考和发现问题，能够提出有效解决方案，协助新项目的预研和开发，数据驱动业务，
4.负责公司内外部各数据的接入和清洗处理。
任职资格：
1、计算机相关专业，本科及以上学历，1年以上hadoop开发经验，对分布式计算理论有深刻理解。
2、熟悉Linux开发环境，熟练Java、scala编程，有良好的编码习惯;
3、熟悉Hadoop、HBase、HIVE、Spark、KAFKA等系统相关技术原理与实现;
4、熟悉mysql、sql server、oracle开发环境，对SQL语句相当熟练，具备sql调优能力;
5、有大数据运维相关经验优先
6、具备良好的沟通能力、学习能力、分析解决问题能力;
7、英语熟练优先
2023大数据开发工程师的工作职责【篇8】
1、参与需求的调研、分析和设计工作，并根据需求设计说明书，编写数据模型存储过程设计文档;
2、负责数据提取和数据分析，以及数据库转换和迁移;
3、负责数据模型设计、后台存储过程开发;
4、负责数据库日常维护与性能优化;
5、负责项目上数据库相关业务的支撑。
任职要求：
1、本科及以上学历、计算机相关专业;(可以考虑去掉)
2、3年以上数据库存储过程开发工作经验，有一个或以上大型数据项目开发经验;
3、能独立撰写存储过程、视图、数据库函数、触发器;
4、熟悉ORACLE/DB2 数据库，有数据库、SQL语句优化的经验;
5、熟悉银行各业务部门常用报表类业务知识，包含资产负债类、中间业务类、票据类、信用卡类等。
6、能适应出差的工作环境;
2023大数据开发工程师的工作职责【篇9】
1、本岗位培养方向为证券基金行业数据架构师;
2、辅助大数据架构师制定项目开发流程、规范，辅助数据模型设计人员进行模型设计;
3、辅助技术架构师进行大数据平台调优(业务逻辑角度);
4、负责大数据平台开发，包括数据抽取、转换和加载;
5、负责控制数据需求、管理项目开发进度，配合QA完成项目质量管理;
职位要求：
1、2年以上证券或者基金行业数据中心、大数据平台建设经验;
2、具备较强的学习能力，对数据模型和大数据技术有浓厚的兴趣;
3、熟练掌握基于ORACLE或MPP数据库或Hadoop等开发技术;
4、至少掌握一种ETL开发工具。如：Informatica、DataStage、SSIS、Kettle等;
5、良好的团队合作精神、公司提供优厚待遇。
2023大数据开发工程师的工作职责【篇10】
职责
1、 进行业务系统数据库的规划、设计、实施，设计并优化数据库物理建设方案;
2、 对数据库进行管理，负责业务系统数据库的运营及监控;
3、 业务系统数据库的定期维护和异常处理;
4、 对数据库性能分析与调优，排错，保证数据安全;
5、 对数据库进行定期备份、和按需恢复;
6、 配合其他部门进行的数据处理、查询，统计和分析工作。
任职资格
1、 计算机相关专业，本科以上学历，两年以上相关工作经验;
2、 精通关系数据库原理，熟悉数据库系统的规划、安装、配置、性能调试，
3、 精通SQL、pll存储过程的编写，有丰富的数据库管理、运维调优经验;
4、 熟练使用数据库管理、分析、设计工具;
5、 对SQLSERVER精通、ORACLE、MYSQL有一定的了解;
6、 快速处理系统突发事件的能力，较强的学习和创新能力;
7、 良好的沟通能力、团队合作精神。
8、有专职DBA工作经验优先