大数据工程师的日常工作都是做什么呢【精选20篇】

职责：

1. 负责企业级数据仓库架构设计、建模以及etl开发，构建可扩展的数据仓库解决方案;

2.负责公司日常运营报表开发维护，和业务及分析部门沟通协作，提供多层面数据服务;

3.提供完善的数据保障体系，包括元数据管理、数据质量、数据安全等;

岗位要求

1. 计算机或相关专业本科及以上学历 ;

2. 具有丰富的数据开发经验，对数据处理、数据建模、数据分析等有深刻认识和实战经验;

3. 熟悉sql，有一定的sql性能优化经验;

4. 熟练掌握java语言，mapreduce编程，脚本语言shell/python/perl之一;

5. 业务理解力强，对数据、新技术敏感，对云计算、大数据技术充满热情;

6. 积极乐观、诚信、有责任心;具备强烈的进取心、求知欲及团队合作精神;

职责：

1.参与公司数据平台系统规划和架构工作，主导系统的架构设计和项目实施，确保项目质量和关键性能指标达成;

2.统筹和推进制造工厂内部数据系统的构建，搭建不同来源数据之间的逻辑关系，能够为公司运营诊断、运营效率提升提供数据支持;

3.负责数据系统需求对接、各信息化系统数据对接、软件供应商管理工作

5.根据现状制定总体的数据治理方案及数据体系建立，包括数据采集、接入、分类、开发标准和规范，制定全链路数据治理方案;深入挖掘公司数据业务，超强的数据业务感知力，挖掘数据价值，推动数据变现场景的落地，为决策及业务赋能;

6.定义不同的数据应用场景，推动公司的数据可视化工作，提升公司数据分析效率和数据价值转化。

任职要求：

1.本科以上学历，8年以上软件行业从业经验，5年以上大数据架构设计经验，熟悉bi平台、大数据系统相关技术架构及技术标准;

2.熟悉数据仓库、熟悉数据集市，了解数据挖掘、数据抽取、数据清洗、数据建模相关技术;

3.熟悉大数据相关技术：hadoop、hive、hbase、storm、flink、spark、kafka、rabbitmq;

4.熟悉制造企业信息化系统及相关数据库技术;

5.具备大数据平台、计算存储平台、可视化开发平台经验，具有制造企业大数据系统项目开发或实施经验优先;

6.对数据敏感，具备优秀的业务需求分析和报告展示能力，具备制造企业数据分析和数据洞察、大数据系统的架构设计能力，了解主流的报表工具或新兴的前端报表工具;

7.有较强的沟通和组织协调能力，具备结果导向思维，有相关项目管理经验优先。

职责：

1、负责公司大数据/hadoop/hive/hbase/flink等离线实时数据平台运维保障;

2、负责内部大数据自动化运维以及数据化运营平台开发工作;

3、负责hadoop/hbase等系统的业务监控、持续交付、应急响应、容量规划等;

4、深入理解数据平台架构，发现并解决故障及性能瓶颈，打造一流的数据平台;

5、持续的创新和优化能力，提升产品整体质量，改善用户体验，控制系统成本。

6、善于表达、理解客户数据服务需求，具备数据需求转化落地能力。

任职要求：

1、大学本科及以上学历，计算机或者相关专业;

2、深入理解linux系统，运维体系结构，精于容量规划、性能优化;

3、具备一定的开发能力，精通一门以上脚本语言;(shell/perl/python等)，熟悉java等开发语言一种及以上优先;

4、具备很强的故障排查能力，有很好的技术敏感度和风险识别能力;

5、能够承受较大的工作压力，以结果和行动为准则，努力追求成功;

6、熟悉hadoop、hbase、hive、spark、tez等原理并具备管理，配置，运维经验;

7、熟悉分布式系统设计范型，有大规模系统设计和工程实现的了解者优先。

8、具有运营商流量数据加工处理经验者优先。

职责：

1、大数据平台的规划、设计、实施，并优化数据库;

2、对数据库进行管理，负责数据库应用系统的运营及监控;

3、对数据库性能分析与调优，排错，保证数据正确率;

4、配合其他部门进行的数据处理、查询，统计和分析工作;

5、完成公司下达的项目开发任务。

任职要求：

1、计算机及相关专业本科以上学历，5年以上软件开发从业经验，其中包括至少2年以上的大数据开发工作经验;

2、熟悉hive,hadoop/spark,hbase等大数据相关技术架构，有管理或优化大型分布式集群经验;

3、熟悉linux基本命令，精通sql脚本的编写，有丰富的数据库管理、运维调优经验;

4、熟悉c++、java、c#等开发语言;

5、有互联网电商行业大数据分析处理和大型数据仓库的设计和实施经验;

6、有分布式系统分析及架构设计经验和大型计算集群的基础设施开发维护经验;

7、快速处理系统突发事件的能力，较强的学习和创新能力;

8、良好的沟通能力和团队合作精神。

职责：

1、对商业问题有深入的洞察，并思考解决方案及对应数据源要求;

2、负责项目过程中的数据库建立清洗;

3、负责项目的数据分析模型建造及数据挖掘。

任职要求：

1、全日制硕士及以上学历，统计学、数学等相关专业;

2、熟练使用spss/sas/r等统计分析软件，有一定的编程基础;

3、熟悉数据挖掘和机器学习相关算法，并能在相应工具中实现;

4、对数据敏感，较强的逻辑思维能力;

5、负责调研项目前期的抽样技术的把握;

6、乐观、进取、钻研，富有创新精神，良好的沟通及团队合作能力。

职责:

1)负责公司软件产品整体架构的设计和关键功能实现

2)负责公司架构长期看护以及优化;

3)负责软件部门各模组间的协调配合;

4)提高巩固软件代码质量;

5)负责大数据流式框架的设计、优化及部署;

6)规划研发部门员工的技术发展路线并提供必要的帮助和指导

任职资格:

1)本科及以上学历，计算机相关专业，5年以上工作经验;

2)频繁换工作，比如一年一个公司，请绕路;

3)3年以上产品架构经验，主导过产品的成功上线;

4)对底层设备通讯协议，b/s系统，手机app开发等都有一定的了解;

5)对各种主流语言c#javapathon有一定的了解

5)精通各种大数据架构，并深入研究过其中一种，有stormkafka等流式实时处理经验为佳

6)能够承担较强的工作压力，有良好的自我驱动能力和责任感;

7)具备优秀的逻辑思维能力、表达能力、沟通协调能力。

职责：

1.支持仓库管理系统wms和物流中心的日常作业，维护wms相关作业设备

2.负责用户、内部人员及外部人员的沟通，及时解决wms系统出现的问题

3.培训用户如何使用wms系统，收集、整理wms新需求

4.维护仓库网络和电脑设备正常运行，对突发状况及时响应处理和修复

5.数据备份和日常安全维护

任职要求：

1.大专及以上学历，计算机或相关相关物流管理专业

2.2年以上仓储物流行业系统运维经验，有wms系统经验者优先

3.熟悉windows操作系统和oracle数据库，精通sql语句

4.有责任心，具备良好的沟通表达能力和严谨的逻辑分析推理能力

职责：

1、负责大数据开发团队建设;

2、负责行业大数据产品架构设计与研发;

3、负责带领团队进行行业大数据产品关键技术攻关。

任职要求：

1、有三年以上大数据应用、开发经验;具备海量数据加工处理(etl)相关经验，对数据挖掘及机器学习有较为深刻的理解;

2、熟悉hadoop相关技术，对hdfs、mapreduce、hive、hbase有一定的使用和开发经验;

3、熟悉linux，熟练使用shell或python，进行脚本编写;

4、对数据结构和数据统计分析算法有较为深刻理解;

5、掌握至少一种主流关系数据库开发技术：oracle、sql server、mysql等;

6、掌握实时流计算技术，有spark、storm开发经验者优先;

7、需要具备2年以上研发团队管理经验。

职责:

1. 管理公司大数据集群，提供高可用、高性能大数据集群系统，并保障系统稳定运行

2. 负责大数据集群性能监控与优化，故障处理，数据备份及灾难恢复

3. 负责大数据集群自助平台的高可用架构设计和负载均衡的设计和实现

4. 负责业务系统大数据集群管理，包括数据库日常维护，系统数据安全以及权限管理、故障处理、日常错误情况处理等

5. 负责依据业务需求优化数据存储结构，负责数据库系统部署方案的计划、设计和实施

6. 负责系统大数据集群定期检查，进行性能分析与调优，充分保证信息系统数据的安全及系统高效运行

任职资格:

1. 全日制本科及以上学历，计算机或相关专业，1年以上hadoop运维经验

2. 熟悉hadoop生态圈hadoop、kafka、zookeeper、hbase、spark、hive等的安装配置和优化

3. 熟悉mysql等关系型数据库的部署与优化，了解mongodb或cassandra等nosql数据库

4. 熟悉linux类操作系统的基础命令操作，能够编写脚本开展日常运维工作

5. 熟悉linux开发环境，会使用shell/java/python中的一门脚本语言

6. 熟悉常见开源工具如nginx、zabbix、grafana等的安装配置和使用

职责：

1. 负责或参与智能连接产品(智能耳机，音箱等)后端系统的设计、代码实现;

2. 参与制定前后端业务流程、接口协议、文档输出等;

3. 负责或参与前端程序(app, device)的对接、调试;

4. 持续迭代开发，改善系统性能，用户体验。

岗位要求

1. 五年以上服务器端开发经验,一年以上go语言开发经验;

2. 熟悉linux，对服务器性能优化有一定了解，有高并发项目经验优先;

3. 熟练掌握nginx、mongodb、redis等开源组件;

4. 了解服务器安全配置相关的知识;

5. 熟悉多线程和网络编程，有分布式系统项目经验者优先;

6. 有可穿戴产品后台开发经验者优先。

职责：

1.负责对海量文本内容进行要素提取，精分类别、关联挖掘等技术的研发工作;

2.负责实现文本挖掘技术的产品化，并且结合招标领域开展应用与优化;

3.能指导较低职位的工程师完成工作;

4.能与高校科研机构进行协同创新。

任职资格：

1. 模式识别/人工智能/计算机相关专业，本科或以上学历;3年以上工作经验;

2. 正直、诚信、敬业、有激情、有良好团队交流能力;

3. 精通java、python语言，熟悉linux基本开发环境;

4. 精通nlp相关领域知识，拥有较为丰富的文本处理经验：精准分词、实体抽取、属性抽取、关系抽取、分类聚类、主题挖掘、poi挖掘等;

5. 具有nlp实战经验，参与过相关项目，有知识图谱/深度学习研发经验者优先;熟悉hadoop、 spark、storm等分布式处理框架者更佳;

6.熟悉git，svn等通用工具;

7. 对自然语言处理、知识图谱构建、人工智能等具有浓厚的兴趣。

职责：

1 客户机、电话机等桌面设备故障排除及支持，为用户提供及时的故障排错服务;

2 面向用户处理日常helpdesk桌面支持请求，并跟踪支持请求处理进度，更新至知识库

3 定期更新it相关教程和归档资料，方便用户调阅;配合完成简单的培训工作

4 有能力分析并处理简单的网络异常、服务器等系统的问题，反馈至it部。

5 负责工作站、复合打印机等共用设备的日常管理分派工作

6 按流程完成系统安装、环境配置、资产登记、并与用户协调和沟通;

岗位要求：

1 掌握计算机硬件基础，能够独立完成部件组装或更换

2 熟悉windows客户端操作系统各个版本的模块功能和配置

3 熟悉windows工作域的工作方式，基本操作和数据运维。

4 掌握vmware虚拟化产品的工作方式和相关知识

5 掌握基础tcpip网络知识，有hcna或ccna学习经验者优先

6 了解基本的脚本语言，有cmdshell和powershell经验者优先

7 2年左右相关工作经验(优先应届生也可)，拥有30人以上中小企业it部桌面支持工作经验的优先

职责：

1、负责大数据平台数据仓库建设、数据分析挖掘工作;

2、负责大数据的处理、整合及数据建模，协同业务开发人员，将模型算法成果应用到实际业务系统中，并通过可视化工具进行分析成果展示;

3、基于用户数据，研究用户行为，构建用户画像。

任职要求：

1、应用数学、计算机、信息处理等相关专业本科及以上学历;

2、3年以上大数据开发经验;

3、熟悉hadoop的大数据生态，精通sql语法【有较好的sql性能调优能力，掌握基于hive或者spark sql的hql脚本编写;

4、具有从数据查询，聚合，分析到可视化的整套实践经验;

5、熟练使用java或者python、基础扎实、能编写hive环境下或者spark sql环境下的udf;

6、具备良好的表达和沟通能力、学习能力，具备极强的团队合作精神，能够承受一定的工作压力。

职责：

1.负责大数据项目需求调研及分析、模型设计工作。

2.负责规划数据挖掘的整体流程，并参与用户产品和数据产品的决策。

3.与业务部门密切配合，寻求数据层面的业务价值，利用数据分析结论推动产品优化。

4.带领团队对于产品数据进行分析，指导工程师完成数据挖掘相关的算法、应用的设计与开发。

5.技术团队的管理，制定开发规范，撰写相关技术文档指导和培训工程师。

任职要求：

1.计算机、数学、统计等相关专业本科以及以上学历;两年及以上工作经验。

2.具备良好的数据结构和算法基础。

3.熟练掌握数据挖掘算法模块关联分析、聚类分析、分类分析、回归分析里的经典算法。

4.熟悉深度学习里的经典神经网络，包括并不限于mlp/cnn/rnn。

5.熟悉python, java等常用编程语言。

6.熟悉分布式数据处理系统的开发，hadoop/spark/hive等。

7.全面了解机器学习应用于实际问题的完整流程，有相关实际项目经验。

职责：

1、公司linux应用系统、网络及安全解决方案;

2、应用系统软件配置，维护，监控，调优，故障排除等;

3、保障服务器与数据库安全，检查并消除系统安全隐患;

4、数据备份、数据监控、应急响应、故障排除、编写数据分析报告等。

任职要求：

1、精通linux系统及常见服务配置，如：ftp、samba、nfs、rsync;

2、熟悉配置lvs、nginx、squid等常用负载均衡和缓存技术;

3、熟悉jekins、devops、持续集成工具，多环境不知发布及灰度发布;

5、能够独立配置和管理linux下的网络，路由，防火墙策略;

6、精通shell/python至少一种脚本语言，有自动化监控、自动化运维、自动化发布部署的运维经验;

7、熟悉mongodb、redis等数据库的管理维护，管理过hadoop/hbase分布式集群优先。

职责：

1、负责目标用户分析、数据预估、用户验证、用户调研等，为运营计划提供依据;

2、负责对行业数据的采集、管理，并不断完善行业数据积累;

3、负责使用行为数据、文本数据、关系数据等对用户进行深入分析，构建用户画像，用户关系网络等工具，持续优化用户风险评估模型、用户价值模型;

4、建立和优化数据模型，协助建立自动化决策系统;

5、负责监控日常游戏数据，输出相关结论和报告，及时发现数据异动，预警运营风险;

6、支持公司大数据产品的技术体系建设，将业内先进算法应用到业务场景，提高团队整体技术创新能力。

要求：

1、本科及以上学历，计算机、统计学、数学等相关数据分析专业;

2、三年以上工作经验，有成功的数据挖掘项目经验优先;

3、掌握sql语句，熟悉oraclemysqlsql server中一种或多种，具备数据处理能力;

4、精通常用数据挖掘工具软件r 或python等，掌握常用数据分析方法以及经典的数据挖掘算法，具备一定的基础可自编挖掘算;

5、具备一定的报告撰写能力，思维逻辑清晰，能从数据中提炼核心结果，并能形成有力的数据结果报告;

6、具有良好的逻辑分析能力和数据敏感度，善于发现问题和解决问题的能力，具有吃苦耐劳敬业精神和团队精神。

职责：

1. 根据项目经理或高级数据挖掘工程师要求独立完成项目的数据搜集和数据处理;

2. 能够快速根据项目需要学习并理解行业知识，并能在项目经理或高级数据挖掘工程指导下完成部分数据分析工作;

3. 能够使用sas,spss,或r,python等开源平台根据用户需求定制开发相应的算法;

4. 理解数据挖掘模型及预测分析结果，撰写相关分析报告;

5. 了解数据仓库及商务智能背景，熟练掌握一类数据展现分析工具，如：tableau，cognos等;

任职要求

1. 信息化管理、数学或统计学专业背景本科以上学历;

2. 具有一定的统计学、数据挖掘知识基础，有数据仓库/商业智能项目经验尤佳;

3. 精通数据挖掘方法论，熟悉数据挖掘项目过程;

4. 熟悉并掌握sas、spss统计分析或数据挖掘工具至少一种; 或具备python，r等使用开源平台开发算法的经验;

5. 有很强的事业心、责任感，良好敬业精神、团队精神与人际沟通能力。

职责:

1. 管理公司数据库，提供高可用、高性能数据库系统，并保障系统稳定运行。

2. 负责数据库性能监控与优化，故障处理，数据备份及灾难恢复。

3. 负责数据库自助平台的高可用架构设计和负载均衡的设计和实现。

4. 负责业务系统数据库管理，包括数据库日常维护，系统数据安全以及权限管理、故障处理、日常错误情况处理等。

5. 负责依据业务需求优化数据存储结构，负责数据库系统部署方案的计划、设计和实施。

6. 负责系统数据库定期检查，进行性能分析与调优，充分保证信息系统数据的安全及系统高效运行。

任职资格:

1. 全日制本科及以上学历，计算机或相关专业

2. 熟悉mysql实现原理，innodb，myisam，memory引擎，熟悉存储过程和事务。

3. 熟悉数据库原理、精通数据库核心参数的设置和调整，有规划、设计、部署以及数据库性能优化经验。

4. 具备数据库设计、sql优化能力，能根据业务需求，提供高可用、高性能、可扩展、稳定可靠的数据库解决方案。

5. 了解mongodb等非关系型数据库的特点。了解redis，memcache等内存数据库及缓存系统的原理及实现。

6. 熟悉linux操作系统，对主机、存储、网络有一定的了解, 会使用shell/perl/python中的一门脚本语言。

7. 有hadoop/kafka/spark/elasticsearch相关经验的优先考虑。

1、制作新产品的生产工艺流程,标准工时的制定，安装和调试新产品所需要的设备;负责公司进试产过程中的工艺研究，委外加工的技术沟通。

2、对iqc抽检不良的料件进行评审，然后对不良的料件或图纸提出ecr，并且对ecn的发行及追踪。

3、不断改善工艺流程，提高产品的产量及质量，降低生产周期。

4、各个部门进行沟通，了解产品的最新状况及各个部门遇到的问题，并帮助解决问题

5、负责产品售后技术问题的处理，并改善产品工艺。

6、设计制作各种生产辅助工治具，提高作业效率良率。

7、撰写sop以及各类制程管控文件，用以明确生产流程步骤，保证稳定生产，逐步提高。

职责：

1、it设施、系统运维(oa邮件短信平台电话会议);

2、it资产、库房管理;

3、负责集团所有会务及各团队组织活动的it支持;

4、集团整体办公设备的维护及故障排除，并提供相关it支持;

5、提供员工入离职it相关流程服务;

6、监控机房环境;

7、更新系统软件授权;

8、新采购办公设备的安装及调试;

任职要求：

1、熟练使用windows系统平台操作，对系统故障快速识别并解决。

2、具有一定应用开发背景、从事过信息系统开发和实施，具有良好的沟通能力，对行业中标准软件(邮件、办公、客户关系、财务等软件)有一定程度了解;

3、基本了解各业务部门的运作模式，熟悉实施项目所依赖的各项软件的功能;

4、2-3年信息化建设或者实施相关领域工作经验;

5、工作积极主动、踏实认真，有较强的表达能力和写作能力，善于主动沟通、主动学习，具有团队精神;

职责：

1.负责公司新业务方向平台大数据基础架构的搭建及后期数据处理体系的升级和优化，不断提升系统的稳定性和效率。为公司未来方向性产品提供大数据底层平台的支持和保证。

2.负责制定大数据平台调用约束和规范;

3.负责大数据方向技术难题的解决，以及代码质量的把控;

4.作为大数据开发团队的leader,负责大数据系统平台开发团队建设与人才梯队培养，分享技术经验，撰写相关技术文档指导和培训工程师。

任职要求：

1.热衷于大数据技术，并能平衡大数据性能、稳定性、扩展性多重要素进行设计和优化;

2.熟悉服务器基本知识，能够评估系统硬件性能瓶颈;

3.掌握linux操作系统的配置，管理及优化，能够独立排查及解决操作系统层的各类问题，并能提供解决问题的理论依据;

4.精通java服务器编程，熟悉jvm原理，对数据结构和算法设计有较为深刻的理解;

5.精通elasticsearch、redis、hadoop、kafka、zookeeper、yarn、hbase、spark底层架构，熟悉原理、源码、集群部署，包括参数优化、bug修复，贡献过代码或提交过bug者优先

6.具备数据中心资源管理、监控、调度等系统研发经验者优先，具备分布式系统研发经验者优先;

7.具有应用大数据技术处理的项目开发、维护超过两年的经验者优先;

8.具有良好的文档编写能力，可进行方案设计、架构设计。