大数据工程师的日常工作都是做什么呢20篇

职责：

1.参与公司数据平台系统规划和架构工作，主导系统的架构设计和项目实施，确保项目质量和关键性能指标达成;

2.统筹和推进制造工厂内部数据系统的构建，搭建不同来源数据之间的逻辑关系，能够为公司运营诊断、运营效率提升提供数据支持;

3.负责数据系统需求对接、各信息化系统数据对接、软件供应商管理工作

5.根据现状制定总体的数据治理方案及数据体系建立，包括数据采集、接入、分类、开发标准和规范，制定全链路数据治理方案;深入挖掘公司数据业务，超强的数据业务感知力，挖掘数据价值，推动数据变现场景的落地，为决策及业务赋能;

6.定义不同的数据应用场景，推动公司的数据可视化工作，提升公司数据分析效率和数据价值转化。

任职要求：

1.本科以上学历，8年以上软件行业从业经验，5年以上大数据架构设计经验，熟悉bi平台、大数据系统相关技术架构及技术标准;

2.熟悉数据仓库、熟悉数据集市，了解数据挖掘、数据抽取、数据清洗、数据建模相关技术;

3.熟悉大数据相关技术：hadoop、hive、hbase、storm、flink、spark、kafka、rabbitmq;

4.熟悉制造企业信息化系统及相关数据库技术;

5.具备大数据平台、计算存储平台、可视化开发平台经验，具有制造企业大数据系统项目开发或实施经验优先;

6.对数据敏感，具备优秀的业务需求分析和报告展示能力，具备制造企业数据分析和数据洞察、大数据系统的架构设计能力，了解主流的报表工具或新兴的前端报表工具;

7.有较强的沟通和组织协调能力，具备结果导向思维，有相关项目管理经验优先。

职责：

1、it设施、系统运维(oa邮件短信平台电话会议);

2、it资产、库房管理;

3、负责集团所有会务及各团队组织活动的it支持;

4、集团整体办公设备的维护及故障排除，并提供相关it支持;

5、提供员工入离职it相关流程服务;

6、监控机房环境;

7、更新系统软件授权;

8、新采购办公设备的安装及调试;

任职要求：

1、熟练使用windows系统平台操作，对系统故障快速识别并解决。

2、具有一定应用开发背景、从事过信息系统开发和实施，具有良好的沟通能力，对行业中标准软件(邮件、办公、客户关系、财务等软件)有一定程度了解;

3、基本了解各业务部门的运作模式，熟悉实施项目所依赖的各项软件的功能;

4、2-3年信息化建设或者实施相关领域工作经验;

5、工作积极主动、踏实认真，有较强的表达能力和写作能力，善于主动沟通、主动学习，具有团队精神;

职责：

1.负责本部门系统运维管理工作，常见的维护，搭建，监控响应、负责系统的变更与发布工作，线上服务漏洞的排查，版本升级工作处理等等

2.参于解决系统技术方面的瓶颈，寻找可行的改进方案等突破性工作

3. 负责海外业务系统的方案设计、沟通协调等

4.负责领导交办的其他工作;

任职要求：

1. 计算机应用、网络管理、信息管理、计算机科学与技术等计算机相关专业;

2. 至少具备4年以上企业it运维经验;

3 对linux系统下的各类典型应用软件的性能、使用场景有深刻的认识;

4 精通python/shell等任意一种脚本语言，能高效进行日常维护工具开发;

5 对主流数据库(mysql/mongodb/redis等)有深入了解，有实际部署与常见管理经验;

6 做事情严谨踏实，有责任心，团队协作能力强，能承受较强的工作压力，有服务意识式;

7 熟悉java、tomcat、nginx、mysql等软件的安装、配置、故障排查、性能调优等;

8 具备良好的思维逻辑，以及文档编制能力。

9 要求英文流利，能和外方用英文进行技术沟通、探讨，并能查看或编写英文技术文档。有外资公司技术工作经验者优先。

职责：

1. 根据项目经理或高级数据挖掘工程师要求独立完成项目的数据搜集和数据处理;

2. 能够快速根据项目需要学习并理解行业知识，并能在项目经理或高级数据挖掘工程指导下完成部分数据分析工作;

3. 能够使用sas,spss,或r,python等开源平台根据用户需求定制开发相应的算法;

4. 理解数据挖掘模型及预测分析结果，撰写相关分析报告;

5. 了解数据仓库及商务智能背景，熟练掌握一类数据展现分析工具，如：tableau，cognos等;

任职要求

1. 信息化管理、数学或统计学专业背景本科以上学历;

2. 具有一定的统计学、数据挖掘知识基础，有数据仓库/商业智能项目经验尤佳;

3. 精通数据挖掘方法论，熟悉数据挖掘项目过程;

4. 熟悉并掌握sas、spss统计分析或数据挖掘工具至少一种; 或具备python，r等使用开源平台开发算法的经验;

5. 有很强的事业心、责任感，良好敬业精神、团队精神与人际沟通能力。

职责：

1、 总部、分公司计算机、服务器、笔记本电脑、硬软件、计算机网络运营管理;

2、 公司整体硬件及网络信息化管理规划及相关制度、流程建设并组织实施;

3、 公司邮件、网站服务器管理、日常维护;

4、 与硬件及网络供应商保持良好的合作关系，以确保系统问题得到快速的支援;

5、 新员工入职邮箱、系统等权限开通;

6、 领导交代的其他相关事宜。

任职资格：

1、大专以上学历，计算机等相关专业毕业，接受优秀应届毕业生;

2、了解或者熟悉helpdesk;熟悉基本网络维护作业，知悉基本布线规则;

3、扎实的计算机软硬件基础知识;

4、服务意识强、办事效率高、有责任心;

5、做事积极主动、有一定沟通能力、较强的工作热情、组织管理能力。

1、制作新产品的生产工艺流程,标准工时的制定，安装和调试新产品所需要的设备;负责公司进试产过程中的工艺研究，委外加工的技术沟通。

2、对iqc抽检不良的料件进行评审，然后对不良的料件或图纸提出ecr，并且对ecn的发行及追踪。

3、不断改善工艺流程，提高产品的产量及质量，降低生产周期。

4、各个部门进行沟通，了解产品的最新状况及各个部门遇到的问题，并帮助解决问题

5、负责产品售后技术问题的处理，并改善产品工艺。

6、设计制作各种生产辅助工治具，提高作业效率良率。

7、撰写sop以及各类制程管控文件，用以明确生产流程步骤，保证稳定生产，逐步提高。

职责：

1. 深刻理解政府行业业务模式，构建政府行业的数据模型，制定公司大数据技术发展路线;

2. 对接业务研究和技术部门，主动搜集和转化需求，组织数据中心业务开发，进行数据相关产品需求分析和设计;

3. 搭建数据仓库，研发数据库管理系统，搜集、提取、处理业务积累的海量数据，开展数据分析和挖掘;

4. 根据公司战略和发展需要，规划数据中心重点工作和任务;落实部门人员、事务管理，开展跨部门、跨地区协作，协助对外交流与合作。

职位要求：

1. 5年以上相关工作经验，有团队管理和项目管理经验者优先;

2.了解政府运作机制，掌握财政行业知识，有电子政务行业经验者优先;

3. 熟练掌握使用java或python,精通数据库查询语言如sql，oracle等,在机器学习模型和算法方向有应用经验者优先;

4. 具备数据中心产品策划整体思维，有大数据处理、分析、挖掘经验者优先;

5. 逻辑思维严密，具备业务抽象、分解和标准化的能力，口头和书面表达优秀;

6. 有较强的大局意识和良好的团队合作意识，富有领导力，具备优秀的人际交往和沟通能力。

职责:

1. 管理公司大数据集群，提供高可用、高性能大数据集群系统，并保障系统稳定运行

2. 负责大数据集群性能监控与优化，故障处理，数据备份及灾难恢复

3. 负责大数据集群自助平台的高可用架构设计和负载均衡的设计和实现

4. 负责业务系统大数据集群管理，包括数据库日常维护，系统数据安全以及权限管理、故障处理、日常错误情况处理等

5. 负责依据业务需求优化数据存储结构，负责数据库系统部署方案的计划、设计和实施

6. 负责系统大数据集群定期检查，进行性能分析与调优，充分保证信息系统数据的安全及系统高效运行

任职资格:

1. 全日制本科及以上学历，计算机或相关专业，1年以上hadoop运维经验

2. 熟悉hadoop生态圈hadoop、kafka、zookeeper、hbase、spark、hive等的安装配置和优化

3. 熟悉mysql等关系型数据库的部署与优化，了解mongodb或cassandra等nosql数据库

4. 熟悉linux类操作系统的基础命令操作，能够编写脚本开展日常运维工作

5. 熟悉linux开发环境，会使用shell/java/python中的一门脚本语言

6. 熟悉常见开源工具如nginx、zabbix、grafana等的安装配置和使用

职责：

1、负责公司大数据/hadoop/hive/hbase/flink等离线实时数据平台运维保障;

2、负责内部大数据自动化运维以及数据化运营平台开发工作;

3、负责hadoop/hbase等系统的业务监控、持续交付、应急响应、容量规划等;

4、深入理解数据平台架构，发现并解决故障及性能瓶颈，打造一流的数据平台;

5、持续的创新和优化能力，提升产品整体质量，改善用户体验，控制系统成本。

6、善于表达、理解客户数据服务需求，具备数据需求转化落地能力。

任职要求：

1、大学本科及以上学历，计算机或者相关专业;

2、深入理解linux系统，运维体系结构，精于容量规划、性能优化;

3、具备一定的开发能力，精通一门以上脚本语言;(shell/perl/python等)，熟悉java等开发语言一种及以上优先;

4、具备很强的故障排查能力，有很好的技术敏感度和风险识别能力;

5、能够承受较大的工作压力，以结果和行动为准则，努力追求成功;

6、熟悉hadoop、hbase、hive、spark、tez等原理并具备管理，配置，运维经验;

7、熟悉分布式系统设计范型，有大规模系统设计和工程实现的了解者优先。

8、具有运营商流量数据加工处理经验者优先。

职责：

对业务数据进行采集、清洗、整理、标签、分层;

根据业务需求，应用统计学、数据挖掘等建立精准数据模型，满足业务需求;

能从业务和产品角度出发，利用数据来发现产品或业务的瓶颈，提出优化方案;

探索业界和学术界前言的数据挖掘、机器学习理论与实践。

任职资格：

本科及以上学历，数学、统计学、计算机专业优先;

精通数据挖掘脚本语言，能灵活运用r、python中的一种，熟练sklean/numpy/pandas等科学计算相关库，有统计建模、机器学习或数据挖掘应用的项目经验优先;

对大数据技术有深入了解，能够使用hadoop、spark等相关技术;

勤奋踏实，乐于学习新事物，有良好团队合作精神和高度的责任感;

医疗、生物背景人员优先。

职责：

1、公司linux应用系统、网络及安全解决方案;

2、应用系统软件配置，维护，监控，调优，故障排除等;

3、保障服务器与数据库安全，检查并消除系统安全隐患;

4、数据备份、数据监控、应急响应、故障排除、编写数据分析报告等。

任职要求：

1、精通linux系统及常见服务配置，如：ftp、samba、nfs、rsync;

2、熟悉配置lvs、nginx、squid等常用负载均衡和缓存技术;

3、熟悉jekins、devops、持续集成工具，多环境不知发布及灰度发布;

5、能够独立配置和管理linux下的网络，路由，防火墙策略;

6、精通shell/python至少一种脚本语言，有自动化监控、自动化运维、自动化发布部署的运维经验;

7、熟悉mongodb、redis等数据库的管理维护，管理过hadoop/hbase分布式集群优先。

职责：

1、负责银行数据中心内基础环境交付工作，包含服务器、操作系统批量安装配置管理。

2、负责运维自动装机系统及其他自动化运维系统，通过脚本批量配置管理服务器及系统。

3、对数据中心进行周期性巡检，及时发现故障隐患，协助故障处理。

4、其他的一些日常运维工作。

岗位要求：

1、全日制本科学历，计算机、网络、通信等相关专业毕业，2年以上工作经验。

2、熟悉linux系统安装配置，熟悉 shell命令，会编写bash脚本，对linux系统有丰富运维管理经验，具备rhce认证更佳。

3、了解cobbler自动装机或其他自动装机原理，熟悉ansible，具备基础python编程能力，会flask api的优先考虑。

3、了解x86架构服务器，有大中型企业数据中心linux运维工作经验者优先。

4、具有良好的抗压能力、沟通表达能力、人际交往能力、情绪控制能力以及团队协作能力。

5、有较强学习能力和学习意识，能够积极主动的学习掌握新产品新技术。

6、有较强安全生产意识，严格遵守公司及客户规章制度。

职责:

1)负责公司软件产品整体架构的设计和关键功能实现

2)负责公司架构长期看护以及优化;

3)负责软件部门各模组间的协调配合;

4)提高巩固软件代码质量;

5)负责大数据流式框架的设计、优化及部署;

6)规划研发部门员工的技术发展路线并提供必要的帮助和指导

任职资格:

1)本科及以上学历，计算机相关专业，5年以上工作经验;

2)频繁换工作，比如一年一个公司，请绕路;

3)3年以上产品架构经验，主导过产品的成功上线;

4)对底层设备通讯协议，b/s系统，手机app开发等都有一定的了解;

5)对各种主流语言c#javapathon有一定的了解

5)精通各种大数据架构，并深入研究过其中一种，有stormkafka等流式实时处理经验为佳

6)能够承担较强的工作压力，有良好的自我驱动能力和责任感;

7)具备优秀的逻辑思维能力、表达能力、沟通协调能力。

职责：

1、企微云平台的日常运行管理，处理各种运维事故及事件;

2、负责企微云应用的部署;

3、负责服务器的规划、调试优化、日常监控、故障处理、数据备份、日志分析等工作;

4、参与运维流程制定，确保任何突发情况都能高效响应;

5、整理各类运维文档，沉淀经验。

工作要求：

1、本科及其以上学历，3年以上互联网公司linux运维相关经验;

2、精通zabbix监控系统的搭建和维护，能够开发自定义脚本;

3、熟悉nginx/apache/tomcat等web应用服务器部署、优化;

4、熟悉数据mysql数据库集群的部署，监控，优化;

5、有elastic search、mongodb、hbase等部署、监控、优化经验的优先考虑。

职责：

1 客户机、电话机等桌面设备故障排除及支持，为用户提供及时的故障排错服务;

2 面向用户处理日常helpdesk桌面支持请求，并跟踪支持请求处理进度，更新至知识库

3 定期更新it相关教程和归档资料，方便用户调阅;配合完成简单的培训工作

4 有能力分析并处理简单的网络异常、服务器等系统的问题，反馈至it部。

5 负责工作站、复合打印机等共用设备的日常管理分派工作

6 按流程完成系统安装、环境配置、资产登记、并与用户协调和沟通;

岗位要求：

1 掌握计算机硬件基础，能够独立完成部件组装或更换

2 熟悉windows客户端操作系统各个版本的模块功能和配置

3 熟悉windows工作域的工作方式，基本操作和数据运维。

4 掌握vmware虚拟化产品的工作方式和相关知识

5 掌握基础tcpip网络知识，有hcna或ccna学习经验者优先

6 了解基本的脚本语言，有cmdshell和powershell经验者优先

7 2年左右相关工作经验(优先应届生也可)，拥有30人以上中小企业it部桌面支持工作经验的优先

职责:

1、从事电信行业大数据项目相关业务调研、产品标准建设、核心模型设计和优化、系统测试等相关工作

2、与数据专业委员会一起研究数据建模方案和建模工具，负责产品线产品的数据架构、数据模型设计

3、参与研究数据库之间的数据转换方式，参与项目中的数据移植工作，收集在项目中的数据移植经验，优化产品的数据模型

4、负责培训本部门队伍的数据模型基础理论工作，建立数据模型团队

岗位要求：

1、统招本科学历，3年以上主流数据上(db2、oracle、sqlserver、mysql等)etl设计、开发经验，具备大型数据仓库逻辑模型和物理模型设计经验，精通sql，有较好的sql性能调优经验;

2、拥有python，r等数学建模工具的使用经验，并具备一定的数据处理和建模经验，可以输出相应的模型分析结果、模型比较、模型效率以及对模型的理论和判断依据方法并对其进行完整的解释和说明;

3、熟悉统计学基本原理，做过实战的数据建模项目;

4、有分布式数据仓库建设相关经验者优先，具备电信行业数据仓库建设相关经验者优先;

职责：

1、负责大数据开发团队建设;

2、负责行业大数据产品架构设计与研发;

3、负责带领团队进行行业大数据产品关键技术攻关。

任职要求：

1、有三年以上大数据应用、开发经验;具备海量数据加工处理(etl)相关经验，对数据挖掘及机器学习有较为深刻的理解;

2、熟悉hadoop相关技术，对hdfs、mapreduce、hive、hbase有一定的使用和开发经验;

3、熟悉linux，熟练使用shell或python，进行脚本编写;

4、对数据结构和数据统计分析算法有较为深刻理解;

5、掌握至少一种主流关系数据库开发技术：oracle、sql server、mysql等;

6、掌握实时流计算技术，有spark、storm开发经验者优先;

7、需要具备2年以上研发团队管理经验。

职责：

1、大数据平台的规划、设计、实施，并优化数据库;

2、对数据库进行管理，负责数据库应用系统的运营及监控;

3、对数据库性能分析与调优，排错，保证数据正确率;

4、配合其他部门进行的数据处理、查询，统计和分析工作;

5、完成公司下达的项目开发任务。

任职要求：

1、计算机及相关专业本科以上学历，5年以上软件开发从业经验，其中包括至少2年以上的大数据开发工作经验;

2、熟悉hive,hadoop/spark,hbase等大数据相关技术架构，有管理或优化大型分布式集群经验;

3、熟悉linux基本命令，精通sql脚本的编写，有丰富的数据库管理、运维调优经验;

4、熟悉c++、java、c#等开发语言;

5、有互联网电商行业大数据分析处理和大型数据仓库的设计和实施经验;

6、有分布式系统分析及架构设计经验和大型计算集群的基础设施开发维护经验;

7、快速处理系统突发事件的能力，较强的学习和创新能力;

8、良好的沟通能力和团队合作精神。

职责：

1、利用数据挖掘、机器学习相关算法，解决业务需求，提高产品的用户体验;

2、对海量的业务数据、用户数据进行挖掘分析，发现数据和业务背后的规律;

3、针对业务流程进行分析调研，探索提升转化率效果的思路和方案并推动转化.

岗位要求：

1、熟悉大规模数据挖掘、机器学习、分布式计算等相关技术，能熟练使用聚类、回归、分类等算法并调优;

2、熟悉linux 环境开发，至少熟悉java/php/python/scala/go/c/c++ 等语言中一种或一种以上;

3、熟悉基于spark、elasticsearch、hbase 等大数据平台的相关开发;

4、有深度学习实践经验者优先，有spark mlib经验者优先

1，负责软件系统的部署运行;

2、负责业务数据系统接入的规划和实施;

3，理解行业业务，梳理业务数据模型;

4，完成项目实施过程中各类文档的编写、收集、整理、归档;

5，与客户保持密切沟通，建立良好的客户关系，保障良好的客户满意度;

有效的分析和控制客户需求，解决项目实施过程中遇到的质量问题和管理问题。

岗位要求：

1、全日制本科以上学历，软件工程、计算机科学相关专业;

2、3年以上的软件/项目管理实施经验;

3、熟悉linux操作，熟练编写shell/python脚本;

4、了解常用开源分布式系统hadoop/spark/hive/hbase;

5、熟练使用sql语句，熟悉etl工作;

6、熟悉oracle，mysql等关系型数据库;

7、具有强烈的责任感与团队合作精神，出色的沟通及学习能力;

8、有较强的分析问题能力，独立解决问题能力，能接受在客户公司办公。

职责：

1.负责数据仓库建设，基于数据驱动构建企业级数据模型，根据架构设计进行各层数据模型开发。

2.面向pb级别超大规模数据处理和查询需求，设计适合业务变化的合理的多维数据分析系统架构，满足多样性需求。

3.构建设计良好的数据流、调度系统、查询引擎、监控系统，保证系统稳定高效运行，以实现数据的最大价值。

4.指导团队成员开展数据仓库建设。

5.参与重点项目的评审，参与企业数据管理体系建设。

任职要求：

1.统招本科及以上学历。

2.从事数据仓库领域至少5年以上，熟悉数据仓库模型设计与etl开发经验 ，掌握kimball的维度建模设计方法，具备海量数据加工处理(etl)相关经验 。

3.具有一定数据模型和数据架构基础，熟悉hadoophive和常用数据库。

4. 精通sql，有一定的sql性能调优经验，熟悉hive sql的开发。

5.具有管理团队开发经验，具备良好的组织能力、协调能力及项目管理能力。

6.具有较好的文字功底及语言表达能力，能够快速、准确地理解需求。

7.具有专研、快速学习和创新精神，具备独立分析问题和解决问题的能力。

8.具有责任心，时间观念强，工作独立性强，有良好的团队合作精神。

9.全日制普通本科毕业。