大数据工程师的日常工作都是做什么呢合集20篇

职责：

1、负责银行数据中心内基础环境交付工作，包含服务器、操作系统批量安装配置管理。

2、负责运维自动装机系统及其他自动化运维系统，通过脚本批量配置管理服务器及系统。

3、对数据中心进行周期性巡检，及时发现故障隐患，协助故障处理。

4、其他的一些日常运维工作。

岗位要求：

1、全日制本科学历，计算机、网络、通信等相关专业毕业，2年以上工作经验。

2、熟悉linux系统安装配置，熟悉 shell命令，会编写bash脚本，对linux系统有丰富运维管理经验，具备rhce认证更佳。

3、了解cobbler自动装机或其他自动装机原理，熟悉ansible，具备基础python编程能力，会flask api的优先考虑。

3、了解x86架构服务器，有大中型企业数据中心linux运维工作经验者优先。

4、具有良好的抗压能力、沟通表达能力、人际交往能力、情绪控制能力以及团队协作能力。

5、有较强学习能力和学习意识，能够积极主动的学习掌握新产品新技术。

6、有较强安全生产意识，严格遵守公司及客户规章制度。

1、负责大数据运维体系中的监控工作;

2、负责处理用户服务请求事件;

3、负责监控报警事件的处理;

4、负责协助完善监控体系;

5、负责监控平台运维工作，持续优化监控体系;

6、按时完成领导交办的其他相关工作。

任职要求：

1、大专及以上学历，计算机相关专业，1年以上大数据系统运维经验;

2、熟悉linux操作系统，熟悉hadoop、hive、hbase、yarn、spark、storm等组件的原理及运维方式;

3、熟悉中间件工作原理，对tomcat/jetty/nginx/微服务有一定了解，具备一定的操作能力;

4、至少熟悉python/bash/shell一种或多种语言，可独立编写维护及监控脚本;

5、有强烈的求知欲和钻研技巧，具有良好的独立分析问题与迅速解决问题的能力;

6、有良好的职业责任心和团队协作意识;

7、能适应7*24小时三班倒工作时间。

职责：

1.支持仓库管理系统wms和物流中心的日常作业，维护wms相关作业设备

2.负责用户、内部人员及外部人员的沟通，及时解决wms系统出现的问题

3.培训用户如何使用wms系统，收集、整理wms新需求

4.维护仓库网络和电脑设备正常运行，对突发状况及时响应处理和修复

5.数据备份和日常安全维护

任职要求：

1.大专及以上学历，计算机或相关相关物流管理专业

2.2年以上仓储物流行业系统运维经验，有wms系统经验者优先

3.熟悉windows操作系统和oracle数据库，精通sql语句

4.有责任心，具备良好的沟通表达能力和严谨的逻辑分析推理能力

1、制作新产品的生产工艺流程,标准工时的制定，安装和调试新产品所需要的设备;负责公司进试产过程中的工艺研究，委外加工的技术沟通。

2、对iqc抽检不良的料件进行评审，然后对不良的料件或图纸提出ecr，并且对ecn的发行及追踪。

3、不断改善工艺流程，提高产品的产量及质量，降低生产周期。

4、各个部门进行沟通，了解产品的最新状况及各个部门遇到的问题，并帮助解决问题

5、负责产品售后技术问题的处理，并改善产品工艺。

6、设计制作各种生产辅助工治具，提高作业效率良率。

7、撰写sop以及各类制程管控文件，用以明确生产流程步骤，保证稳定生产，逐步提高。

职责：

1、负责所在区域一卡通系统售后维护、存续业务、系统巡检、产品咨询、产品知识库的建立、故障判断与解决的服务工作。

2、负责协助制定一卡通系统实施方案，参与协助项目技术谈判。

3、负责协助所在区域一卡通系统项目的实施、培训、验收及回款工作。

4、与售前工程师紧密合作，与客户交流，提供技术顾问服务，充分理解客户需求，编写项目计划。

5、完成上级领导交代的其他工作

岗位要求：

1、计算机、通讯工程、电子相关专业，大专及以上学历，具有良好的计算机技术基础。

2、责任心强,良好的沟通能力，团队协作精神强，服从组织和领导对工作的安排和要求。

3、具备良好的团队合作意识;吃苦耐劳,勤奋刻苦,主观能动性强，能够适应长期出差。

4、熟练掌握windows操作系统和sql server数据库，熟练使用各类数据库操作命令。

5、熟练掌握unix、linux等操作系统和oracle大型数据库。

6、熟练掌握project、visio等项目管理工具。

7、具有较强的文档编写能力。

职责：

对业务数据进行采集、清洗、整理、标签、分层;

根据业务需求，应用统计学、数据挖掘等建立精准数据模型，满足业务需求;

能从业务和产品角度出发，利用数据来发现产品或业务的瓶颈，提出优化方案;

探索业界和学术界前言的数据挖掘、机器学习理论与实践。

任职资格：

本科及以上学历，数学、统计学、计算机专业优先;

精通数据挖掘脚本语言，能灵活运用r、python中的一种，熟练sklean/numpy/pandas等科学计算相关库，有统计建模、机器学习或数据挖掘应用的项目经验优先;

对大数据技术有深入了解，能够使用hadoop、spark等相关技术;

勤奋踏实，乐于学习新事物，有良好团队合作精神和高度的责任感;

医疗、生物背景人员优先。

职责：

1. 负责企业级数据仓库架构设计、建模以及etl开发，构建可扩展的数据仓库解决方案;

2.负责公司日常运营报表开发维护，和业务及分析部门沟通协作，提供多层面数据服务;

3.提供完善的数据保障体系，包括元数据管理、数据质量、数据安全等;

岗位要求

1. 计算机或相关专业本科及以上学历 ;

2. 具有丰富的数据开发经验，对数据处理、数据建模、数据分析等有深刻认识和实战经验;

3. 熟悉sql，有一定的sql性能优化经验;

4. 熟练掌握java语言，mapreduce编程，脚本语言shell/python/perl之一;

5. 业务理解力强，对数据、新技术敏感，对云计算、大数据技术充满热情;

6. 积极乐观、诚信、有责任心;具备强烈的进取心、求知欲及团队合作精神;

职责：

1. 根据项目经理或高级数据挖掘工程师要求独立完成项目的数据搜集和数据处理;

2. 能够快速根据项目需要学习并理解行业知识，并能在项目经理或高级数据挖掘工程指导下完成部分数据分析工作;

3. 能够使用sas,spss,或r,python等开源平台根据用户需求定制开发相应的算法;

4. 理解数据挖掘模型及预测分析结果，撰写相关分析报告;

5. 了解数据仓库及商务智能背景，熟练掌握一类数据展现分析工具，如：tableau，cognos等;

任职要求

1. 信息化管理、数学或统计学专业背景本科以上学历;

2. 具有一定的统计学、数据挖掘知识基础，有数据仓库/商业智能项目经验尤佳;

3. 精通数据挖掘方法论，熟悉数据挖掘项目过程;

4. 熟悉并掌握sas、spss统计分析或数据挖掘工具至少一种; 或具备python，r等使用开源平台开发算法的经验;

5. 有很强的事业心、责任感，良好敬业精神、团队精神与人际沟通能力。

职责:

1. 管理公司数据库，提供高可用、高性能数据库系统，并保障系统稳定运行。

2. 负责数据库性能监控与优化，故障处理，数据备份及灾难恢复。

3. 负责数据库自助平台的高可用架构设计和负载均衡的设计和实现。

4. 负责业务系统数据库管理，包括数据库日常维护，系统数据安全以及权限管理、故障处理、日常错误情况处理等。

5. 负责依据业务需求优化数据存储结构，负责数据库系统部署方案的计划、设计和实施。

6. 负责系统数据库定期检查，进行性能分析与调优，充分保证信息系统数据的安全及系统高效运行。

任职资格:

1. 全日制本科及以上学历，计算机或相关专业

2. 熟悉mysql实现原理，innodb，myisam，memory引擎，熟悉存储过程和事务。

3. 熟悉数据库原理、精通数据库核心参数的设置和调整，有规划、设计、部署以及数据库性能优化经验。

4. 具备数据库设计、sql优化能力，能根据业务需求，提供高可用、高性能、可扩展、稳定可靠的数据库解决方案。

5. 了解mongodb等非关系型数据库的特点。了解redis，memcache等内存数据库及缓存系统的原理及实现。

6. 熟悉linux操作系统，对主机、存储、网络有一定的了解, 会使用shell/perl/python中的一门脚本语言。

7. 有hadoop/kafka/spark/elasticsearch相关经验的优先考虑。

职责：

1、企微云平台的日常运行管理，处理各种运维事故及事件;

2、负责企微云应用的部署;

3、负责服务器的规划、调试优化、日常监控、故障处理、数据备份、日志分析等工作;

4、参与运维流程制定，确保任何突发情况都能高效响应;

5、整理各类运维文档，沉淀经验。

工作要求：

1、本科及其以上学历，3年以上互联网公司linux运维相关经验;

2、精通zabbix监控系统的搭建和维护，能够开发自定义脚本;

3、熟悉nginx/apache/tomcat等web应用服务器部署、优化;

4、熟悉数据mysql数据库集群的部署，监控，优化;

5、有elastic search、mongodb、hbase等部署、监控、优化经验的优先考虑。

职责：

1、it设施、系统运维(oa邮件短信平台电话会议);

2、it资产、库房管理;

3、负责集团所有会务及各团队组织活动的it支持;

4、集团整体办公设备的维护及故障排除，并提供相关it支持;

5、提供员工入离职it相关流程服务;

6、监控机房环境;

7、更新系统软件授权;

8、新采购办公设备的安装及调试;

任职要求：

1、熟练使用windows系统平台操作，对系统故障快速识别并解决。

2、具有一定应用开发背景、从事过信息系统开发和实施，具有良好的沟通能力，对行业中标准软件(邮件、办公、客户关系、财务等软件)有一定程度了解;

3、基本了解各业务部门的运作模式，熟悉实施项目所依赖的各项软件的功能;

4、2-3年信息化建设或者实施相关领域工作经验;

5、工作积极主动、踏实认真，有较强的表达能力和写作能力，善于主动沟通、主动学习，具有团队精神;

1.负责公司大数据底层框架的整体架构设计，结合公司实际业务情况进行技术选型及大数据战略规划;

2.负责统一数据平台项目的整体评估、设计、架构及关键模块的开发，不断提升系统的稳定性和效率;

3.负责架构优化及系统关键模块的设计开发，协助团队解决开发过程中的技术难题;

4.建立良好的公司内外的业界技术影响力;有效辅导团队，提升数据研发能力;

任职要求：

1.从事大数据项目相关开发和设计2年以上经验;有作为技术负责人系统化解决问题的成功案例;有海量数据实践经验优先;

2.拥有一定的算法和数据结构基础;有很强的数据设计抽象能力，善于从复杂的数据问题中找到关键路径;

3.熟悉目前正在发展的大数据分布式平台前沿技术的应用;包括但不仅仅限于：hadoop、storm、spark、等;

4. 良好的逻辑思维能力，良好的业务解读能力，懂电力或通信业务优先;

5.具有钻研精神，乐于接受挑战;

职责：

1.负责本部门系统运维管理工作，常见的维护，搭建，监控响应、负责系统的变更与发布工作，线上服务漏洞的排查，版本升级工作处理等等

2.参于解决系统技术方面的瓶颈，寻找可行的改进方案等突破性工作

3. 负责海外业务系统的方案设计、沟通协调等

4.负责领导交办的其他工作;

任职要求：

1. 计算机应用、网络管理、信息管理、计算机科学与技术等计算机相关专业;

2. 至少具备4年以上企业it运维经验;

3 对linux系统下的各类典型应用软件的性能、使用场景有深刻的认识;

4 精通python/shell等任意一种脚本语言，能高效进行日常维护工具开发;

5 对主流数据库(mysql/mongodb/redis等)有深入了解，有实际部署与常见管理经验;

6 做事情严谨踏实，有责任心，团队协作能力强，能承受较强的工作压力，有服务意识式;

7 熟悉java、tomcat、nginx、mysql等软件的安装、配置、故障排查、性能调优等;

8 具备良好的思维逻辑，以及文档编制能力。

9 要求英文流利，能和外方用英文进行技术沟通、探讨，并能查看或编写英文技术文档。有外资公司技术工作经验者优先。

职责:

1、负责海量科技数据(含文本数据)的挖掘工作;

2、负责科技数据挖掘算法模型的构建、应用、评测、报告;

3、主持或参与海量科技数据的入库工作，科技数据知识图谱的构建;

4、负责或参与数据挖掘成果论文、专利、标准的撰写;

5、负责或参与制定数据加工清洗的方案，并形成操作手册;

6、为指定的课题提出解决方案，并主持或参与方案实施;

7、完成安排的各项工作，与其他部门合作。

岗位要求：

1、数学、统计、金融、科技管理、计算机等相关专业，博士学历优先;

2、具有2年及以上海量数据挖掘经验，有文本挖掘、非结构化文本处理经验者优先;

3、精通matlab/python/r/scala之一，熟悉java/c/c++等编程语言，熟练掌握linux各项操作指令;

4、熟练掌握hadoop/spark/storm/kafka中的一项或几项，有mpi经验者尚佳;

5、掌握机器学习的基本算法框架，有自然语言处理和丰富的特征工程(特征选择/特征抽取)经验者优先;

6、掌握关系型数据库的基本操作，有图形数据库、其他非关系型数据库经验者尚佳;

7、在医疗信息化从事产品开发工作者优先，有顶会paper或人工智能领域国际比赛中获奖者优先;

8、有比较强的组织协调能力，可同时处理好多个任务，具备一定的管理能力;

9、性格开朗，具有团队精神;较强的沟通能力，能与相关业务和开发人员讨论并快速理解需求。

职责:

1)负责公司软件产品整体架构的设计和关键功能实现

2)负责公司架构长期看护以及优化;

3)负责软件部门各模组间的协调配合;

4)提高巩固软件代码质量;

5)负责大数据流式框架的设计、优化及部署;

6)规划研发部门员工的技术发展路线并提供必要的帮助和指导

任职资格:

1)本科及以上学历，计算机相关专业，5年以上工作经验;

2)频繁换工作，比如一年一个公司，请绕路;

3)3年以上产品架构经验，主导过产品的成功上线;

4)对底层设备通讯协议，b/s系统，手机app开发等都有一定的了解;

5)对各种主流语言c#javapathon有一定的了解

5)精通各种大数据架构，并深入研究过其中一种，有stormkafka等流式实时处理经验为佳

6)能够承担较强的工作压力，有良好的自我驱动能力和责任感;

7)具备优秀的逻辑思维能力、表达能力、沟通协调能力。

职责：

1.负责参与公司大数据基础架构平台规划，运维，监控和优化工作，保障数据平台服务的稳定性和可用性;

2.研究大数据前沿技术，改进现有系统的服务和运维架构，提升系统可靠性和可运维性;

3.负责公司hadoop核心技术组件hdfs、yarn、mapreduce、hbase、storm大数据存储计算核心的监控和日常运维工作。

4.独立完成大数据运维过程中问题定位、问题解决、并进行总结及部门的大数据基础技能培训;

任职要求：

1. 计算机、信息系统、数学或相近专业本科以上学历;

2. 拥有至少3年以上hadoop运维经验、具备基于cdh与hdp的维护经验;

3. 熟悉hadoop大数据生态圈服务的工作原理，具备相关实战维护经验，包括但不限于hdfs、yarn、hive、hbase、elk、spark、kafka、zookeeper、flume等;

4. 至少独立维护过中大型hadoop集群系统服务;

5. 至少精通python,shell中的一种,了解java;有良好的系统性能优化及故障排除能力;

6. 有大数据架构师工作经验更佳;

职责:

1、学习并理解励步云学业务及系统，根据业务部门需求对公司各项业务数据进行统计分析，出具相关报表;

2、进行数据仓库设计、模型开发、数据质量校验，报表开发;

3、进行数据差异分析，找出统计口径、数据错误、操作错误等造成的差异原因;

4、进行数据查询优化，解决跑数性能问题。

任职资格:

1、本科以上学历，数学、统计、计算机相关专业优先;

2、3年以上互联网相关行业数据开发经验;

3、精通数据仓库建设思路，并有相关实施经验，特别是通用汇总层建设经验;

4、较强的数据开发能力，熟悉hadoop相关技术，深刻理解mapreduce原理和过程;

5、精通hive sql，进行数据处理及模型开发;

6、有较强的学习能力，能快速学习和理解业务知识及数据需求;

职责：

1. 深刻理解政府行业业务模式，构建政府行业的数据模型，制定公司大数据技术发展路线;

2. 对接业务研究和技术部门，主动搜集和转化需求，组织数据中心业务开发，进行数据相关产品需求分析和设计;

3. 搭建数据仓库，研发数据库管理系统，搜集、提取、处理业务积累的海量数据，开展数据分析和挖掘;

4. 根据公司战略和发展需要，规划数据中心重点工作和任务;落实部门人员、事务管理，开展跨部门、跨地区协作，协助对外交流与合作。

职位要求：

1. 5年以上相关工作经验，有团队管理和项目管理经验者优先;

2.了解政府运作机制，掌握财政行业知识，有电子政务行业经验者优先;

3. 熟练掌握使用java或python,精通数据库查询语言如sql，oracle等,在机器学习模型和算法方向有应用经验者优先;

4. 具备数据中心产品策划整体思维，有大数据处理、分析、挖掘经验者优先;

5. 逻辑思维严密，具备业务抽象、分解和标准化的能力，口头和书面表达优秀;

6. 有较强的大局意识和良好的团队合作意识，富有领导力，具备优秀的人际交往和沟通能力。

职责：

1、搭建基于hadoop/spark的数据挖掘体系和大数据分析系统架构;

2、研究大数据领域前沿数据挖掘技术，并引入相应技术在数据中心的使用;

3、进行大数据系统框架设计、模型算法开发;

4、负责大型数据挖掘项目方案制定、项目实施落地及优化等 ;

5、开展数据爬取、聚类分析、舆情分析、鱼骨图分析、定价策略等领域数据挖掘工作;

任职资格：

1、本科以上学历(持有学士学位)(985，211优先)，计算机相关专业，五年工作经验;

2、二年以上数据挖掘项目经验，完整参与过数据挖掘大数据平台的架构开发过程，具备互联网行业背景优先;

3、精通分布式计算框架(hadoop、spark、storm等)及相关经验，熟练掌握hive/sql，python，熟悉python、r相关数值科学计算库(numpy,scipy等);

4、了解传统的bi/dw 理论，能结合传统bi实践设计大数据平台;

5、熟悉常用机器学习算法(如分类、回归、聚类、关联规则等)及其原理，具备应用场景经验，如用户画像、商品关联度分析、舆情分析;

6、熟悉主数据、元数据、数据质量、和数据建模等数据治理相关的体系和方法;

7、具备较强的逻辑思维能力、数据敏感度，擅于利用数据发现问题及解决问题;

职责：

1、对商业问题有深入的洞察，并思考解决方案及对应数据源要求;

2、负责项目过程中的数据库建立清洗;

3、负责项目的数据分析模型建造及数据挖掘。

任职要求：

1、全日制硕士及以上学历，统计学、数学等相关专业;

2、熟练使用spss/sas/r等统计分析软件，有一定的编程基础;

3、熟悉数据挖掘和机器学习相关算法，并能在相应工具中实现;

4、对数据敏感，较强的逻辑思维能力;

5、负责调研项目前期的抽样技术的把握;

6、乐观、进取、钻研，富有创新精神，良好的沟通及团队合作能力。

1. 从事精准医疗领域的大数据管理分析、bi数据挖掘;

2. 熟练使用脚本工具访问数据库，并完成相应的脚本分析，以图形界面的方式呈现;

3. 熟练使用统计或者机器学习算法，对结构化数据进行统计分析，包括分类和聚类，并进行预测建模等;

4. 与相关项目开发组沟通，明确其需求并给予数据分析统计结果等支持。

任职要求：

1、应用数学，计算机，生物等相关专业硕士以上学历;

2、有生命科学、基因、医药等生物科技行业2年以上工作经验;

3、熟练运用各种常用算法和数据结构，熟悉常用的机器学习算法，了解各种算法的优缺点和局限性;

4、熟悉r、python 等数据分析平台及工具，有搭建hadoop、spark或类似平台从业经验;

5、 熟悉主流数据库oracle、mysql对 nosql 有一定了解及应用经验;

6、 有团队精神，能够承担责任和压力。