大数据工程师的日常工作都是做什么呢合集20篇

职责：

1、负责大数据平台数据仓库建设、数据分析挖掘工作;

2、负责大数据的处理、整合及数据建模，协同业务开发人员，将模型算法成果应用到实际业务系统中，并通过可视化工具进行分析成果展示;

3、基于用户数据，研究用户行为，构建用户画像。

任职要求：

1、应用数学、计算机、信息处理等相关专业本科及以上学历;

2、3年以上大数据开发经验;

3、熟悉hadoop的大数据生态，精通sql语法【有较好的sql性能调优能力，掌握基于hive或者spark sql的hql脚本编写;

4、具有从数据查询，聚合，分析到可视化的整套实践经验;

5、熟练使用java或者python、基础扎实、能编写hive环境下或者spark sql环境下的udf;

6、具备良好的表达和沟通能力、学习能力，具备极强的团队合作精神，能够承受一定的工作压力。

职责：

1. 负责或参与智能连接产品(智能耳机，音箱等)后端系统的设计、代码实现;

2. 参与制定前后端业务流程、接口协议、文档输出等;

3. 负责或参与前端程序(app, device)的对接、调试;

4. 持续迭代开发，改善系统性能，用户体验。

岗位要求

1. 五年以上服务器端开发经验,一年以上go语言开发经验;

2. 熟悉linux，对服务器性能优化有一定了解，有高并发项目经验优先;

3. 熟练掌握nginx、mongodb、redis等开源组件;

4. 了解服务器安全配置相关的知识;

5. 熟悉多线程和网络编程，有分布式系统项目经验者优先;

6. 有可穿戴产品后台开发经验者优先。

职责：

1、负责公司大数据集群的构建，任务调度、监控预警，持续完善大数据平台，保证稳定性、安全性;

2、负责集群容量规划、扩容、集群性能优化及日常巡检和应急值守，参与大数据基础环境的架构设计与改进;

3、深入研究大数据业务相关运维技术，持续优化集群服务架构，探索新的hadoop、spark运维技术及发展方向;

4、具备ownership，故障排查能力，有很好的技术敏感度和风险识别能力;

5、良好的服务意识，主动思考，自我驱动力。

任职资格：

1、熟悉redhat、centos、ubuntu系列linux系统的配置、管理、内核优化。能够独立编写(shell/python)脚本语言，脚本开展日常服务器的运维;

2、熟悉hadoop生态圈hadoop, kafka, zookeeper, hbase, spark、yarn、elasticsearch、storm、tomcat的安装、调试和运维经验; 熟悉分布式日志分析系统elk及相关技术;

3、熟悉软硬件设备，网络原理，有丰富的大数据平台部署，性能优化和运维经验; 了解运维高容量、大流量、大并发web系统的业务知识以及解决方案;

4、工作认真负责，有较强的学习能力，动手能力和分析解决问题的能力;

5、能够利用各种开源监控工具、运维工具，ha、负载均衡软件完成工作任务;

6、mongodb、mysql等配置、调优和备份。

职责：

1、it设施、系统运维(oa邮件短信平台电话会议);

2、it资产、库房管理;

3、负责集团所有会务及各团队组织活动的it支持;

4、集团整体办公设备的维护及故障排除，并提供相关it支持;

5、提供员工入离职it相关流程服务;

6、监控机房环境;

7、更新系统软件授权;

8、新采购办公设备的安装及调试;

任职要求：

1、熟练使用windows系统平台操作，对系统故障快速识别并解决。

2、具有一定应用开发背景、从事过信息系统开发和实施，具有良好的沟通能力，对行业中标准软件(邮件、办公、客户关系、财务等软件)有一定程度了解;

3、基本了解各业务部门的运作模式，熟悉实施项目所依赖的各项软件的功能;

4、2-3年信息化建设或者实施相关领域工作经验;

5、工作积极主动、踏实认真，有较强的表达能力和写作能力，善于主动沟通、主动学习，具有团队精神;

职责：

1、负责银行数据中心内基础环境交付工作，包含服务器、操作系统批量安装配置管理。

2、负责运维自动装机系统及其他自动化运维系统，通过脚本批量配置管理服务器及系统。

3、对数据中心进行周期性巡检，及时发现故障隐患，协助故障处理。

4、其他的一些日常运维工作。

岗位要求：

1、全日制本科学历，计算机、网络、通信等相关专业毕业，2年以上工作经验。

2、熟悉linux系统安装配置，熟悉 shell命令，会编写bash脚本，对linux系统有丰富运维管理经验，具备rhce认证更佳。

3、了解cobbler自动装机或其他自动装机原理，熟悉ansible，具备基础python编程能力，会flask api的优先考虑。

3、了解x86架构服务器，有大中型企业数据中心linux运维工作经验者优先。

4、具有良好的抗压能力、沟通表达能力、人际交往能力、情绪控制能力以及团队协作能力。

5、有较强学习能力和学习意识，能够积极主动的学习掌握新产品新技术。

6、有较强安全生产意识，严格遵守公司及客户规章制度。

职责：

1、 整合基础业务数据，对基础数据库进行更新维护，参与部门常规报表开发与维护;

2、 负责数据集市规划，开发及维护;

3、 处理各业务模块数据需求，为业务运营提供数据分析方面咨询和建议;

4、 负责搭建并完善业务指标监控体系，为管理层和运营层提供决策支持;

5、 负责数据分析和应用相关的业务系统建设，编写对应系统开发需求，并完成系统测试及应用推广。

职位要求

1、 两年以上工作经验，本科以上学历，计算机相关专业优先;

2、 具有良好统计学及相关领域的理论基础，熟悉数理统计、数据分析工作方法，具有较强的数据分析能力;

3、 精通sqlpython语言，有银行数据仓库，数据集市开发经验者优先;

4、 具备较强文字分析和数据处理能力，能独立编写数据分析报告;

5、 具备开阔的互联网业务思维，对数据敏感，有较好的业务开拓和沟通表达能力。

1.负责公司大数据底层框架的整体架构设计，结合公司实际业务情况进行技术选型及大数据战略规划;

2.负责统一数据平台项目的整体评估、设计、架构及关键模块的开发，不断提升系统的稳定性和效率;

3.负责架构优化及系统关键模块的设计开发，协助团队解决开发过程中的技术难题;

4.建立良好的公司内外的业界技术影响力;有效辅导团队，提升数据研发能力;

任职要求：

1.从事大数据项目相关开发和设计2年以上经验;有作为技术负责人系统化解决问题的成功案例;有海量数据实践经验优先;

2.拥有一定的算法和数据结构基础;有很强的数据设计抽象能力，善于从复杂的数据问题中找到关键路径;

3.熟悉目前正在发展的大数据分布式平台前沿技术的应用;包括但不仅仅限于：hadoop、storm、spark、等;

4. 良好的逻辑思维能力，良好的业务解读能力，懂电力或通信业务优先;

5.具有钻研精神，乐于接受挑战;

1. 从事精准医疗领域的大数据管理分析、bi数据挖掘;

2. 熟练使用脚本工具访问数据库，并完成相应的脚本分析，以图形界面的方式呈现;

3. 熟练使用统计或者机器学习算法，对结构化数据进行统计分析，包括分类和聚类，并进行预测建模等;

4. 与相关项目开发组沟通，明确其需求并给予数据分析统计结果等支持。

任职要求：

1、应用数学，计算机，生物等相关专业硕士以上学历;

2、有生命科学、基因、医药等生物科技行业2年以上工作经验;

3、熟练运用各种常用算法和数据结构，熟悉常用的机器学习算法，了解各种算法的优缺点和局限性;

4、熟悉r、python 等数据分析平台及工具，有搭建hadoop、spark或类似平台从业经验;

5、 熟悉主流数据库oracle、mysql对 nosql 有一定了解及应用经验;

6、 有团队精神，能够承担责任和压力。

1、调整和优化中试生产工艺，确保生产工艺的稳定。

2、负责中试工艺规程、批记录、部门管理性文件起草、修订及培训。

3、负责中试工艺验证文件起草、修订、培训、执行。

4、负责中试工艺相关cr、偏差、capa等起草、跟踪。

5、批指令单、限额领料/退库单的准备，批记录的领用、审核和上交。

6、检查车间sop文件，若发现存在问题，及时发送至相应人员对文件进行更新。

7、负责车间gmp检查，确保现场合规操作，符合gmp要求。

8、遵守公司规章制度，严格按sop操作。

9、领导安排的其它工作。

职责:

1. 管理公司大数据集群，提供高可用、高性能大数据集群系统，并保障系统稳定运行

2. 负责大数据集群性能监控与优化，故障处理，数据备份及灾难恢复

3. 负责大数据集群自助平台的高可用架构设计和负载均衡的设计和实现

4. 负责业务系统大数据集群管理，包括数据库日常维护，系统数据安全以及权限管理、故障处理、日常错误情况处理等

5. 负责依据业务需求优化数据存储结构，负责数据库系统部署方案的计划、设计和实施

6. 负责系统大数据集群定期检查，进行性能分析与调优，充分保证信息系统数据的安全及系统高效运行

任职资格:

1. 全日制本科及以上学历，计算机或相关专业，1年以上hadoop运维经验

2. 熟悉hadoop生态圈hadoop、kafka、zookeeper、hbase、spark、hive等的安装配置和优化

3. 熟悉mysql等关系型数据库的部署与优化，了解mongodb或cassandra等nosql数据库

4. 熟悉linux类操作系统的基础命令操作，能够编写脚本开展日常运维工作

5. 熟悉linux开发环境，会使用shell/java/python中的一门脚本语言

6. 熟悉常见开源工具如nginx、zabbix、grafana等的安装配置和使用

1，负责软件系统的部署运行;

2、负责业务数据系统接入的规划和实施;

3，理解行业业务，梳理业务数据模型;

4，完成项目实施过程中各类文档的编写、收集、整理、归档;

5，与客户保持密切沟通，建立良好的客户关系，保障良好的客户满意度;

有效的分析和控制客户需求，解决项目实施过程中遇到的质量问题和管理问题。

岗位要求：

1、全日制本科以上学历，软件工程、计算机科学相关专业;

2、3年以上的软件/项目管理实施经验;

3、熟悉linux操作，熟练编写shell/python脚本;

4、了解常用开源分布式系统hadoop/spark/hive/hbase;

5、熟练使用sql语句，熟悉etl工作;

6、熟悉oracle，mysql等关系型数据库;

7、具有强烈的责任感与团队合作精神，出色的沟通及学习能力;

8、有较强的分析问题能力，独立解决问题能力，能接受在客户公司办公。

职责：

1、大数据平台的规划、设计、实施，并优化数据库;

2、对数据库进行管理，负责数据库应用系统的运营及监控;

3、对数据库性能分析与调优，排错，保证数据正确率;

4、配合其他部门进行的数据处理、查询，统计和分析工作;

5、完成公司下达的项目开发任务。

任职要求：

1、计算机及相关专业本科以上学历，5年以上软件开发从业经验，其中包括至少2年以上的大数据开发工作经验;

2、熟悉hive,hadoop/spark,hbase等大数据相关技术架构，有管理或优化大型分布式集群经验;

3、熟悉linux基本命令，精通sql脚本的编写，有丰富的数据库管理、运维调优经验;

4、熟悉c++、java、c#等开发语言;

5、有互联网电商行业大数据分析处理和大型数据仓库的设计和实施经验;

6、有分布式系统分析及架构设计经验和大型计算集群的基础设施开发维护经验;

7、快速处理系统突发事件的能力，较强的学习和创新能力;

8、良好的沟通能力和团队合作精神。

职责：

1、负责项目现场的运维工作，及时响应用户的现场问题、需求及相关工作;

2、配合公司的开发、测试、服务部门，进行现场的支撑工作;

3、配合公司商务及销售部门完成相关技术工作;

任职要求：

1、熟练掌握并配置windows、linux、ad域、中间件等相关知识;

2、熟悉oracle、mysql、db2数据库的安装及维护，熟练掌握sql语言;

3、有较强的沟通协调能力，较强的文档协作功底;

4、有较强的抗压能力，能适应一定程度的加班工作。

职责：

1、负责大数据开发团队建设;

2、负责行业大数据产品架构设计与研发;

3、负责带领团队进行行业大数据产品关键技术攻关。

任职要求：

1、有三年以上大数据应用、开发经验;具备海量数据加工处理(etl)相关经验，对数据挖掘及机器学习有较为深刻的理解;

2、熟悉hadoop相关技术，对hdfs、mapreduce、hive、hbase有一定的使用和开发经验;

3、熟悉linux，熟练使用shell或python，进行脚本编写;

4、对数据结构和数据统计分析算法有较为深刻理解;

5、掌握至少一种主流关系数据库开发技术：oracle、sql server、mysql等;

6、掌握实时流计算技术，有spark、storm开发经验者优先;

7、需要具备2年以上研发团队管理经验。

职责：

1、 总部、分公司计算机、服务器、笔记本电脑、硬软件、计算机网络运营管理;

2、 公司整体硬件及网络信息化管理规划及相关制度、流程建设并组织实施;

3、 公司邮件、网站服务器管理、日常维护;

4、 与硬件及网络供应商保持良好的合作关系，以确保系统问题得到快速的支援;

5、 新员工入职邮箱、系统等权限开通;

6、 领导交代的其他相关事宜。

任职资格：

1、大专以上学历，计算机等相关专业毕业，接受优秀应届毕业生;

2、了解或者熟悉helpdesk;熟悉基本网络维护作业，知悉基本布线规则;

3、扎实的计算机软硬件基础知识;

4、服务意识强、办事效率高、有责任心;

5、做事积极主动、有一定沟通能力、较强的工作热情、组织管理能力。

职责：

对业务数据进行采集、清洗、整理、标签、分层;

根据业务需求，应用统计学、数据挖掘等建立精准数据模型，满足业务需求;

能从业务和产品角度出发，利用数据来发现产品或业务的瓶颈，提出优化方案;

探索业界和学术界前言的数据挖掘、机器学习理论与实践。

任职资格：

本科及以上学历，数学、统计学、计算机专业优先;

精通数据挖掘脚本语言，能灵活运用r、python中的一种，熟练sklean/numpy/pandas等科学计算相关库，有统计建模、机器学习或数据挖掘应用的项目经验优先;

对大数据技术有深入了解，能够使用hadoop、spark等相关技术;

勤奋踏实，乐于学习新事物，有良好团队合作精神和高度的责任感;

医疗、生物背景人员优先。

职责：

1. 负责大数据基础平台、海量数据存储/处理分布式平台、数据分析系统架构设计和研发;

2. 负责实时计算平台基础架构设计、部署、监控、优化升级;

3. 制定项目/数据仓库设计及实现规范，指导设计研发和部署;

4. 协助策略和算法团队工作，保障数据挖掘建模和工程化;

5. 深入研究大数据相关技术和产品，跟进业界先进技术。

任职要求：

1. 全日制本科及以上学历，5年以上软件和分布式系统研发经验，3年以上大数据系统架构经验;

2. 精通hadoop/hbase/spark/storm/redis技术及其生态圈;

3. 具备java/c++/scala等开发经验，熟悉数据挖掘和分析的策略与算法;

4. 具备良好的系统分析能力、故障诊断能力;

5. 有大数据策略、算法、可视化经验优先;

6、211/985 重点学校毕业优先。

职责：

1、负责公司大数据/hadoop/hive/hbase/flink等离线实时数据平台运维保障;

2、负责内部大数据自动化运维以及数据化运营平台开发工作;

3、负责hadoop/hbase等系统的业务监控、持续交付、应急响应、容量规划等;

4、深入理解数据平台架构，发现并解决故障及性能瓶颈，打造一流的数据平台;

5、持续的创新和优化能力，提升产品整体质量，改善用户体验，控制系统成本。

6、善于表达、理解客户数据服务需求，具备数据需求转化落地能力。

任职要求：

1、大学本科及以上学历，计算机或者相关专业;

2、深入理解linux系统，运维体系结构，精于容量规划、性能优化;

3、具备一定的开发能力，精通一门以上脚本语言;(shell/perl/python等)，熟悉java等开发语言一种及以上优先;

4、具备很强的故障排查能力，有很好的技术敏感度和风险识别能力;

5、能够承受较大的工作压力，以结果和行动为准则，努力追求成功;

6、熟悉hadoop、hbase、hive、spark、tez等原理并具备管理，配置，运维经验;

7、熟悉分布式系统设计范型，有大规模系统设计和工程实现的了解者优先。

8、具有运营商流量数据加工处理经验者优先。

1、负责内容的处理，包括关键词提取、主题分析、类目预测、质量打分等;

2、负责海量用户行为的分析研究，挖掘优化用户画像，包括人口属性和用户兴趣等;

3、负责推荐引擎算法的开发，包括各类推荐算法的实现、特征和参数调优、用户体验优化等;

4、负责数据营销平台策略的开发，包括用户洞察、行业指数趋势预测、各类精准定向算法的实现和优化等;

5、负责人工智能技术的研究，包括机器学习、知识推理、文本语义理解、计算机视觉等技术;

6、通过海量数据对用户广告的行为进行深入分析与洞察，提炼和发现业务规律，指导推荐模型特征构建，定位产品相关的数据问题及分析优化;

7、结合广告投放场景和用户画像进行分析、归纳统计指标建设，协助模型快速定位问题。

招聘要求及条件：

1、具备数据挖掘、nlp、机器学习、最优化等算法原理知识背景;

2、具备推荐系统、精准营销、信息检索等方面的工作经验优先;

3、具备大规模分布式计算平台的使用和并行算法的开发经验，对大数据处理及应用有浓厚兴趣;

4、具有机器学习、数据挖掘、算法优化的基础并具有浓厚兴趣;

5、熟悉统计原理及检验方法、熟悉数据分析方法;

6、熟悉分类、回归、聚类、降维等机器学习算法及应用场景;

7、熟悉java、python等，能独立完成相关的数据分析及分析报告相关工作。

职责：

1.负责数据仓库建设，基于数据驱动构建企业级数据模型，根据架构设计进行各层数据模型开发。

2.面向pb级别超大规模数据处理和查询需求，设计适合业务变化的合理的多维数据分析系统架构，满足多样性需求。

3.构建设计良好的数据流、调度系统、查询引擎、监控系统，保证系统稳定高效运行，以实现数据的最大价值。

4.指导团队成员开展数据仓库建设。

5.参与重点项目的评审，参与企业数据管理体系建设。

任职要求：

1.统招本科及以上学历。

2.从事数据仓库领域至少5年以上，熟悉数据仓库模型设计与etl开发经验 ，掌握kimball的维度建模设计方法，具备海量数据加工处理(etl)相关经验 。

3.具有一定数据模型和数据架构基础，熟悉hadoophive和常用数据库。

4. 精通sql，有一定的sql性能调优经验，熟悉hive sql的开发。

5.具有管理团队开发经验，具备良好的组织能力、协调能力及项目管理能力。

6.具有较好的文字功底及语言表达能力，能够快速、准确地理解需求。

7.具有专研、快速学习和创新精神，具备独立分析问题和解决问题的能力。

8.具有责任心，时间观念强，工作独立性强，有良好的团队合作精神。

9.全日制普通本科毕业。