大数据工程师的日常工作都是做什么呢【热门19篇】

职责：

1.负责本部门系统运维管理工作，常见的维护，搭建，监控响应、负责系统的变更与发布工作，线上服务漏洞的排查，版本升级工作处理等等

2.参于解决系统技术方面的瓶颈，寻找可行的改进方案等突破性工作

3. 负责海外业务系统的方案设计、沟通协调等

4.负责领导交办的其他工作;

任职要求：

1. 计算机应用、网络管理、信息管理、计算机科学与技术等计算机相关专业;

2. 至少具备4年以上企业it运维经验;

3 对linux系统下的各类典型应用软件的性能、使用场景有深刻的认识;

4 精通python/shell等任意一种脚本语言，能高效进行日常维护工具开发;

5 对主流数据库(mysql/mongodb/redis等)有深入了解，有实际部署与常见管理经验;

6 做事情严谨踏实，有责任心，团队协作能力强，能承受较强的工作压力，有服务意识式;

7 熟悉java、tomcat、nginx、mysql等软件的安装、配置、故障排查、性能调优等;

8 具备良好的思维逻辑，以及文档编制能力。

9 要求英文流利，能和外方用英文进行技术沟通、探讨，并能查看或编写英文技术文档。有外资公司技术工作经验者优先。

1、制作新产品的生产工艺流程,标准工时的制定，安装和调试新产品所需要的设备;负责公司进试产过程中的工艺研究，委外加工的技术沟通。

2、对iqc抽检不良的料件进行评审，然后对不良的料件或图纸提出ecr，并且对ecn的发行及追踪。

3、不断改善工艺流程，提高产品的产量及质量，降低生产周期。

4、各个部门进行沟通，了解产品的最新状况及各个部门遇到的问题，并帮助解决问题

5、负责产品售后技术问题的处理，并改善产品工艺。

6、设计制作各种生产辅助工治具，提高作业效率良率。

7、撰写sop以及各类制程管控文件，用以明确生产流程步骤，保证稳定生产，逐步提高。

职责：

1. 负责或参与智能连接产品(智能耳机，音箱等)后端系统的设计、代码实现;

2. 参与制定前后端业务流程、接口协议、文档输出等;

3. 负责或参与前端程序(app, device)的对接、调试;

4. 持续迭代开发，改善系统性能，用户体验。

岗位要求

1. 五年以上服务器端开发经验,一年以上go语言开发经验;

2. 熟悉linux，对服务器性能优化有一定了解，有高并发项目经验优先;

3. 熟练掌握nginx、mongodb、redis等开源组件;

4. 了解服务器安全配置相关的知识;

5. 熟悉多线程和网络编程，有分布式系统项目经验者优先;

6. 有可穿戴产品后台开发经验者优先。

职责：

1、根据业务需求完成数据库架构设计，配合系统开发团队提供dba服务。

2、负责数据库的系统安装、配置管理以及性能监控和调优;

3、对数据库运行状况进行监控，及时对故障进行分析处理，记录解决文档;

4、提供数据库的高可用性部署设计方案、以及负责数据库的日常维护/管理(数据备份/恢复计划，系统数据安全以及权限管理)

任职要求：

1、3年以上mysql dba全面运维工作经验，有存储过程，触发器，大数据量的经验。

2、熟悉linux系统，能独立完成数据库系统的部署、调优、测试和监控;

3、有mysql数据库高负载高并发系统运维经验;

4、具有很强的故障排查能力，有很好的技术敏感度和技术文档整合能力;

5、熟悉mysql数据库设计、管理与优化,熟悉myisam和innodb引擎，熟练mysql性能优化、sql调优技术;

6、具备基本的java知识，可以协助team完成一些基本的开发工作。

7、工作踏实、责任心强，敢于独立分析和解决问题。

8、有良好的团队协作精神，乐于分享，共同进步。

职责:

1、学习并理解励步云学业务及系统，根据业务部门需求对公司各项业务数据进行统计分析，出具相关报表;

2、进行数据仓库设计、模型开发、数据质量校验，报表开发;

3、进行数据差异分析，找出统计口径、数据错误、操作错误等造成的差异原因;

4、进行数据查询优化，解决跑数性能问题。

任职资格:

1、本科以上学历，数学、统计、计算机相关专业优先;

2、3年以上互联网相关行业数据开发经验;

3、精通数据仓库建设思路，并有相关实施经验，特别是通用汇总层建设经验;

4、较强的数据开发能力，熟悉hadoop相关技术，深刻理解mapreduce原理和过程;

5、精通hive sql，进行数据处理及模型开发;

6、有较强的学习能力，能快速学习和理解业务知识及数据需求;

职责：

1、搭建基于hadoop/spark的数据挖掘体系和大数据分析系统架构;

2、研究大数据领域前沿数据挖掘技术，并引入相应技术在数据中心的使用;

3、进行大数据系统框架设计、模型算法开发;

4、负责大型数据挖掘项目方案制定、项目实施落地及优化等 ;

5、开展数据爬取、聚类分析、舆情分析、鱼骨图分析、定价策略等领域数据挖掘工作;

任职资格：

1、本科以上学历(持有学士学位)(985，211优先)，计算机相关专业，五年工作经验;

2、二年以上数据挖掘项目经验，完整参与过数据挖掘大数据平台的架构开发过程，具备互联网行业背景优先;

3、精通分布式计算框架(hadoop、spark、storm等)及相关经验，熟练掌握hive/sql，python，熟悉python、r相关数值科学计算库(numpy,scipy等);

4、了解传统的bi/dw 理论，能结合传统bi实践设计大数据平台;

5、熟悉常用机器学习算法(如分类、回归、聚类、关联规则等)及其原理，具备应用场景经验，如用户画像、商品关联度分析、舆情分析;

6、熟悉主数据、元数据、数据质量、和数据建模等数据治理相关的体系和方法;

7、具备较强的逻辑思维能力、数据敏感度，擅于利用数据发现问题及解决问题;

职责:

1、负责海量科技数据(含文本数据)的挖掘工作;

2、负责科技数据挖掘算法模型的构建、应用、评测、报告;

3、主持或参与海量科技数据的入库工作，科技数据知识图谱的构建;

4、负责或参与数据挖掘成果论文、专利、标准的撰写;

5、负责或参与制定数据加工清洗的方案，并形成操作手册;

6、为指定的课题提出解决方案，并主持或参与方案实施;

7、完成安排的各项工作，与其他部门合作。

岗位要求：

1、数学、统计、金融、科技管理、计算机等相关专业，博士学历优先;

2、具有2年及以上海量数据挖掘经验，有文本挖掘、非结构化文本处理经验者优先;

3、精通matlab/python/r/scala之一，熟悉java/c/c++等编程语言，熟练掌握linux各项操作指令;

4、熟练掌握hadoop/spark/storm/kafka中的一项或几项，有mpi经验者尚佳;

5、掌握机器学习的基本算法框架，有自然语言处理和丰富的特征工程(特征选择/特征抽取)经验者优先;

6、掌握关系型数据库的基本操作，有图形数据库、其他非关系型数据库经验者尚佳;

7、在医疗信息化从事产品开发工作者优先，有顶会paper或人工智能领域国际比赛中获奖者优先;

8、有比较强的组织协调能力，可同时处理好多个任务，具备一定的管理能力;

9、性格开朗，具有团队精神;较强的沟通能力，能与相关业务和开发人员讨论并快速理解需求。

职责：

1.参与公司数据平台系统规划和架构工作，主导系统的架构设计和项目实施，确保项目质量和关键性能指标达成;

2.统筹和推进制造工厂内部数据系统的构建，搭建不同来源数据之间的逻辑关系，能够为公司运营诊断、运营效率提升提供数据支持;

3.负责数据系统需求对接、各信息化系统数据对接、软件供应商管理工作

5.根据现状制定总体的数据治理方案及数据体系建立，包括数据采集、接入、分类、开发标准和规范，制定全链路数据治理方案;深入挖掘公司数据业务，超强的数据业务感知力，挖掘数据价值，推动数据变现场景的落地，为决策及业务赋能;

6.定义不同的数据应用场景，推动公司的数据可视化工作，提升公司数据分析效率和数据价值转化。

任职要求：

1.本科以上学历，8年以上软件行业从业经验，5年以上大数据架构设计经验，熟悉bi平台、大数据系统相关技术架构及技术标准;

2.熟悉数据仓库、熟悉数据集市，了解数据挖掘、数据抽取、数据清洗、数据建模相关技术;

3.熟悉大数据相关技术：hadoop、hive、hbase、storm、flink、spark、kafka、rabbitmq;

4.熟悉制造企业信息化系统及相关数据库技术;

5.具备大数据平台、计算存储平台、可视化开发平台经验，具有制造企业大数据系统项目开发或实施经验优先;

6.对数据敏感，具备优秀的业务需求分析和报告展示能力，具备制造企业数据分析和数据洞察、大数据系统的架构设计能力，了解主流的报表工具或新兴的前端报表工具;

7.有较强的沟通和组织协调能力，具备结果导向思维，有相关项目管理经验优先。

职责：

1、负责公司大数据/hadoop/hive/hbase/flink等离线实时数据平台运维保障;

2、负责内部大数据自动化运维以及数据化运营平台开发工作;

3、负责hadoop/hbase等系统的业务监控、持续交付、应急响应、容量规划等;

4、深入理解数据平台架构，发现并解决故障及性能瓶颈，打造一流的数据平台;

5、持续的创新和优化能力，提升产品整体质量，改善用户体验，控制系统成本。

6、善于表达、理解客户数据服务需求，具备数据需求转化落地能力。

任职要求：

1、大学本科及以上学历，计算机或者相关专业;

2、深入理解linux系统，运维体系结构，精于容量规划、性能优化;

3、具备一定的开发能力，精通一门以上脚本语言;(shell/perl/python等)，熟悉java等开发语言一种及以上优先;

4、具备很强的故障排查能力，有很好的技术敏感度和风险识别能力;

5、能够承受较大的工作压力，以结果和行动为准则，努力追求成功;

6、熟悉hadoop、hbase、hive、spark、tez等原理并具备管理，配置，运维经验;

7、熟悉分布式系统设计范型，有大规模系统设计和工程实现的了解者优先。

8、具有运营商流量数据加工处理经验者优先。

职责：

1、负责服务器硬件解决方案的需求管理、规划及制定;

2、负责协调内外部资源、确保硬件解决方案按客户要求落地交付，跟踪推动后续的优化工作;

3、负责撰写硬件解决方案与相关文档;

4、负责收集行业趋势及业界主流技术，对负责的硬件解决方案进行市场调研及竞品分析;

任职要求：

1、计算机或相近专业本科及以上学历;5年以上相关工作经验;

2、精通pc服务器硬件技术和主流产品，熟悉与pc服务器关联密切的网络、存储及idc等技术，熟悉vmware、docker、cloudstack、hadoop等主流应用的技术方案;

3、具体较强的文档撰写及沟通表达能力，熟练使用ppt、excel等工具;

4、具备行业视野，对行业发展趋势有敏锐的洞察力及创新意识，有较强的需求分析及解决方案规划能力，能提炼用户需求并转化为解决方案能力，具备商业敏感性;

5、熟悉云平台产品及解决方案，具备相关工作经验优先考虑;

职责：

1、企微云平台的日常运行管理，处理各种运维事故及事件;

2、负责企微云应用的部署;

3、负责服务器的规划、调试优化、日常监控、故障处理、数据备份、日志分析等工作;

4、参与运维流程制定，确保任何突发情况都能高效响应;

5、整理各类运维文档，沉淀经验。

工作要求：

1、本科及其以上学历，3年以上互联网公司linux运维相关经验;

2、精通zabbix监控系统的搭建和维护，能够开发自定义脚本;

3、熟悉nginx/apache/tomcat等web应用服务器部署、优化;

4、熟悉数据mysql数据库集群的部署，监控，优化;

5、有elastic search、mongodb、hbase等部署、监控、优化经验的优先考虑。

职责：

1、负责规划大数据平台及应用产品的需求和技术方案设计;

2、负责数据对接和对外服务设计、开发和维护，并能保证质量和性能;

3、负责基于大数据平台的应用设计、开发和维护;

4、能从系统全局和各子系统的角度思考可能存在的问题，并提出改进方案建议;

任职要求：

1、大学本科6年以上工作经验，计算机相关专业。

2、至少4年以上的java开发经验，3年以上大数据应用系统的开发和设计经验。

3、熟悉hadoop生态圈技术体系， 对离线计算、内存计算和流式计算均有深刻理解， 如hadoop、storm、spark三个中的任意二个， 能进行平台和组件优化。

4、精通hive、hbase仓库设计，深刻理解mr运行原理和机制，能进行以提供高任务执行效率的优化。

5、精通java开发，熟悉jvm调优， 对gc有深刻理解。

6、熟悉linux、shell、kafka、oracle、mysql、redis等相关技术， 能进行hbase可靠性诊断和维护。

7、快速研究和学习技术能力。

职责：

1、负责所在区域一卡通系统售后维护、存续业务、系统巡检、产品咨询、产品知识库的建立、故障判断与解决的服务工作。

2、负责协助制定一卡通系统实施方案，参与协助项目技术谈判。

3、负责协助所在区域一卡通系统项目的实施、培训、验收及回款工作。

4、与售前工程师紧密合作，与客户交流，提供技术顾问服务，充分理解客户需求，编写项目计划。

5、完成上级领导交代的其他工作

岗位要求：

1、计算机、通讯工程、电子相关专业，大专及以上学历，具有良好的计算机技术基础。

2、责任心强,良好的沟通能力，团队协作精神强，服从组织和领导对工作的安排和要求。

3、具备良好的团队合作意识;吃苦耐劳,勤奋刻苦,主观能动性强，能够适应长期出差。

4、熟练掌握windows操作系统和sql server数据库，熟练使用各类数据库操作命令。

5、熟练掌握unix、linux等操作系统和oracle大型数据库。

6、熟练掌握project、visio等项目管理工具。

7、具有较强的文档编写能力。

职责：

1.负责对海量文本内容进行要素提取，精分类别、关联挖掘等技术的研发工作;

2.负责实现文本挖掘技术的产品化，并且结合招标领域开展应用与优化;

3.能指导较低职位的工程师完成工作;

4.能与高校科研机构进行协同创新。

任职资格：

1. 模式识别/人工智能/计算机相关专业，本科或以上学历;3年以上工作经验;

2. 正直、诚信、敬业、有激情、有良好团队交流能力;

3. 精通java、python语言，熟悉linux基本开发环境;

4. 精通nlp相关领域知识，拥有较为丰富的文本处理经验：精准分词、实体抽取、属性抽取、关系抽取、分类聚类、主题挖掘、poi挖掘等;

5. 具有nlp实战经验，参与过相关项目，有知识图谱/深度学习研发经验者优先;熟悉hadoop、 spark、storm等分布式处理框架者更佳;

6.熟悉git，svn等通用工具;

7. 对自然语言处理、知识图谱构建、人工智能等具有浓厚的兴趣。

职责：

1、 总部、分公司计算机、服务器、笔记本电脑、硬软件、计算机网络运营管理;

2、 公司整体硬件及网络信息化管理规划及相关制度、流程建设并组织实施;

3、 公司邮件、网站服务器管理、日常维护;

4、 与硬件及网络供应商保持良好的合作关系，以确保系统问题得到快速的支援;

5、 新员工入职邮箱、系统等权限开通;

6、 领导交代的其他相关事宜。

任职资格：

1、大专以上学历，计算机等相关专业毕业，接受优秀应届毕业生;

2、了解或者熟悉helpdesk;熟悉基本网络维护作业，知悉基本布线规则;

3、扎实的计算机软硬件基础知识;

4、服务意识强、办事效率高、有责任心;

5、做事积极主动、有一定沟通能力、较强的工作热情、组织管理能力。

职责：

对业务数据进行采集、清洗、整理、标签、分层;

根据业务需求，应用统计学、数据挖掘等建立精准数据模型，满足业务需求;

能从业务和产品角度出发，利用数据来发现产品或业务的瓶颈，提出优化方案;

探索业界和学术界前言的数据挖掘、机器学习理论与实践。

任职资格：

本科及以上学历，数学、统计学、计算机专业优先;

精通数据挖掘脚本语言，能灵活运用r、python中的一种，熟练sklean/numpy/pandas等科学计算相关库，有统计建模、机器学习或数据挖掘应用的项目经验优先;

对大数据技术有深入了解，能够使用hadoop、spark等相关技术;

勤奋踏实，乐于学习新事物，有良好团队合作精神和高度的责任感;

医疗、生物背景人员优先。

职责：

1.负责大数据项目需求调研及分析、模型设计工作。

2.负责规划数据挖掘的整体流程，并参与用户产品和数据产品的决策。

3.与业务部门密切配合，寻求数据层面的业务价值，利用数据分析结论推动产品优化。

4.带领团队对于产品数据进行分析，指导工程师完成数据挖掘相关的算法、应用的设计与开发。

5.技术团队的管理，制定开发规范，撰写相关技术文档指导和培训工程师。

任职要求：

1.计算机、数学、统计等相关专业本科以及以上学历;两年及以上工作经验。

2.具备良好的数据结构和算法基础。

3.熟练掌握数据挖掘算法模块关联分析、聚类分析、分类分析、回归分析里的经典算法。

4.熟悉深度学习里的经典神经网络，包括并不限于mlp/cnn/rnn。

5.熟悉python, java等常用编程语言。

6.熟悉分布式数据处理系统的开发，hadoop/spark/hive等。

7.全面了解机器学习应用于实际问题的完整流程，有相关实际项目经验。

职责：

1.负责数据仓库建设，基于数据驱动构建企业级数据模型，根据架构设计进行各层数据模型开发。

2.面向pb级别超大规模数据处理和查询需求，设计适合业务变化的合理的多维数据分析系统架构，满足多样性需求。

3.构建设计良好的数据流、调度系统、查询引擎、监控系统，保证系统稳定高效运行，以实现数据的最大价值。

4.指导团队成员开展数据仓库建设。

5.参与重点项目的评审，参与企业数据管理体系建设。

任职要求：

1.统招本科及以上学历。

2.从事数据仓库领域至少5年以上，熟悉数据仓库模型设计与etl开发经验 ，掌握kimball的维度建模设计方法，具备海量数据加工处理(etl)相关经验 。

3.具有一定数据模型和数据架构基础，熟悉hadoophive和常用数据库。

4. 精通sql，有一定的sql性能调优经验，熟悉hive sql的开发。

5.具有管理团队开发经验，具备良好的组织能力、协调能力及项目管理能力。

6.具有较好的文字功底及语言表达能力，能够快速、准确地理解需求。

7.具有专研、快速学习和创新精神，具备独立分析问题和解决问题的能力。

8.具有责任心，时间观念强，工作独立性强，有良好的团队合作精神。

9.全日制普通本科毕业。

职责：

1、负责大数据平台数据仓库建设、数据分析挖掘工作;

2、负责大数据的处理、整合及数据建模，协同业务开发人员，将模型算法成果应用到实际业务系统中，并通过可视化工具进行分析成果展示;

3、基于用户数据，研究用户行为，构建用户画像。

任职要求：

1、应用数学、计算机、信息处理等相关专业本科及以上学历;

2、3年以上大数据开发经验;

3、熟悉hadoop的大数据生态，精通sql语法【有较好的sql性能调优能力，掌握基于hive或者spark sql的hql脚本编写;

4、具有从数据查询，聚合，分析到可视化的整套实践经验;

5、熟练使用java或者python、基础扎实、能编写hive环境下或者spark sql环境下的udf;

6、具备良好的表达和沟通能力、学习能力，具备极强的团队合作精神，能够承受一定的工作压力。

1.负责公司大数据底层框架的整体架构设计，结合公司实际业务情况进行技术选型及大数据战略规划;

2.负责统一数据平台项目的整体评估、设计、架构及关键模块的开发，不断提升系统的稳定性和效率;

3.负责架构优化及系统关键模块的设计开发，协助团队解决开发过程中的技术难题;

4.建立良好的公司内外的业界技术影响力;有效辅导团队，提升数据研发能力;

任职要求：

1.从事大数据项目相关开发和设计2年以上经验;有作为技术负责人系统化解决问题的成功案例;有海量数据实践经验优先;

2.拥有一定的算法和数据结构基础;有很强的数据设计抽象能力，善于从复杂的数据问题中找到关键路径;

3.熟悉目前正在发展的大数据分布式平台前沿技术的应用;包括但不仅仅限于：hadoop、storm、spark、等;

4. 良好的逻辑思维能力，良好的业务解读能力，懂电力或通信业务优先;

5.具有钻研精神，乐于接受挑战;