大数据专业是学什么?就业前景如何?

很多人比较好奇,做大数据的工程师,专业到底需要学习什么内容?其实我们先看一下,现在已经参加工作的工程师他们每天都在做什么,你就知道你在学习的过程中,那些是你必须且重点要学习的了。接下来为您揭秘他们的工作内容,以及大数据工程师的就业前景和未来大数据工程师需要具备的工作能力内容。

大数据工程师

1.写 SQL (很多入职一两年的大数据工程师主要的工作就是写 SQL )
2.为集群搭大数据环境(一般公司招大数据工程师环境都已经搭好了,公司内部会有现成的大数据平台,但我这边会私下搞一套测试环境,毕竟公司内部的大数据系统权限限制很多,严重影响开发效率)
3.维护大数据平台(这个应该是每个大数据工程师都做过的工作,或多或少会承担“运维”的工作)
4.数据迁移(有部分公司需要把数据从传统的数据库 Oracle、MySQL 等数据迁移到大数据集群中,这个是比较繁琐的工作,吃力不讨好).

5.应用迁移(有部分公司需要把应用从传统的数据库 Oracle、MySQL 等数据库的存储过程程序或者SQL脚本迁移到大数据平台上,这个过程也是非常繁琐的工作,无聊,高度重复且麻烦,吃力不讨好)

大数据下的城市

6.数据采集(采集日志数据、文件数据、接口数据,这个涉及到各种格式的转换,一般用得比较多的是 Flume 和 Logstash)
7.数据处理
7.1 离线数据处理(这个一般就是写写 SQL 然后扔到 Hive 中跑,其实和第一点有点重复了)
7.2 实时数据处理(这个涉及到消息队列,Kafka,Spark,Flink  这些,组件,一般就是 Flume 采集到数据发给 Kafka 然后 Spark 消费 Kafka 的数据进行处理)
8.数据可视化(这个我司是用 Spring Boot 连接后台数据与前端,前端用自己魔改的 echarts)
9.大数据平台开发(偏Java方向的,大概就是把开源的组件整合起来整成一个可用的大数据平台这样,常见的是各种难用的 PaaS 平台)
10.数据中台开发(中台需要支持接入各种数据源,把各种数据源清洗转换为可用的数据,然后再基于原始数据搭建起宽表层,一般为了节省开发成本和服务器资源,都是基于宽表层查询出业务数据)
11.搭建数据仓库(这里的数据仓库的搭建不是指 Hive ,Hive 是搭建数仓的工具,数仓搭建一般会分为三层 ODS、DW、DM 层,其中DW是最重要的,它又可以分为DWD,DWM,DWS,这个层级只是逻辑上的概念,类似于把表名按照层级区分开来的操作,分层的目的是防止开发数据应用的时候直接访问底层数据,可以减少资源,注意,减少资源开销是减少 内存 和 CPU 的开销,分层后磁盘占用会大大增加,磁盘不值钱所以没什么关系,分层可以使数据表的逻辑更加清晰,方便进一步的开发操作,如果分层没有做好会导致逻辑混乱,新来的员工难以接手业务,提高公司的运营成本,还有这个建数仓也分为建离线和实时的)总之就是离不开写 SQL ...(内容来自:JianJian
可能你觉得他们的工作很无聊,也很无趣,整天对着电脑敲代码,其实他们的薪资,你肯定会比较羡慕的。

2020年4月30日,人力资源和社会保障部发布《新职业—大数据工程技术人员就业景气现状分析报告》,报告显示:预计2020年中国大数据行业人才需求规模将达210万,2025年前大数据人才需求仍将保持30%—40%的增速,需求总量在2000万人左右。

大数据工程师薪资待遇

当前,大数据人才的薪资处于相对较高水平。薪资在1万元以下,占总人数的34.6%;1万元-2万元占比为35.64%;2万以上占比为29.77%。

根据调研情况整理,大数据工程技术人员相关岗位的职责以及对大专以上学历人才的职业技能要求如下表。

大数据相关岗位的职责以及岗位技能要求1

大数据相关岗位的职责以及岗位技能要求2


如果你最近有这方面的打算或者有朋友要做这方面的工作,可以把链接保存一下,上图是国家人力资源和社会保障部发布的哦,以后肯定可以用到的。