大数据、云计算为什么不像以前那样热了？
发布时间：2022-10-21 11:20:20 所属栏目：大数据 来源：
导读： 还是一样热，但是不像以前那种盲热了，经过这么几年的发展，大数据已经形成了一个良好的生态，能够实际解决企业的问题了，能够将大数据应用到实处，大数据软件逐渐的丰富起来了，各式各样的组件层出不穷，所以作
|
还是一样热，但是不像以前那种盲热了，经过这么几年的发展，大数据已经形成了一个良好的生态，能够实际解决企业的问题了，能够将大数据应用到实处，大数据软件逐渐的丰富起来了，各式各样的组件层出不穷，所以作为大数据专业的人员，需要学习的大数据技能非常非常多，所以现在大数据已经进行细分了，每个岗位从事的工作及所需的技能如下： 数仓工程师 (全称：数据仓库工程师) 数仓工程师日常工作一般是不写代码的，主要以写 SQL 为主！ 数仓工程师是大数据领域公司招聘较多的岗位，薪资也较高，需要重点关注！ 数据仓库分为离线数仓和实时数仓，但是企业在招聘时大多要求两者都会，进入公司之后可能会专注于离线或实时其中之一。 就目前来说，大多数的企业还是以离线数仓为主，不过未来趋势肯定是实时数仓为主，所以学习时，为了现在能找到工作，需要学习离线数仓，为了以后的发展，需要学习实时数仓。所以大数据比对，离线和实时都是我们重点掌握的！ 需要掌握的技能： 不管离线还是实时，重中之重就是：SQL SQL 语法及调优一定要掌握，这里说的 SQL 包括 mysql 中的 sql，hive中的 hive sql，spark 中的 spark sql，flink 中 的 flink sql。 在企业招聘的笔记及面试中，一般问的关于 sql 的问题主要是以 hive sql 为主，所以请重点关注！ 除 sql 外，还需要重点掌握以下技能，分为离线和实时 离线数仓需要重点掌握的技能： 实时数仓需要重点掌握的技能： 2. 大数据开发工程师 数据开发工程师一般是以写代码为主，以 Java 和 Scala 为主。 大数据开发分两类，第一类是编写Hadoop、Spark、Flink 的应用程序，第二类是对大数据处理系统本身进行开发，如对开源框架的扩展开发，数据中台的开发等！ 需要重点掌握的技能： 通过以上技能，我们也能看出，数据开发和数仓开发的技能重复率较高，所以很多公司招聘时 大数据开发 和 数仓建设 分的没有这么细，数据开发包含了数仓的工作！ 3. ETL工程师 ETL是三个单词的首字母，中文意思是抽取、转换、加载 从开始的图中也能看出，ETL工程师是对接业务和数据的交接点，所以需要处理上下游的关系 对于上游，需要经常跟业务系统的人打交道，所以要对业务系统比较熟悉。比如它们存在各种接口，不管是API级别还是数据库接口，这都需要ETL工程师非常了解。 其次是其下游，这意味着你要跟许多数据开发工程师师、数据科学家打交道。比如将准备好的数据（数据的清洗、整理、融合），交给下游的数据开发和数据科学家。 需要重点掌握的技能 4. 数据分析工程师 在数据工程师准备好数据维护好数仓后，数据分析师就上场了。 分析师们会根据数据和业务情况，分析得出结论、制定业务策略或者建立模型，创造新的业务价值并支持业务高效运转。 同时数据分析师在后期还有数据爬虫、数据挖掘和算法工程师三个分支。 （编辑：草根网_安阳站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
站长推荐
浙公网安备 33038102330473号