现在刚入职大数据工程师，大数据开发到底工作内容有什么？
发布时间：2022-11-10 12:47:38 所属栏目：大数据 来源：
导读： 从事大数据的第五个年头，从最开始的离线开发到现在的数据平台架构，做过离线、实时、大数据框架的底层优化和参与apache kylin的平台研发。从业务、平台、内核、架构，我都有涉及过，并且都做了一定研究。我也看
|
从事大数据的第五个年头，从最开始的离线开发到现在的数据平台架构，做过离线、实时、大数据框架的底层优化和参与apache kylin的平台研发。从业务、平台、内核、架构，我都有涉及过，并且都做了一定研究。我也看了几十本关于大数据的书籍，目前也着手开始写书。 这些书单我都有收集了电子版本，并且整理到网盘上。上面也有我自己总结的读书笔记和思维导图，大家可以点击下方链接进行下载。 我是二本机械自学转型大数据，拿过头条等大厂大数据offer，目前就职于某知名外企，说说我对大数据职业发展的理解： 业务开发、平台开发、内核开发。这三个方向是目前开发的主要三个方向。 1.业务开发。从业务角度出发，CRUD、写SQL HQL，SparkSQL等。 2.平台开发。从平台基础设施出发，也就是所谓的基础架构。从事平台的一些基础建设工作，不直接从事任何对外可见的业务，而是对整个公司的基础库/基础软件/基础平台的架构与实现，为业务部门提供简单、方便、可靠、高效、可扩展的编程接口。 一般只有大公司有，常见的分布式系统设计，分布式计算，存储等等，然后封装接口让业务方直接用。 3.内核开发。也就是常说的源码级别的，像BATTMD，小米快手等，都会有专门的部门去研究这些框架。一些大公司的开源框架也都是内核部门贡献出来的。 为什么要有内核开发部门呢？ 因为当前的框架生态不符合公司的技术选型，所以得改掉一部分，比如公司存储用parquet，这个框架用的HBase，那我得整整。还有就是针对公司业务的特定需求，需要通过去改源码来更好的辅助业务开发。 从产出来说：业务 > 平台 > 内核。毕竟业务产出可视化更强；像平台，有时找bug，找解决方案都得搞一天，更别提产出了；内核更不用说，得盯着源码，输出一些心得报告等。 从学到的东西来看：每个方向学到的东西都是不一样的，看你追求什么。 市场需求：业务>平台>内核。业务的需求会略高于平台，有些公司平台和业务是一起的。内核一般是大厂以及技术型公司才有的，正常的toC中小公司一般是没的。 从技术要求来说：内核>平台>业务。 内核要对计算机基础有比较好的掌握大数据开发，以及对某个组件有比较深的了解，源码级别的，对其他组件也有原理性的认识。 如何量化这个指标？ 1.开源社区贡献issue。2.输出多少源码级别的博客。3.博客被哪些官方公众号转载。4.通过解读源码解决了生产上什么问题。 平台需对整体架构能力，分布式，微服务，高并发，并行计算等这些，有一至多个的见解。计算机基础和一个以上主流框架的原理性掌握，对开发语言的熟练和熟悉程度。 业务的话就是对口的业务能力，以及框架和工具使用，基本的计算机计算和基本的原理性掌握。 综上：大部分人可以往平台?业务方向发展，略了解一些内核的东西。做内核的也需关注平台和业务，别把自己的路走窄了。 可以点击下方链接加入学习群，获取学习资源，一起学习交流~ （编辑：草根网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
站长推荐
浙公网安备 33038102330473号