对于大数据的认识和理解
发布时间：2022-11-05 11:15:21 所属栏目：大数据 来源：
导读： 对于大数据的认识和理解这学期选修了网络工程这门课程，当时是抱着扫盲的态度选的这门课程，自己定的目标不高，只需要对一些基础的概念和网络结构有些认识就可以，以免后在人前谈论的时候不至于成为文盲，被一些
|
对于大数据的认识和理解这学期选修了网络工程这门课程，当时是抱着扫盲的态度选的这门课程，自己定的目标不高，只需要对一些基础的概念和网络结构有些认识就可以，以免后在人前谈论的时候不至于成为文盲，被一些专业性的技术人员所吓倒。事实证明，态度决定一切，由于自己刚开始设定的目标就比较低，所以注定能够上升到的水平也就不高。经过这几周的学习，对计算机网络的基础知识和大致结构有了一个粗浅的认识。由于学生本身这方面的基础不扎实，知识结构在这方面比较薄弱，所以不能技术方面进行深入的研究，只能对一些理论性的知识做一些了解和认识，建立概的知识框架。在学习过程于大数据BigData方面的提及引起了我很大的兴趣，越是自己私下里做了一些阅读和查询（主要是维克托迈尔-舍恩伯格的《大数据时代》和网络上查看的一些资料）。最后提交的这篇课程总结就着重报告一下自己在阅读了他人关于大数据的一些理论后自身的认识。在这之前，我发现身边很多人都提起过大数据，其中包括老师和同学。可是对于这些热门的新技术、新趋势人们往往趋之若鹜却又很难说的透彻，如果你问大数据和你有什么关系？估计很少同学能说出一二三来。究其原因，一是因为大家对新技术有着相同的原始渴求，至少知其然在聊天时不会显得很“无知”，因人知道的东西我不知道，就会感到焦论这些信息对你有没有用；二是在工作和生活环境中真正能参与实践大数据的案例实在太少了，所以大家没有必要花时间去知其所以然。 当虽然我希望能有些不一样，但是自己实在欠缺这方面的知识，所以也只能查阅一些资料，翻阅了最新的专业书籍，在自己局限的认识下把这些些零散的资料碎片或不同理解论述综合起来做一个类似于文献综述的报告，其实我很真诚的希望进入事物探寻本质。下面就从理论、技术、实践这三个层面写一下大数据的认大数据的一些相关理论：最早提出大数据时代到来的是麦肯锡：“数据，已经渗透到当今每一个行业业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示新一波生产率增长和消费者盈余浪潮的到来。（量Volume，多样Variety，价值Value，速Velocity）,或者说特点有四个层面：第一，数据体量第二，数据类型繁多。比如，网络日志、视频、图片、地理位置信息等等。第三，价值密度低，商业价值高。第四，处理速度快。最后这一点也是和传统的数据挖掘技术有着本质的不同。很早就流传着一句话：三分技术，七分数据，得数据者得天下。先不论这句是谁说得，但是这句话的正确性已经不用去论证了。维克托《大数据时代》一书中举了很多例证，都是为了说明一个道理：在大数据时代已经到来的时候要用大数据思维去发掘大数据的潜在价值。书中，作者提及最多的Google如何利用人们的搜索记录挖掘数据二次利用价值，比如预测某地流感爆发的趋势;Amazon如何利用用户的购买和浏览历史数据进行有针对性的书籍买推荐，以此有效提升销售量；Farecast如何利用过去十年所有的航线机票价格打折数据，来预测用户购买机票的时机是否合适。 这里维克托格所认为的大数据思维是关注相关性而不是因果关系。大数据是什么？投资者眼里是金光闪闪的两个字：资产。比如，Facebook上市估机构评定的有效资产中大部分都是其社交网站上的数据。如果把大数据比作一种产业，那么这种产业实现盈利的关键理解大数据，在于提高对数据的“加工能“加工”实现数据的“增值”。Wal-Mart作为零售行业的巨头，他们的分析人员会对每个阶段的销售记录进行了全面的分析，有一次他们无意中发现虽不相关但很有价值的数据，在美国的飓风来临季节，市的蛋挞和抵御飓风物品竟然销量都有大幅增加，于是他们做了一个明智决策，就是将蛋挞的销售位置移到了飓风物品销售区域旁边，看起来是为了方便用户挑选，但是没有想到蛋挞的销量因此又提高了很多。这样的例子存在在各行各业，探求数据价值取决于把握数据的人，关键是人的数据思与其说是大数据创造了价值，不如说是大数据思维触发了新的价值大数据的一些相关技术：1）云技术：大数据常和云计算联系到一起，因为实时的大型数据集分析需要分布式处理架来向数十、数百或甚至数万的电脑分配工作。可以说，云计算充当了工业革时期的发动机的角色，而大数据则是电。云计算思想的起源是麦卡锡在上世纪60年代提出的：把计算能力作为一种和电一样的公用事业提供给用户。 如今，在GoogleAmazon、Facebook等一批互联网企业引领下，一种行之有效的模式出现了：云计算提供基础架构平台，大数据应用运行在这个平台上。业内是这么形容两者的关系：没有大数据的信息积淀，则云计算的计算能力再强大，也难以找到用武之地；没有云计算的处理能力，则大数据的信息积淀再富，也终究只是镜花水月。那么大数据到底需要哪些云计算技术呢？这里暂且列举一些，比如虚拟化技术，分布式处理技术，海量数据的存储和管理技术，NOSQL、实时流数据处理、智能分析技术（类似模式识别以及自然言理解）等。2）分布式技术：分布式处理系统可以将不同地点的或具有不同功能的或拥有不同数据台计算机用通信网络连接起来，在控制系统的统一管理控制下，协调地完成信息处理任务—这就是分布式处理系统的定义。3）感知技术：大数据的采集和感知技术的发展是紧密联系的。以传感器技术，指纹识别技RFID技术，坐标定位技术等为基础的感知能力提升同样是物联网发展的基全世界的工业设备、汽车、电表上有着无数的数码传感器，随时测量和传递着有关位置、运动、震动、温度、湿度乃至空气中化学物质的变化，都会产生海量的数据信而随着智能手机的普及，感知技术可谓迎来了发展的高峰期，除了地理位置信息被广泛的应用外，一些新的感知手段也开始登上舞台，比如，最新的”iPhone5Shome键内嵌指纹传感器，新型手机可通过呼气直接检测燃烧脂肪量，用手机的嗅觉传感器面世可以监测从空气污染到危险的化学药品，微软正在研发知用户当前心情智能手机技术，谷歌眼镜InSight新技术可通过衣着进行人物识别其实，这些感知被逐渐捕获的过程就是就世界被数据化的过程，一旦世界被全数据化了，那么世界的本质也就是信息了大数据的实践政府各个部门都握有构成社会基础的原始数据，比如，气象数据，金融数据，信用数据，电力数据，煤气数据，自来水数据，道路交通数据，客运数据，安全刑事案件数据，住房数据，海关数据，出入境数据，旅游数据，医疗数据，教育数据，环保数据等等。 这些数据在每个政府部门里面看起来是单一的，静态的。但是，如果政府可以将这些数据关联起来，对这些数据进行有效的关联分析和统一管理，这些数据必定将获得新生，其价值是无法估量医疗、智慧环保、智慧城市，这些都依托于大数据，可以说大数据是智慧的核源。从国内整体投资规模来看，到2012年底全国开建智慧城市的城市数超180个，通信网络和数据平台等 基础设施建设投资规模接近 5000 亿元。 万亿元人民币。大数据为智慧城市的各 个领域提供决策支持。 在城市规划方面， 通过对 城市地理、 气象等自 然信息和经 济、社会、文化、人口等人文社会信息的挖掘，可以为城市 规划提供 决策，强化城市 管理服务的科学性和前瞻性。 在交通管理方面， 通过对道路交通 息的实时挖掘，能有效缓解交通拥堵， 并快速响应突发状况， 为城市交通的良 性运转提供科 策依据。在舆情监控方面， 通过网络关键词搜索及语义智能 分析，能提高舆情分析 及时性、全面性，全面掌握社情民意，提高公共服务能力，应对网络突发的公共事 件，打击 违法犯罪。在安防与防灾领域，通过大数据 的挖掘，可以及时发现人为或自 然灾害、 恐怖事 提高应急处理能力和安全防范能力。 学生在阅读了大数据相关的一些书籍和文章之后， 提取出的一些观点和理论， 并稍加了 自己对大数据的一些认识， 写成了这篇课程总结， 因为自身的专业性不 强，欠缺这方面的知 识和技术， 所以有些说法可能存在漏洞或者错误， 希望老师 要见笑并加以指正。最后感 谢老师这两个月来的教导。 老师幽默的语言， 灵活 些都得到了同学们的广泛好评。 （编辑：草根网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
站长推荐
浙公网安备 33038102330473号