什么叫大数据?
本人工作岗位是大数据咨询顾问,从事大数据行业多年,IT行业十年经验。大数据是一个统称,是相对于小数据而说的。比如以前采用ORACLE SQL MYSQL 数据库存储的数据基本是几十G到几百G,而且大多以结构化的数据为主。但现在随着互联网的爆发,数据量越来越大(从GB、TB、PB、ZB),类型越来越多(结构化传统数据库的数据、半结构化网页、文件、邮件,非结构化的视频、图片、音频),所以原来的数据库技术已经无法满足需求了,所以才有了大数据。
大数据几个关键的技术如下:1.存储能力。大数据平台可支持结构化(常规数据库存放的规范化数据)、半结构化(文档、网页、邮件)、非结构化的数据存储(视频、图片、音频) ,并且可以支持分布式存储,可以很方便的扩展,成本也很低。2.计算能力。可以支持大批量离线计算(PB级、亿级大量数据)和实时计算(低延迟毫秒急出结果)。
什么是大数据?要简单通俗点的解释?
什么是大数据及应用?大数据即为海量数据。人类生活在三维空间中,一草一木,一山一水,人类活动的行为轨迹,都能用数据来表达。如企业的生产运营,商品标准。政府的管理决策,消费者的消费水平,消费习惯。地理环境的一条公路,一条河流等等。每方面都有每方面的大数据。每个行业都有每个行业的大数据。通过各企业,行业,社会主体等等数据的集成。
形成了概念更大,更有价值的大数据流。通过宇宙万物是互联的原理。以及逻辑关系的分析。能够得到。关于社会治理,企业运营,个人服务的便捷可靠,真实的服务方案。一件事物的组成并非由单一因素组成。由多方组合或者协同完成的。一件衣服的完成,要有生产布料的厂家,制衣厂家,制扣厂家,制线厂家,设计方,工人加工等等环节组合而成。
大数据究竟多大才算是,该如何学习大数据?
大数据本身是基于数据价值化而构建出来的新概念,虽然概念比较新,但是数据却一直都在,所以大数据的核心并不在“大”上,而是基于大数据所构建出的一个新的价值空间。在理解大数据概念的时候,通常都有几个较为明显的误区,其一是只有足够大的数据才能算是大数据范畴;其二是大数据和互联网是隔离的;其三是大数据就是统计学;其四是大数据会“杀熟”,应该尽量远离大数据等等。
在大数据时代,任何体量的数据都可以采用大数据技术进行处理,传统的结构化数据处理方式也已经并入到了大数据的技术体系,所以大数据技术本身对于数据量的大小并没有绝对的要求,并不是说数据量小就不能采用大数据技术。大数据本身是互联网、物联网和传统信息系统共同发展所导致的结果,所以大数据与互联网存在紧密的联系,事实上目前互联网领域是推动大数据发展的重要力量,所以大数据与互联网本身就密不可分。
从互联网发展的前景来看,大数据是互联网价值的重要体现,所以未来大数据的价值必然会不断得到提升。由于目前大数据分析技术往往会采用统计学的方式,这导致不少人认为大数据就是统计学,实际上大数据在进行数据分析的过程中,不仅需要统计学技术,也需要机器学习相关技术。当然,统计学作为大数据的三大基础学科,在大数据技术体系中占有重要的地位。
目前大数据人才的培养既包括研究生教育(培养创新型人才),也包括专科教育和本科教育,随着大数据技术体系的逐渐成熟,学习大数据的过程也会更为顺利。我从事互联网行业多年,目前也在带计算机专业的研究生,主要的研究方向集中在大数据和人工智能领域,我会陆续写一些关于互联网技术方面的文章,感兴趣的朋友可以关注我,相信一定会有所收获。