大数据最近几年一直挺火热,可是大数据的概念你能说得清吗?具体应用你知道吗?
大数据首先突出一个特点就是数据量大,大到什么程度呢?我们目前处理数据大多还是在关系型数据库进行存储,然后再进行分析展现。而真正的大数据体量是传统的数据处理软件无法处理的。由于巨量的数据,已经无法进行分析,所以数据实际上是浪费了。那么大数据技术是如何解决这个问题呢?这就要说到我们的分布式集群了,通过数据,数百台服务器组成集群,分布式存储所有计算节点的数据,利用技术可以实现成千上万计算机与PB级的数据连接起来,每一台服务器作为一个节点可以单独进行计算并处理节点,故障。上面说了大数据的一个特性,数据量(Volume),大数据还有两个特性:速度(Velocity),数据增长速度快;数据种类繁多,包括音视频、图像、日志等非结构化数据。合称3V,来表示大数据的三个特点。
大数据的应用有哪些?
推荐系统:主要用于广告推送,新闻推送等。我们在使用互联网产品时会产生大量数据,什么时间浏览了什么东西,到过哪里,用的什么手机。通过这些信息,公司就可以更准确地了解到客户的偏好和需求,作出针对性的改变。
预测分析,欺诈监测:基于大量的数据,可以识别出大规模的欺诈行为或者一些索赔欺诈。这个再保险公司使用会比较多,有些人会故意制造一些虚假索赔信息来进行索赔。通过大量的数据分析及一些算法可以找出那些恶意索赔的单据并划分风险等级。数据本身就是价值,比如我们的消费信息,信用信息,健康信息这些就是极具价值的信息,服务商通过购买这些信息可以为我们提供精准服务。
人工智能:人工智能需要大量的数据来训练模型,所以,实现人工智能,第一步就是要有数据。除此之外,大数据已经用于自然灾害预警、交通状况分析、电子商务、金融、电信等众多领域。 “大数据”概念最早出现在1980年,由著名的未来学家阿尔文•托夫勒在其著作《第三次浪潮》中所提出。2009年美国互联网数据中心证实大数据时代的来临,而在今天,我们已经能充分感受到大数据的魅力和影响力。在过去,我们常用的存储单位是MB和GB,如今我们已经逐渐迈入PB甚至是EB的时代。关于大数据的确切定义,目前尚无统一公认的说法。比如,全球领先的管理咨询公司麦肯锡给出的大数据定义是:“一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。”除了麦肯锡提出的四大特征之外,IBM公司增加了一个真实性(Veracity)特征。著名研究机构Gartner给出的定义是:“大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。”在维克托·迈尔·舍恩伯格和肯尼斯·库克耶编写的《大数据时代》中指出:“大数据是指不用传统的随机分析法(即抽样调查)这样的捷径,而是采用所有数据进行分析处理。”全球最大的数据中心IDC则侧重从技术角度说明其概念:“大数据处理技术代表了新一代的技术架构,这种架构通过高速获取数据并对其进行分析和挖掘,从海量且形式各异的数据源中更有效地抽取出富含价值的信息。”综合各种观点,简单来说,所谓大数据就是现有的一股技术难以管理的大量数据的集合。比如,目前关系型数据库无法进行管理的具有复杂结构的数据,或者量太大导致查询时间超出允许范围的庞大数据。大数据技术的战略意义不仅在于掌握庞大的数据信息,而在于对这些含有意义的数据进行专业化处理。换言之,如果把大数据比作一种产业,那么这种产业实现盈利的关键就在于提高对数据的“加工能力”,通过“加工”实现数据的“增值”。从具备“4V”特征的大量数据中挖掘出高价值知识和洞见,是各界对于大数据的一个共识。
来源:公众号企业信息化规划
原文链接:
//shuzhiren.com/post/38097.html