评估大数据基础架构的重大因素

1. 评估大数据基础架构的重大因素

评估大数据基础架构的重大因素
随着IT行业持续地灌输廉价存储的优势，企业较以往拥有者更多的数据，那么在评估大数据基础架构的过程中需要深入地调查哪些因素。本篇涉及到了在容量、延迟、访问性、安全性和成本这些重要因素的评估。

　　大数据发展的驱动因素
　　除了存储比以往更多的数据，我们所面临的数据种类也变得更加繁杂。这些数据源包括互联网事务交易、社交网络的活动、自动化传感器、移动设备以及科研仪器等。除了静态的数据增长方面，事务交易也会保持一个固定的数据"增长速度".例如飞速增长的社交信息所产生的大量交易事务和记录。不过现有的不断扩大数据集无法确保能够为业务搜索出有价值的信息。
　　当今的信息是一项重要的生产因素
　　数据业已成为了一种生产资料，就如何资本、劳动力和原始材料那样，而且也不限于某一行业内的特定应用。企业中所有部门都旨在整合比较越来越多的数据集合，致力于降低成本、提升品质、增强生产能力以及开发新产品。举例来说，对于现场产品的直接数据分析有助于提升设计。又例如企业可以通过对用户习惯的深入分析，比较整体市场的增长特性，大幅提升自己在竞争分析方面的能力。
　　存储发展的必要性
　　大数据意味着数据的增长超过了其本身的基础架构，这驱动着应对这些特殊挑战的存储、网络和计算系统进一步的发展。软件应用需求最终推动了硬件功能的发展，同时在这种情况下，大数据分析的处理过程正在影响着数据存储基础架构的发展。这对于存储和IT基础架构企业而言是一项机遇。随着结构化和非结构化数据集的持续增长，这类数据的分析方式也更为多样化，当前的存储系统设计难以应对大数据基础架构所需。存储供应商已经开始推出基于数据块和基于文件的系统来应对许多这方面的需求。以下列出了一些大数据存储基础架构的特性，这些都是源自大数据的挑战。
　　容量。"大"在很多时候可以理解为PB级别的数据，因此大数据基础架构当然要能够可以扩展。不过其同样必须能够简易地完成扩展，以模块化或阵列的方式为用户直接增加容量，或者至少保持系统不会宕机。横向扩展式存储由于能够满足这种需求，变得十分流行。横向扩展集群体系架构的特征是由存储节点构成，每个节点具备处理能力和可连接性，可以无缝地扩展，避免传统系统可能产生的烟囱式存储的问题。
　　大数据还意味着大量的文件。管理元数据文件系统的累计会降低可扩展性并影响性能，用传统的NAS系统就会在这种情况下出现问题。基于对象的存储体系架构则通过另一种方式，支持在大数据存储系统中扩展至十亿级别的文件数量，而不会产生传统文件系统中会遇到的负载问题。基于对象的存储可以在不同的地理位置进行扩展，可以在多个不同地点扩展出大型的基础架构。
　　延迟。大数据基础架构中或许同样会包含实时性的组件，尤其是在网页交互或金融处理事务中。存储系统必须能够应对上述问题同时保持相应的性能，因为延迟可能产生过期数据。在这一领域，横向扩展式基础架构同样能够通过应用存储节点集群，随着容量扩展的同时增强处理能力和可连接性。基于对象的存储系统可能并发数据流，更大程度上改善吞吐量。

2. 企业应该如何在大数据基础架构方面做出选择

企业应该如何在大数据基础架构方面做出选择
如果询问十家公司他们为了运行大数据负载需要使用怎样的基础架构，那么可能会得到十种不同的答案。现在这个领域当中几乎没有可以遵循的原则，甚至没有可以参考的最佳实践。
不管是从资源还是从专业性方面来说，大数据分析已经成为基础架构领域当中真正的难题。顾名思义，大数据分析工具所针对的数据集合，规模将会非常庞大，并且需要大量的计算、存储和网络资源来满足性能需求。但是这些大数据工具通常是由超大规模企业开发的，这些企业并不存在普通企业需要考虑的同等级安全问题和高可用性问题，而主流IT企业还没有深入了解这些工具，再加上大数据在投资回报率方面的不确定性，导致只有非常少的企业愿意在大数据方面进行投入。
此外，即便对于曾经在Hadoop、Spark和类似产品上运行过大数据集群的部分企业来说，也会在大数据基础架构方面遇到技术和业务方面的挑战。
大数据带来大问题
一家大型远程通讯提供商正在构建一种新的数字服务，预计在今年年底正式推出，并且准备使用Hadoop来分析这种服务所产生的内容、使用情况和收入（广告服务）数据。但是由于这种服务是全新的，因此很难分析应该使用哪种大数据基础架构，负责这个项目的技术副总裁表示。
“对于一个还没有推出的项目来说，我们不可能进行任何容量规划，”他说。
确实，现在很多大数据项目仍然处于初级阶段。“大多数大数据项目的性质比我们想象的还要低，” 可扩展存储基础架构提供商Coho Data CTO Andrew Warfield表示。
即便企业还不是十分了解大数据技术，但这并不意味着企业不应该在大数据方面投入精力。“但是运行这种技术可能面临着很大风险，提前认识到这点非常重要，” Warfield说，他认为企业应该提前考虑基础架构方面的因素。
对于这家远程通讯提供商来说，他们将会采用一种渐进的方式，使用来自于BlueData Software的软件在商用硬件环境当中运行大数据集群，这样就能够从现有的存储系统上访问数据了。
无处不在的数据
如果数据来自于云，那么当然可以直接在云中进行分析；如果数据全部位于本地，那么底层的基础架构也应该位于本地。但是如果数据分散在不同位置，那么无疑会使得基础架构更加复杂。
远程通讯提供商的服务将会同时使用来自于云和本地的数据。对于任何大数据解决方案来说，考虑到合规性、节省时间和网络带宽等因素，能够同时支持两种数据来源都是十分重要的。“同步生产环境当中的数据是一件非常困难的事情，”这位副总裁说，“我们希望将所有的实例全都指向一个单一数据源。”
此外，虽然数据科学家想要分析的信息是可用的，但是现在还不能进行使用，因为其位于大数据计算工具无法访问的存储基础架构当中，Warfield说。一种解决方案是存储硬件使用Hadoop Distributed File System或者RESTful API这样的协议公开这些数据。
注意延迟
对于特性类型的大数据分析来说，将数据从存储阵列移动到计算环境所花费的时间将会对性能造成严重影响。但是如果不将数据跨越整个网络移动到计算环境当中，而是将应用程序移动到数据附近以降低延迟，将会怎样呢？
将计算环境移动到数据附近并不是一种全新的概念，但是现在出现了一种前所未有的实现方式：Docker。比如Coho Data和Intel通过合作证明了这种概念的有效性，在一个大型金融服务公司当中，使用Docker格式封装计算节点，之后在上面直接运行Hadoop负载。
在存储阵列上直接运行Docker容器，这样做的意义在于直接对附近的数据进行分析，而不再需要跨网络移动数据，同时利用任何可用的计算资源。“相比于其他存储平台来说，大数据平台的CPU使用率通常会很高，” Warfield说。“更何况如果你将闪存加入其中，那么问题就会变成‘我该如何从这种资源当中获得更多价值？’”
直接在存储阵列当中运行容器化应用程序是一件非常有趣的事情，但是需要提前对负载进行认真评估，以确保其能够很好地适应当前环境，为建筑行业提供文档管理服务的Signature Tech Studios公司副总裁Bubba Hines说。这种服务基于Amazon Web Services，使用来自于Zadara Storage的存储服务。这家公司最近开始评估新的Zadara Container Service，其中容器化应用程序运行在存储阵列上，可以直接访问本地磁盘。根据Hines的想法，现在有几种可能的使用情况：在存储阵列上运行其灾难恢复软件的容器版本来持续监控用户数据和工作方面的变化，更改或者验证主要存储数据。
但是如果使用Zadara Container Service处理全部数据将没有什么意义。Signature Tech Studio的系统正在按照计划执行数据转换，并且已经实现大规模容器化了。但是“我们可能不会将所有Docker容器移动到Zadara容器服务当中，因为从体积和规模方面考虑这样做并没有意义，”Hines说。“我们必须寻找能够真正从降低延迟当中获利的负载。”
以上是小编为大家分享的关于企业应该如何在大数据基础架构方面做出选择的相关内容，更多信息可以关注环球青藤分享更多干货

3. 关于大数据架构的相关知识

随着科技的发展和社会的进步，大数据、人工智能等新兴技术开始进入了我们的生活。我们已经从信息时代跨入了大数据时代，而大数据是一个十分火热的技术，现如今大数据已经涉及到了各行各业的方方面面。但是目前而言，很多人对于大数据不是十分清楚，下面我们就给大家讲一讲大数据的架构知识。
1.大数据架构的特点
一般来说，大数据的架构是比较复杂的，大数据的应用开发过于偏向底层，具有学习难度大，涉及技术面广的问题，这制约了大数据的普及。所以我们必须开发一种技术，把大数据开发中一些通用的，重复使用的基础代码、算法封装为类库，降低大数据的学习门槛，降低开发难度，提高大数据项目的开发效率。
2.大数据在工作的应用
大数据在工作中的应用有三种，第一种就是与业务相关，比如用户画像、风险控制等。第二种就是与决策相关，数据科学的领域，了解统计学、算法，这是数据科学家的范畴。第三种就是与工程相关，如何实施、如何实现、解决什么业务问题，这是数据工程师的工作。由此可见大数据是一门高深的学问。
3.对数据源的分类
根据数据源的特点，我们可以把数据源分为四大类。第一类就是从来源来看分为内部数据和外部数据，第二类就是从结构来看分为非结构化数据和结构化数据，第三类就是从可变性来看分为不可变可添加数据和可修改删除数据，第四类就是从规模来看分为大量数据和小量数据。这四类将大数据的数据源表达的淋漓尽致。完善了大数据的数据源。
4.为什么重视数据源？
为什么大数据平台十分重视数据源呢？这是因为大数据平台第一个要素就是数据源，我们要处理的数据源往往是在业务系统上，数据分析的时候可能不会直接对业务的数据源进行处理，而是先经过数据采集、数据存储，之后才是数据分析和数据处理。所以大数据平台十分重视数据源。
在这篇文章中我们给大家介绍了大数据架构的具体知识，大体包括大数据架构的特点、大数据在工作的应用、对数据源的分类、为什么重视数据源，希望这篇文章能够帮助大家更好地理解大数据。

4. 大数据工程师使用的大数据技术架构发生了哪些变化

【导读】作为大数据工程师，进行数据分析的时候，不可能是采用人工进行的，而是需要借助一定的工具进行，那就是大数据技术工具。近年来，大数据分析技术兴起，而将大数据分析技术运用到企业品牌的营销上却并没有实行太久，大数据技术对各个行业的发展都产生了很大的影响，那么大数据工程师使用的大数据技术架构发生了哪些变化呢?一起来了解一下吧。
1、从本地数据平台到基于云的数据平台
云可能是一种全新的数据架构方法的具颠覆性的推动力，因为它为公司提供了一种快速扩展人工智能工具和功能以获取竞争优势的方法。
2、从批处理到实时数据处理
实时数据通信和流媒体功能的成本已大大降低，这为其主流使用铺平了道路。这些技术实现了一系列新的业务应用：例如，运输公司可以在出租车到达时向客户提供精确到秒的抵达时间预测;保险公司可以分析来自智能设备的实时行为数据，从而将费率客制化;而且制造商可以根据实时的传感器数据来预测基础设施方面的各种问题。

3、从预集成的商业解决方案到模块化的同类佳平台
为了扩展应用程序的规模，公司往往需要冲破大型解决方案供应商所提供的遗留数据生态系统的限制。现在，许多公司正朝着高度模块化的数据架构发展，这种架构使用了佳的，经常使用的开源组件，这些组件可以根据需要被新技术替换而不会影响数据架构的其他部分。
4、从点对点到脱离数据访问
人们可以通过API来揭露数据，这样可以确保直接查看和修改数据的做法是受限且安全的，同时还可以让人们更快地访问常见的数据集。这使得数据可以在团队之间轻松得到重用(reused)，从而加速访问并实现分析团队之间的无缝协作，从而可以更高效地开发各种人工智能用例。
以上就是大数据技术架构变化详情，就给大家分析到这里了，希望对大家能有所帮助，作为一名大数据工程师，还是希望大家学习一些多元化的大数据技术，帮助企业更好的进行企业决策等等。

5. 大数据技术架构都有哪些变化?

1.从本地数据平台到基于云的数据平台
云可能是一种全新的数据架构方法的具颠覆性的推动力，因为它为公司提供了一种快速扩展人工智能工具和功能以获取竞争优势的方法。
2.从批处理到实时数据处理
实时数据通信和流媒体功能的成本已大大降低，这为其主流使用铺平了道路。这些技术实现了一系列新的业务应用：例如，运输公司可以在出租车到达时向客户提供精确到秒的抵达时间预测;保险公司可以分析来自智能设备的实时行为数据，从而将费率客制化;而且制造商可以根据实时的传感器数据来预测基础设施方面的各种问题。
3.从预集成的商业解决方案到模块化的同类佳平台
为了扩展应用程序的规模，公司往往需要冲破大型解决方案供应商所提供的遗留数据生态系统的限制。现在，许多公司正朝着高度模块化的数据架构发展，这种架构使用了佳的，经常使用的开源组件，这些组件可以根据需要被新技术替换而不会影响数据架构的其他部分。
4.从点对点到脱离数据访问
人们可以通过API来揭露数据，这样可以确保直接查看和修改数据的做法是受限且安全的，同时还可以让人们更快地访问常见的数据集。这使得数据可以在团队之间轻松得到重用(reused)，从而加速访问并实现分析团队之间的无缝协作，从而可以更高效地开发各种人工智能用例。
关于大数据技术架构都有哪些变化，青藤小编就和您分享到这里了。如果您对大数据工程有浓厚的兴趣，希望这篇文章可以为您提供帮助。如果您还想了解更多关于数据分析师、大数据工程师的技巧及素材等内容，可以点击本站的其他文章进行学习。