这是关于存储经济学的系列文章中的第二篇文章。
自动分级技术给大数据出了个难题
在第一篇文章中，我们了解到自动分级技术可以如何为企业的经营节省开支。现在，我们将要探讨的是，虽然自动分级技术有很多的优势，但是它也给大数据出了个难题。你的存储是一个不断变化的目标。如果才能既享受到自动分级技术带来的优势，又能够满足大数据的需求呢？
大数据一词涵盖了很多种毫不相干的信息。一方面，很多银行会通过检查数月来的交易模式以发现欺诈交易者，另一方面，很多零售商也在积极跟踪和收集消费者的店里的行为信息，以研究消费者的购物模式。在第一个例子里，银行信息是行为的一种长期性记录，而在零售店的例子中，那些信息只在很短的时间里有用。然而，那些数据都可以被归到大数据的范畴之内。
这就自然而然地引发了大数据面临的困境，即大数据的存储问题。你会将某个元素保留多长的时间？保存在哪里？等等等等。IT业界将大数据看作是一组数据流，那些数据流一直在更新和流动。我们面临的一个难题是，我们必须高效地将数据流区分出来，然后决定针对不同的数据流采取不同的行动。我们显然不能将一切信息都保留下来，而且肯定不能将所有的信息都保存在速度超快、价格也超高的闪存设备上。
区分数据流的目的是为了兼顾管理精度和管理效率，或者说在这两者之间找到一个平衡点。我们可以为单一的目标设置政策，但在那种情况下，元数据管理的成本可能就会非常高。另一方面，LUN级别的区分可以建立起一种机制，从而一次性达成所有的目标。
首先要做的事情是为每一个数据流建立一个位置和保留政策。这将取决于那些数据被访问的速度需要达到多快的程度，还有其他的一些因素。在上述零售店的例子中，数据一旦被创建出来，它的价值就在不断流失，因为目标也许是实时创建个性化店内广告以提升营业额。在那种情况下，数据会直接进入内存中(in-memory)数据库。
其中一个难题是大数据通常都是分布在数量众多的并联服务器上。在并联服务器网络中，对不同的服务器实施不同的政策比在连网存储中对合并数据实施不同的政策要难得多。
一旦经过分析处理，数据就会被传输到永久存储中。由于内存内数据库需要非常高的带宽，因此它必须使用闪存或是快速固态硬盘。其中一个原因是，在数据恢复过程中，利用其它技术重新加载高达TB级的数据所需的时间可能会长达数个小时。但是，当数据流被丢弃或储存到价格低廉、容量巨大的存储系统中时，显然是需要很多时间的。
数据分析还会从原始数据中创造出新的数据流，这个过程也应该是受控的。这些数据流的价值评估和保留政策通常会因为原始数据的不同而不同。
由于并行数据流的数量太大，因此整个控制机制必须是自动化的。这就是自动分级技术进入该领域的原因。这是一种在大型系统中有选择性地自动移动数据的方法。
自动分级技术控制着所有的数据，对于正在使用的服务器来说它就是一个资源池。在那个资源池中，也许有纯闪存阵列、固态硬盘和廉价硬盘，甚至还可以将磁带库也包含进去。可以通过存储虚拟化来增加资源池的容量。数据移动则通过一系列政策来控制。
创建以及随后执行这些政策是一项实质性努力，它需要使用LUN层级的政策而非对象层级的政策，但是在很多情况下，应该使用的却是对象层级的政策。政策可以由超大规模数据环境下的分析应用来创建以减少人工干预和出错的概率，或者由自动分级软件自己去控制。
自动分级的结果应当是相对可预见的，而且在各个数据流之间实现平衡。从经济的角度来说，这会对安装成本造成一定的影响。最近云市场的服务价格发生了一些变化，那些变化表明使用消费级SATA硬盘的大容量存储服务是非常经济的。
硬盘价格很可能会呈现出分级的现象，每台服务器中的PCIe 固态硬盘(每TB容量3000美元)将位于最高级，随后是容量相对更大但速度相对较慢的多级单元SATA 固态硬盘(每TB容量500美元到1000美元)，最后是容量巨大的SATA硬盘(每TB容量100美元)。现在的自动分级技术或许很难将最顶级的本地固态硬盘融合到存储资源池中，但是虚拟存储局域网和软件定义存储已经开始解决那个问题了。
由于物联网的发展，我们已经看到感应器大爆炸时代即将来临的迹象，业内观察员们预计，数据流将大幅增长。以自动分级和压缩为关键功能的数据管理和存储虚拟化对大数据的处理很重要。
在第三篇文章中，我们将探讨用于储存最热数据的存储设备价格的下降将如何改变存储层级工艺。
在本系列文章的第二篇文章中，我们探讨了尽管拥有诸多好处的自动分级技术将如何给大数据带来难题。在这里，我们将讨论你的存储层级工艺将随着保存最热数据的存储介质即闪存的成本下降而发生什么样的变化，以及如何实现那些变化。
当我们慢慢熟悉新的分级概念即用固态硬盘储存最活跃的数据而用传统大容量硬盘储存不活跃的数据时，性能和价格就成为我们挑选产品和优化成本时考虑的主要因素了。
在传统硬盘上，容量正变得越来越大。我们现在已经有容量高达6TB的硬盘了，从表面上来说，这当然是好事。我们估计传统硬盘的每TB成本还会继续下降。这固然值得欣喜，但是每TB容量的IOPS性能也在继续下降。现在的每TB容量IOPS性能数只有1990年时容量为9GB的硬盘的六百分之一了，不管从哪个角度来说，这都相当慢。
在使用企业级硬盘上一直存在着争议，企业级硬盘最近性能大幅提升，这样就可以降低存取速度最快的存储层级的成本，但是这也存在每TB容量性能下降的问题。
固态硬盘技术正在快速发展。我们现在有一级方程式赛车级的存储产品，包括纯闪存阵列、闪存加速卡和非易失性存储主机控制器接口NVMe硬盘。同时，企业静态分析系统(SAS)固态硬盘和消费者多级单元(MLC)固态硬盘将因为更强大的SATA硬盘而得到增强。解决这些问题是很难的，尤其是厂商们现在把宣传的重点放在云上面。
要想让这些合理化，我们需要一个三级存储架构。最顶层也就是存取速度最快的层级要么使用NVMe周边组件互联快速接口(PCIe)的固态硬盘，要么使用服务器内部的闪存加速卡。NVMe是一种非常新的技术，首款产品近期才刚刚发布。但它得到了很好的支持。闪存卡已经上市有一段时间了。
这些顶级存储解决方案都在服务器内部，内存内数据库和分析需要巨大的信息流通率。顶级存储的第三类产品是纯闪存阵列，它可以为SAN提供数百万级的IOPS性能。这是加速现有传统硬盘存储局域网(SAN)的一个不错的选择，或作为虚拟化中的服务器镜像来使用也不错。
第二层级就相对困难一些。这在两年前是单级单元(SLC)固态硬盘和企业级硬盘的领地，但是现在我们有更多的选择了。单级单元的成本很高，多级单元的使用寿命有了长足的进步，它已经成为可选方案之一。最新的多级单元硬盘每天可以写入的数据量已经增加到1PB以上，这就让它们进入主流应用创造了条件。
最新的SATA多级单元硬盘是SAS企业级硬盘的一个不错的替代方案，它在随机IO性能上是后者的1000倍。它的价格已经与企业级硬盘的价格差不多了，而且将继续以每年20%的速度递减。
高端消费者级固态硬盘的性能与这些固态硬盘的性能都差不多，但是价格要便宜很多。一款容量为1TB的消费者级固态硬盘的价格大约只有相同容量的企业级硬盘价格的60%左右。这类硬盘适用于大多数中端服务器存储市场，性价比很高。最近发布的企业级SATA固态硬盘已经证实了这一点，不同价位的产品只是在写耐用性上有所不同。
第三层级是大容量存储层。这里储存的数据大多数不活跃的数据，但是通常情况下也不是完全不会被存取的数据。这就要求将它们储存在磁盘上，因为磁带的存取速度实在是太慢了。问题是：我们是将它们储存在固态硬盘上还是传统硬盘上呢？乍一看这个问题很简单。传统硬盘的价格相对更便宜，廉价SATA传统硬盘的零售价在每TB容量100美元以下。
但是这些传统硬盘的存取速度都比较慢。得益于三维封装和设备结构的发展，固态硬盘的价格有望在未来几年降至低端传统硬盘的水平。与此同时，固态硬盘价格的下降可以让第二层级最低级的产品进入到第三层级中来。换句话说，自动分级技术将数据丢出第二层级的分界点将会下移，将会有越来越多的数据被储存在第二层级之中。
自动分级技术可以利用这个三级存储结构去自动管理数据存储，因此并不会显著增加操作上的复杂程度。总的来说：
· 第一层级为需求最高的应用提供性能，而且现在它们的价格已经下跌到足以成为行业标准的低水平上了。
· 第二层级为大多数应用提供性价比最高的存储解决方案，价格越来越低的SATA固态硬盘将进一步优化成本。消费者级固态硬盘也许可以满足那些不太强烈的需求，而且还有可能取代第三层级中的硬盘。
· 第三层级将在未来的几年里继续由廉价的消费者级SATA传统硬盘构成，但是多级单元产品价格的不断下滑会让第二层级与第三层级的分界点随着时间不断下移。
固态硬盘技术仍在向前发展，它必将成为各级存储层级的主流解决方案。我们不需要等待新技术来解决成本和磨损问题。现在的固态硬盘已经能够完成那些任务了。
联系客服
