1、数据体积大
bit byte kb mb gb tb pb eb zb yb bb nb
2、使用非传统的技术架构解决随着数据量增大带来的传统技术所无法解决数据存储和计算的问题。
主要围绕两个问题来展开?
数据的存储
数据不再是集中式的存储,而是分布式的存储
数据的计算
数据不再是集中式的计算,而是分布式的存储
分布式是什么?
集群
由多台计算机组成的统一的大型应用,可以分为集中式和分布式集群。
集中式集群
这每一台计算机中部署的内容都一致,这种方式可以非常好的做到容灾,但是每台机器的负载都比较高。
分布式集群
每一台计算机中部署的内容不尽一致,只是该应用的一个方面或者其中的一个模块,同样也能够做到有效容灾容错,
同时可以有效的降低机器之间的负载。
分布式的存储
一个文件File有3G
3台机器A、B、C
A存储一分部分part1--1G
B存储一分部分part2--1G
C存储一分部分part3--1G
文件在每一台计算机上面存储的位置、存放的是该文件的哪一个部分[offset, length]
为了防止我们的数据的丢失,损坏,机器宕机等等原因,需要进行数据的容灾,高可用
就需要对其中的数据进行备份,比如有一个备份
A存储一分部分part1和part2
B存储一分部分part2和part3
C存储一分部分part3和part1
分布式的计算
1+...+1000=?
假如每一台计算机的计算能力,只能计算100个数字的相加
1+...+100 ---->x
101+...+200 ---->y
...
900+...+1000---->z
x+y+...+z==
本站仅提供存储服务,所有内容均由用户发布,如发现有害或侵权内容,请
点击举报。