打开APP
userphoto
未登录

开通VIP,畅享免费电子书等14项超值服

开通VIP
华为拥抱开源 Alluxio:内存将成重要战略平台

华为公司近日宣布将利用自家 FusionStorage 产品与 Alluxio 开源软件实现大数据分析加速 ; 此举相信能够为令人昏昏欲睡的缓慢数据分析流程带来一股新风。

Alluxio 此前曾名为 Tachyon Nexus,是一家由 Andreessen Horowitz 资助的初创企业。

FusionStorage 则属于华为公司旗下的分布式软件定义存储系统。其最新 FusionStorage 6.0 支持分布式块、文件与对象存储,同时可对数据进行分类、加密与重复数据删除。

Alluxio 公司的软件产品是一套以内存为中心的虚拟分布式存储系统。其功能相当于为 HDFS 节点集合等远程存储系统提供一套本地缓存。其基于本地节点集群运行,而各本地节点则供运行有大数据分析与查询任务的计算节点进行访问。

该软件提供:

· 配合自动数据放置的分层式存储机制 ( 包括内存、闪存与磁盘 ) 。

· 配合透明化命名机制的单一命名空间。

· 可集成原生 S3、谷歌 Cloud Storage、OpenStack Swift、阿里巴巴 OSS、微软 Azure Blob 等存储方案。

· Fuse Connector,采用键 - 值接口。

· 一条命令即可完成集群部署。

· 具备指标报告功能。

Alluxio 支持多种不同底层 ( 远程 ) 存储系统,具体包括 HDFS、Gluster、S3、OpenStack、GCS、NFS、OrangeFS、IBm Spectrum Scake、Ceph、Isilon 等等。

百度公司在 Alluxio 的帮助下将 Spark 查询速度提升了 30 倍。原本需要 15 分钟才能完成的批量查询如今不到 30 秒即可搞定,而且一套 1000 用户 Alluxio 集群能够提供超过 50 TB 内存空间。

巴克莱银行亦在运行查询的计算节点与 Teradata 数据存储库之间采用 Alluxio 软件,从而将原本需要数小时的 Spark 任务加速至仅需要数秒。

听起来确实很有搞头。我们认为华为公司及其物联网 / 云战略确实能够与 Alluxio 实现良好配合。感兴趣的朋友亦可点击此处与此处分别查看 Alluxio 项目及其演示材料。

原网页已经由 ZAKER 转码以便在移动设备上查看查看原文

本站仅提供存储服务,所有内容均由用户发布,如发现有害或侵权内容,请点击举报
打开APP,阅读全文并永久保存 查看更多类似文章
猜你喜欢
类似文章
一张图解密华为FusionStorage Block分布式存储软件
主流超融合基础架构厂商产品与技术比较分析
陌陌:使用Spark SQL和Alluxio加速Ad Hoc查询
【电子世界】谁说硬盘坏了就要丢数据的?
华为虚拟化到底是个什么东西?
争议 | 这些分布式存储产品谁更胜一筹?FusionStorage、XSKY、Ceph、vSAN、S...
更多类似文章 >>
生活服务
热点新闻
分享 收藏 导长图 关注 下载文章
绑定账号成功
后续可登录账号畅享VIP特权!
如果VIP功能使用有故障,
可点击这里联系客服!

联系客服