UDN-企业互联网技术人气社区

板块导航

浏览  : 1262
回复  : 0

[其它] 华为拥抱开源Alluxio

[复制链接]
胭脂粉的头像 楼主
发表于 2016-9-21 09:57:33 | 显示全部楼层 |阅读模式
  华为公司近日宣布将利用自家FusionStorage产品与Alluxio开源软件实现大数据分析加速;此举相信能够为令人昏昏欲睡的缓慢数据分析流程带来一股新风。

  
liovCD2qgvTAY_600.jpg


  Alluxio此前曾名为TachyonNexus,是一家由AndreessenHorowitz资助的初创企业。

  FusionStorage则属于华为公司旗下的分布式软件定义存储系统。其最新FusionStorage6.0支持分布式块、文件与对象存储,同时可对数据进行分类、加密与重复数据删除。

  Alluxio公司的软件产品是一套以内存为中心的虚拟分布式存储系统。其功能相当于为HDFS节点集合等远程存储系统提供一套本地缓存。其基于本地节点集群运行,而各本地节点则供运行有大数据分析与查询任务的计算节点进行访问。

  该软件提供:

  ·配合自动数据放置的分层式存储机制(包括内存、闪存与磁盘)。

  ·配合透明化命名机制的单一命名空间。

  ·可集成原生S3、谷歌CloudStorage、OpenStackSwift、阿里巴巴OSS、微软AzureBlob等存储方案。

  ·FuseConnector,采用键-值接口。

  ·一条命令即可完成集群部署。

  ·具备指标报告功能。

  
liIrj7aN3uyw_600.jpg


  
liQUH40YcoHfI_600.jpg


  Alluxio支持多种不同底层(远程)存储系统,具体包括HDFS、Gluster、S3、OpenStack、GCS、NFS、OrangeFS、IBmSpectrumScake、Ceph、Isilon等等。

  
liBRR0vrilc8A_600.jpg


  百度公司在Alluxio的帮助下将Spark查询速度提升了30倍。原本需要15分钟才能完成的批量查询如今不到30秒即可搞定,而且一套1000用户Alluxio集群能够提供超过50TB内存空间。

  巴克莱银行亦在运行查询的计算节点与Teradata数据存储库之间采用Alluxio软件,从而将原本需要数小时的Spark任务加速至仅需要数秒。

  听起来确实很有搞头。我们认为华为公司及其物联网/云战略确实能够与Alluxio实现良好配合。感兴趣的朋友亦可点击此处与此处分别查看Alluxio项目及其演示材料。

文章来源:至顶网
文章作者:孙斌

相关帖子

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关于我们
联系我们
  • 电话:010-86393388
  • 邮件:udn@yonyou.com
  • 地址:北京市海淀区北清路68号
移动客户端下载
关注我们
  • 微信公众号:yonyouudn
  • 扫描右侧二维码关注我们
  • 专注企业互联网的技术社区
版权所有:用友网络科技股份有限公司82041 京ICP备05007539号-11 京公网网备安1101080209224 Powered by Discuz!
快速回复 返回列表 返回顶部