欢迎光临咸阳新闻网! 设为首页| 加入收藏
 
A1副本.jpg
您的位置:咸阳新闻网 > 图片

盘点大数据开源软件Google Trends指数

2019/9/11 21:19:54     来源:咸阳日报

盘点大数据开源软件Google Trends指数,在 QCon2016 北京站上,Druid 开源项目的负责人,Imply 联合创始人 Fangjin Yang 分享了题为 《Evolution of Open Source Data Infrastructure》的主题演讲大数据开源技术演进,探讨了开源大数据世界的发展和方向。作为引申,我们希望在此基础上,利用 Google Trends 的趋势分析能力对一些热门开源工具做了一一搜索、对比和排名。

因为大数据令人惊讶的高速发展以及知识局限性,本文没有(也不可能)列举出这个生态圈里的所有开源类型,比如机器学习、数据挖掘等等无法一一罗列,也无意涵盖所有大数据牵涉的各个角落,比如 OpenStack、Docker 等相关大热门。这里推荐了一些比较流行的开源产品,希望能引起大家兴趣和关注。在内容介绍上,因为它们大都耳熟能详,也仅仅是抛砖引玉的对每一款产品做了简单的描述,这些描述基本来自官网介绍以及各类技术网站的推介。

调度与管理服务

Azkaban是一款基于 Java 编写的任务调度系统任务调度,来自 LinkedIn 公司,用于管理他们的 Hadoop 批处理工作流。Azkaban 根据工作的依赖性进行排序,提供友好的 Web 用户界面来维护和跟踪用户的工作流程。

\

YARN是一种新的 Hadoop 资源管理器,它是一个通用资源管理系统,可为上层应用提供统一的资源管理和调度,解决了旧 MapReduce 框架的性能瓶颈。它的基本思想是把资源管理和作业调度/监控的功能分割到单独的守护进程。

\

Mesos是由加州大学伯克利分校的 AMPLab 首先开发的一款开源群集管理软件,支持 Hadoop、ElasticSearch、Spark、Storm 和 Kafka 等架构。对数据中心而言它就像一个单一的资源池,从物理或虚拟机器中抽离了 CPU,内存,存储以及其它计算资源, 很容易建立和有效运行具备容错性和弹性的分布式系统。

\

Ambari作为 Hadoop 生态系统的一部分,提供了基于 Web 的直观界面,可用于配置、管理和监控 Hadoop 集群。目前已支持大多数 Hadoop 组件,包括 HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop 和 Hcatalog 等。

\

ZooKeeper是一个分布式的应用程序协调服务,是 Hadoop 和 Hbase 的重要组件。它是一个为分布式应用提供一致性服务的工具,让 Hadoop 集群里面的节点可以彼此协调。ZooKeeper 现在已经成为了 Apache 的顶级项目,为分布式系统提供了高效可靠且易于使用的协同服务。

\

Thrift在 2007 年 facebook 提交 Apache 基金会将 Thrift 作为一个开源项目,对于当时的 facebook 来说创造 thrift 是为了解决 facebook 系统中各系统间大数据量的传输通信以及系统之间语言环境不同需要跨平台的特性。

\

Chukwa是监测大型分布式系统的一个开源数据采集系统,建立在 HDFS/MapReduce 框架之上并继承了 Hadoop 的可伸缩性和可靠性,可以收集来自大型分布式系统的数据,用于监控。它还包括灵活而强大的显示工具用于监控、分析结果。

\
相关阅读:
广州自考网 http://www.gzlhhg.com.cn/

网站简介 | 版权声明 | 联系我们 | 广告服务 | 工作邮箱
新闻刊载许可:国新办发函[2003]01号   广播电视节目制作经营许可证:(宁)字第056号
主管单位:咸阳市委宣传部 主办单位:咸阳日报社 
Copyright © 2003-2014 咸阳新闻网 All rights reserved