学习框架设计方案交流,框架设计思路

0 2024-09-04 06:34:33

大家好,今天小编关注到一个比较有意思的话题,就是关于学习框架设计方案交流的问题,于是小编就整理了1个相关介绍学习框架设计方案交流的解答,让我们一起看看吧。

大数据的框架主要学习和使用什么呢?

你说的应该是大数据平台中的主流框架,我列举一下:

学习框架设计方案交流,框架设计思路

(一)Hadoop生态圈

  • HDFS:分布式文件系统,解决大数据的存储
  • Yarn(MapReduce):分布式计算框架,解决大数据的计算
  • Hive:Hadoop中的数据分析引擎,支持SQL
  • HBase:基于HDFS的NoSQL数据库
  • ZooKeeper:分布式协调服务,可以用于实现HA(高可用架构)
  • 其他
  • (二)Spark生态圈
  • Spark Core:Spark的核心,用于离线计算
  • Spark SQL:Spark的数据分析引擎,支持SQL语句
  • Spark Streaming:Spark的流式计算引擎,但本质依然是离线计算
  • MLlib:机器学习框架
  • (三)Flink生态圈
  • Flink DataSet:Flink批处理(离线计算)API
  • Flink DataStream:Flink流处理(实时计算)API
  • Flink Table&SQL:Flink的数据分析引擎,支持SQL语句
  • MLlib:机器学习框架

消息队列很多:

1、RabbitMQ

RabbitMQ 2007年发布,是一个在AMQP(高级消息队列协议)基础上完成的,可复用的企业消息系统,是当前最主流的消息中间件之一。

2、ActiveMQ

ActiveMQ是由Apache出品,ActiveMQ 是一个完全支持JMS1.1和J2EE 1.4规范的 JMS Provider实现。它非常快速,支持多种语言的客户端和协议,而且可以非常容易的嵌入到企业的应用环境中,并有许多高级功能

3、RocketMQ

RocketMQ出自 阿里公司的开源产品,用 Java 语言实现,在设计时参考了 Kafka,并做出了自己的一些改进,消息可靠性上比 Kafka 更好。RocketMQ在阿里集团被广泛应用在订单,交易,充值,流计算,消息推送,日志流式处理等

4、Kafka

Apache Kafka是一个分布式消息发布订阅系统。它最初由LinkedIn公司基于独特的设计实现为一个分布式的提交日志系统( a distributed commit log),,之后成为Apache项目的一部分。Kafka系统快速、可扩展并且可持久化。它的分区特性,可复制和可容错都是其不错的特性。

到此,以上就是小编对于学习框架设计方案交流的问题就介绍到这了,希望介绍关于学习框架设计方案交流的1点解答对大家有用。

上一篇: 宝马车档位设计方案,宝马车档位设计方案图
下一篇: 银川电焊网设计方案,银川电焊网设计方案公司
相关文章
返回顶部小火箭