您好!欢迎访问财经观察网,财经观察,事无巨细!

选型依据

资讯

Kafka消息中间件

Kafka是一种高吞吐量的分布式发布订阅消息系统,是一款分布式、支持分区的、多副本,基于zookeeper协调的分布式消息系统。最大的特性就是可以实时处理大量数据来满足需求。

KafKa消息中间件具有以下特点:

  1. 可靠性:分布式结构存储数据,构建多台kafkaServer集群;
  2. 可扩展性:横向扩展,机器不够加机器;
  3. 耐用性:Kafka中的数据分区存储在每台机器的磁盘上的,数据存储在Kafka中不易丢失;
  4. 性能:Kafka顺序读写硬盘策略,不使用寻址磁盘策略;

安全:使用 SSL/TLS 加密来保护数据在网络上的传输。使用密码保护 Kafka 集群,防止未经授权的访问。使用 Kafka 的认证机制,限制对 Kafka 集群的访问权限。使用审计日志记录对 Kafka 集群的访问,方便对异常行为进行审计。使用备份和恢复功能,在数据丢失或损坏的情况下恢复数据。

Kubernetes

Kubernetes(简称K8s)是一个开源的,用于管理云平台中多个主机上的容器化的应用,Kubernetes的目标是让部署容器化的应用简单并且高效(powerful),Kubernetes提供了应用部署,规划,更新,维护的一种机制。

 Kafka消息队列

Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据,有以下特性:

  1. 通过O的磁盘数据结构提供消息的持久化,这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。
  2. 高吞吐量 :即使是非常普通的硬件Kafka也可以支持每秒数百万的消息。
  3. 支持通过Kafka服务器和消费机集群来分区消息。
  4. 支持Hadoop并行数据加载。

持续集成/持续部署

kubernetes,简称K8s,是用8代替名字中间的8个字符“ubernete”而成的缩写。是一个开源的,用于管理云平台中多个主机上的容器化的应用,Kubernetes的目标是让部署容器化的应用简单并且高效(powerful),Kubernetes提供了应用部署,规划,更新,维护的一种机制。

标签: