上报原理

sqm系统的数据是应用使用kafka进行上报的,sqm系统后台把kafka上报上来的数据异步入库并分析,kafka具备以下优点:

  • 可扩展:Kafka集群可以透明的扩展,增加新的服务器进集群。
  • 高性能:Kafka性能远超过传统的ActiveMQ、RabbitMQ等,Kafka支持Batch操作。(单消费者75w记录/s,3个生产者198w记录/s
  • 容错性:Kafka每个Partition数据会复制到几台服务器,当某个Broker失效时,Zookeeper将通知生产者和消费者从而使用其他的Broker

这些优点是特别适合做监控系统日志系统的,因为sqm系统需要收集所有应用系统上报上来的数据,所以在数据量和性能上考虑使用kafka是非常适合的

results matching ""

    No results matching ""