메시지 브로커란?

메시지 브로커란 

---

송신자로부터 전달받은 메시지를 수신자로 전달해주는 중간 역할을 하는 것

응용 소프트웨어 간에 메시지를 교환할 수 있게 한다

ex) Apache Kafka, Redis, RabbitMQ

---

 

 

 

메시지 브로커를 쓰는 이유(장점)

---

실시간 데이터를 처리할 때 성능이 뛰어나다

 

 

DW: 실시간으로 데이터 수집, 관리하는 서버

AS: 데이터를 가공하여 사용하는 서버

 

 

이 두 개의 서버가 있을때

보통 DW를 Oracle, MySQL과 같은 RDB에 적재하고

AS에서 이 DB를 조회해서 쓰는데,

실시간으로 최신의 데이터만 빠르게 조회할 때 사용하기 힘들다

인덱싱을 사용하면 조회 성능은 높아지지만 INSERT성능이 느려진다

 

 

그래서 메시지 브로커를 사용하면 DW에서 수집한 데이터를 바로 메시지 큐에 Publish(출판, 적재)하고,

AS는 메시지를 Subscribe(구독, 소비)하여 바로 사용하게 된다.

따라서 AS에서는 별도의 조회과정 없이, 메시지 큐에 적재되는 메시지를 바로 가져다가 사용할 수 있다

 

---

 

 

 

 

메시지 브로커의 단점

---

원하는 데이터를 필터링하기 어렵다

장기간 보관이 어렵다

 

DB를 사용하는 경우 Query를 이용하여 원하는 데이터를 필터링할 수 있지만,

메시지 브로커는 Queue에 적재된 그대로 데이터를 사용하기 때문에,

적재할 때 필터링된 데이터를 적재하던가 

적재된 데이터를 Logstash를 이용하여 필터링해서 사용해야 한다.

 

메시지 큐에 적재된 메시지는 주로 7일을 보관하기 때문에

장기간 보관해야하는 경우 별도의 저장소에 저장해야한다

---