IT 지식 저장소

이번에는 조금 특별하게 docker-compose를 사용해서 Kafka를 Docker환경에서 실행하려 합니다. 저에 경우에는 CentOS 관련 스터디를 진행할때 docker-compose를 사용해봤었습니다. 사용하면서 느꼈던 점은, 정말 내가 불편하다고 느끼는 것은 이미 전부 구현되어 있구나 라는 생각이 들었습니다. 그래서 제가 느낀점을 바탕으로 간략하게 정리해볼게요! #docker-compose 🚀 Docker 안에 내재되어있지는 않음, 따로 설치를 해야함 🚀 여러 Container를 일괄적으로 실행 시킬 수 있음 🚀 기존에 Container 실행 시 설정한 -p -e 옵션 등을 미리 yml 파일에 저장해둔 상태로 실행 할 수 있음 위 내용이 compose의 가장 큰 특징이고 사실상 전부입니다. Con..

#개요 이번 시간에는 Apache Kafka에서 Topic을 생성하고, 해당 토픽을 통해서 Producer와 Consumer의 역할을 알아보려 합니다. 가장 기본적인 내용이지만, 가장 중요한 내용이기도 해서 최대한 열심히 정리해보겠습니다. #Kafka 커맨드 정리 토픽 생성을 위한 커맨드를 미리 정리하고 실습을 진행하겠습니다. 해당 커맨드는 정리용이니 참고만 해주세요. 📄 Zookeeper 및 Kafka 서버 구동 $KAFKA_HOME/bin/zookeeper-server-start.sh $KAFKA_HOME/config/zookeeper.properties $KAFKA_HOME/bin/kafka-server-start.sh $KAFKA_HOME/config/server.properties $KAFKA_..

Kafka는 MSA와 굉장히 밀접한 기술입니다. 대부분의 MSA 형태의 애플리케이션에는 Kafka가 들어갑니다. 저희가 흔히 쓰는 Spirng-Cloud-Nefilx 오픈소스를 개발한 Nefilx에서도 사용 중 입니다. 이번 포스팅에서는 실제로 Kafka를 설치하고 실행시켜보려 합니다. #Kafka File Download 아래의 Url에서 ApacheKafka를 받아주세요. https://kafka.apache.org/downloads Apache Kafka Apache Kafka: A Distributed Streaming Platform. kafka.apache.org Scala 2.13 버젼으로 Download를 진행해줍니다. #Cmd 환경에서 압축해제 먼저 해당 파일이 있는 위치로 이동해줍니다...

Apache Kafka Apache Kafka는 쉽게 말하면 Message Broker 시스템입니다. 그래서 Message Broker가 뭘까요? 도움을 받기위해 위키의 힘을 빌렸습니다. 메시지 브로커(message broker),인터페이스 엔진(interface engine)은 송신자의 메시지 프로토콜 형식으로부터의 메시지를 수신자의 메시지 프로토콜 형식으로 변환하는 중간 컴퓨터 프로그램 모듈이다. 메시지 브로커들은 응용 소프트웨어가 이전에 정의해둔 메시지를 교환할 수 있는 전기통신의 요소 또는 컴퓨터 네트워크이다.메시지 브로커들은 메시지 지향 미들웨어(MOM)의 빌딩 블록이지만 일반적으로 MOM과 원격 프로시저 호출 (RPC) 등의 전통적인 미들웨어를 대체하지는 않는다. 그렇군요.. 더 모르겠네요 M..

모든 서비스가 그렇듯 트래픽 초과나 서버에 과부하가 오면 느려지거나, 심한 경우 다운됩니다. 이럴 경우에는 일반적으로 LoadBalancer를 활용해 서버에 오는 부하를 줄이는 방식을 채택하게 됩니다. LoadBalancer는 똑같은 서비스지만, 다른 Port로 서버를 개방하게 해서 똑같은 역할을 하는 서비스에 일반적으로 교차로 응답을 보내며, 서버에 오는 부하를 줄이는 방식을 사용하게 됩니다. #LoadBalancer의 사용 시 흐름 LoadBalancer를 사용 시 회원이 자신의 정보를 조회 한다 했을 때, 교차로 응답을 보냅니다. 먼저 8070 Port를 참조한 뒤, 다음에 똑같은 요청이 온다면 8071 Port로 보내게 됩니다. 사용자가 하나라면 별로 쓸모가 없겠지만, 동시에 다중접속을 하게 된다..