IT 지식 저장소

이번 포스팅은 Test가 주 내용 입니다. 바로 전에 작성한 포스팅을 참고해주세요. 먼저 테스트를 위해서 실행해야할 서비스 목록입니다. Zookeeper - Server Kafka - Server Eureka - Sever( WorkSpace에서 Ecommerce라는 프로젝트) ApiGateway - Service Config - Service Order - Service Catalog - Service #Eureka Server 접속 localhost:8761 로 접속해 Eureka 대쉬보드 확인해볼게요. test에 앞서서 h2-console을 확인하려합니다. 접속하고자 하는 Service에 링크를 클릭해줍니다! 초록색 글씨로 되어있는 부분입니다. #[OrderService]/h2-console 로 접..

이제 끝이 보이고 있습니다. 물론 Back-end의 구현만 살펴보고 있지만, MSA라는 처음 보는 아키텍쳐와 함께 하면서, 여러가지를 배웠던 거 같네요. 이제 데이터 동기화를 위한 Apache Kafka의 활용법을 적용하고, 장애처리, 그리고 마지막으로 모니터링 기능까지 추가하면 끝입니다. 산더미네요... 그리고 클라이맥스로 Docker를 활용해서 모든 서비스를 하나하나 Container화를 구축할 예정이니까요. 이번 시간 부터는 다시 E-Commerce Application 을 고도화 시킬 예정입니다. 실습에 앞서서 만약 구축된 E-Commer Application이 없다면 아래의 파일들을 받아주세요 웬만하면, D: 바로 밑에 두 폴더 모두 위치시켜주시길 바랍니다. 해당 위치가 아닐 경우 Config-..

저번 시간에는 Kafka Source Connect에 대해서 알아봤습니다. Sink 는 Source와 다르게 메시지를 소비하는 역할을 하는데, 사실 저희가 Kafka를 시작하면서 배웠던 Producer와 Consumer의 개념 이랑 비슷합니다. 이제 가지고 있는 메시지를 소비하는 역할를 하는게 Sink라고 생각하시면 될 것 같습니다. #개요 실제로 Kafka Sink Connect를 구축하고, Kafka에서 DB로 저장하는 로직을 구현하려 합니다. #Sink Connect 생성 Sink Connect를 생성하는 방식은 저번에 진행했던 Source Connect의 생성방법과 크게 다르지 않습니다. 먼저 Connect 서버를 실행합니다. (기본적으로 Zookeeper와 Kafka가 실행된 상태에서 실행해주세..

저번 시간에는 Kafka Connect를 설치했습니다. 이번에는 Kafka Connect에서 Source를 설정하려합니다. Source는 Kafka 클러스터에 데이터를 전송하기전 데이터 소스들을 관리하는 중간 관리자라고 생각하면 좋을 것 같아요. #Kafka Connect Source Source에 데이터를 연결하기전 Connect가 정상적으로 실행중인지 먼저 확인해줍니다. .\bin\windows\connect-distributed.bat .\etc\kafka\connect-distributed.properties 다음으로는 DB에 접속을 해줘야합니다. 커맨드는 기존에 사용했던 것처럼 아래와 같이 입력했습니다. DB에 위치가 다르면 cd 항목은 수정해주세요! cd D:\mariadb-10.6.7-win..

오늘은 정말 삽질을 많이했다. Kafka Connect를 설치하기 위해서는 confluent 라는 어플리케이션을 받아야합니다. 정석적인 방식은 다음과 같습니다. 저는 이렇게 실행했을때 오류가 발생해 정말 오랜시간 동안 삽질을 했습니다. 그래도 제가 아닌 여러분들은 성공할 수 도 있으니 정석적인 루트를 알려드리겠습니다. #cmd 환경에서의 설치 (Windows) #Confluent 패키지 설치 curl -O http://packages.confluent.io/archive/6.1/confluent-community-6.1.0.tar.gz #패키지 압축 해제 tar xvf confluent-community-6.1.0.tar.gz #해당 폴더로 이동 cd confluent-community-6.1.0 #실행..

- 해당 포스팅은 이전에 진행한 OrderService 에서 이어 집니다.- MariaDB의 연동만 테스트 해보고 싶은 분들은 아래의 포스팅에 프로젝트 자료가 있으니 참조해주세요. https://ggparkitbank.tistory.com/149?category=1015014 [MSA] RestTemplate를 활용한 MSA 서비스간의 통신 - 1 - 드디어 보안과 관련한 항목이 끝나고 기술적인 부분을 다시 진행 하려 합니다. 시작하기에 앞서 RestTemplate부분 부터 진행하실분이라면 아래의 WorkSpace를 받아주세요. -Main Work Space- -Configuration Yml. ggparkitbank.tistory.com #개요 기존에 Order-Service가 사용했던 DB를 이제 M..

개요 이번 시간에는 아래와 같은 내용을 배우려 합니다. Kafka Connect의 개념 연동을 위한 MariaDB 설치 #Kafka Connect 란? Kafka Connect는 쉽게 말하면 자유롭게 Data를 Import/Export 해주는 기능입니다. 그리고 해당 기능을 이용하는데는 별도의 코딩이 필요 없습니다. Configuration 설정을 통해서 데이터 이동을 도와줍니다. Standalone mode, Distribution mode를 지원하며, 가장 중요한 것은 RESTful API 통해 지원 하기에 POST-MAN으로 테스트가 용이 합니다. 나머지 내용은 실습을 진행하면서 조금 더 알아보려 합니다. #MariaDB Kafka Connect를 사용하기에 앞서 MariaDB를 설치해야 합니다. ..

#개요 이번 시간에는 Apache Kafka에서 Topic을 생성하고, 해당 토픽을 통해서 Producer와 Consumer의 역할을 알아보려 합니다. 가장 기본적인 내용이지만, 가장 중요한 내용이기도 해서 최대한 열심히 정리해보겠습니다. #Kafka 커맨드 정리 토픽 생성을 위한 커맨드를 미리 정리하고 실습을 진행하겠습니다. 해당 커맨드는 정리용이니 참고만 해주세요. 📄 Zookeeper 및 Kafka 서버 구동 $KAFKA_HOME/bin/zookeeper-server-start.sh $KAFKA_HOME/config/zookeeper.properties $KAFKA_HOME/bin/kafka-server-start.sh $KAFKA_HOME/config/server.properties $KAFKA_..

Kafka는 MSA와 굉장히 밀접한 기술입니다. 대부분의 MSA 형태의 애플리케이션에는 Kafka가 들어갑니다. 저희가 흔히 쓰는 Spirng-Cloud-Nefilx 오픈소스를 개발한 Nefilx에서도 사용 중 입니다. 이번 포스팅에서는 실제로 Kafka를 설치하고 실행시켜보려 합니다. #Kafka File Download 아래의 Url에서 ApacheKafka를 받아주세요. https://kafka.apache.org/downloads Apache Kafka Apache Kafka: A Distributed Streaming Platform. kafka.apache.org Scala 2.13 버젼으로 Download를 진행해줍니다. #Cmd 환경에서 압축해제 먼저 해당 파일이 있는 위치로 이동해줍니다...