IT 지식 저장소

개요 저번 시간에 말씀드린 것 처럼 이번 시간에는 Kafka Connect를 활용해, 단일 DB에 데이터를 적재하는 과정을 거치려 합니다. MariaBD와 Order Kafka Topic, Order Kafka Producer를 조금 수정해야 합니다! #MariaDB 가장 먼저 일단 MariaDB에 접속해줍니다. Windows환경 기준으로 저는 다음과 같이 접속했습니다. // MariaDB 설치 폴더 Bin으로 이동 cd D:\mariadb-10.6.7-winx64\bin // mysql 서버 실행 및 유저 정보 입력 mysql -uroot -p // EnterPassword 출력 시 test1357 입력 or 본인이 설정한 root password로 접속 Enter password: ******** 정..

사이트 규모가 증가함에 따라서 과부하를 처리 하는 방식 중 하나를 로드 밸런싱이라 합니다. 그리고 로드 밸런싱은 N개의 다른포트에 똑같은 서비스 ( ex : 주문 서비스 ) 를 기동시켜 교차하며 서비스를 제공하도록 합니다. 이 방법은 굉장히 효율적으로 과부하에 대비 할 수 있지만 한가지 문제점이 존재합니다. 바로 데이터 동기화의 문제 인데, 만약 H2 DB처럼 각 Port별로 어플리케이션 실행 시 생성되는 DB인 경우에는 어떨까요? #Load Balancer의 동작원리 많이 생략되어 있지만, LoadBalancer에서 어떤 Port로 접속 할지 접속 정보를 가지고 있습니다. 그리고 처음으로 요청이 들어오면, 보시는 것처럼 9091 Port로 요청값을 보냅니다. 그럼 9091Port 에서 H2-DB에는 유..

이번 포스팅은 Test가 주 내용 입니다. 바로 전에 작성한 포스팅을 참고해주세요. 먼저 테스트를 위해서 실행해야할 서비스 목록입니다. Zookeeper - Server Kafka - Server Eureka - Sever( WorkSpace에서 Ecommerce라는 프로젝트) ApiGateway - Service Config - Service Order - Service Catalog - Service #Eureka Server 접속 localhost:8761 로 접속해 Eureka 대쉬보드 확인해볼게요. test에 앞서서 h2-console을 확인하려합니다. 접속하고자 하는 Service에 링크를 클릭해줍니다! 초록색 글씨로 되어있는 부분입니다. #[OrderService]/h2-console 로 접..

이제 끝이 보이고 있습니다. 물론 Back-end의 구현만 살펴보고 있지만, MSA라는 처음 보는 아키텍쳐와 함께 하면서, 여러가지를 배웠던 거 같네요. 이제 데이터 동기화를 위한 Apache Kafka의 활용법을 적용하고, 장애처리, 그리고 마지막으로 모니터링 기능까지 추가하면 끝입니다. 산더미네요... 그리고 클라이맥스로 Docker를 활용해서 모든 서비스를 하나하나 Container화를 구축할 예정이니까요. 이번 시간 부터는 다시 E-Commerce Application 을 고도화 시킬 예정입니다. 실습에 앞서서 만약 구축된 E-Commer Application이 없다면 아래의 파일들을 받아주세요 웬만하면, D: 바로 밑에 두 폴더 모두 위치시켜주시길 바랍니다. 해당 위치가 아닐 경우 Config-..

저번 시간에는 Kafka Source Connect에 대해서 알아봤습니다. Sink 는 Source와 다르게 메시지를 소비하는 역할을 하는데, 사실 저희가 Kafka를 시작하면서 배웠던 Producer와 Consumer의 개념 이랑 비슷합니다. 이제 가지고 있는 메시지를 소비하는 역할를 하는게 Sink라고 생각하시면 될 것 같습니다. #개요 실제로 Kafka Sink Connect를 구축하고, Kafka에서 DB로 저장하는 로직을 구현하려 합니다. #Sink Connect 생성 Sink Connect를 생성하는 방식은 저번에 진행했던 Source Connect의 생성방법과 크게 다르지 않습니다. 먼저 Connect 서버를 실행합니다. (기본적으로 Zookeeper와 Kafka가 실행된 상태에서 실행해주세..

저번 시간에는 Kafka Connect를 설치했습니다. 이번에는 Kafka Connect에서 Source를 설정하려합니다. Source는 Kafka 클러스터에 데이터를 전송하기전 데이터 소스들을 관리하는 중간 관리자라고 생각하면 좋을 것 같아요. #Kafka Connect Source Source에 데이터를 연결하기전 Connect가 정상적으로 실행중인지 먼저 확인해줍니다. .\bin\windows\connect-distributed.bat .\etc\kafka\connect-distributed.properties 다음으로는 DB에 접속을 해줘야합니다. 커맨드는 기존에 사용했던 것처럼 아래와 같이 입력했습니다. DB에 위치가 다르면 cd 항목은 수정해주세요! cd D:\mariadb-10.6.7-win..

오늘은 정말 삽질을 많이했다. Kafka Connect를 설치하기 위해서는 confluent 라는 어플리케이션을 받아야합니다. 정석적인 방식은 다음과 같습니다. 저는 이렇게 실행했을때 오류가 발생해 정말 오랜시간 동안 삽질을 했습니다. 그래도 제가 아닌 여러분들은 성공할 수 도 있으니 정석적인 루트를 알려드리겠습니다. #cmd 환경에서의 설치 (Windows) #Confluent 패키지 설치 curl -O http://packages.confluent.io/archive/6.1/confluent-community-6.1.0.tar.gz #패키지 압축 해제 tar xvf confluent-community-6.1.0.tar.gz #해당 폴더로 이동 cd confluent-community-6.1.0 #실행..

- 해당 포스팅은 이전에 진행한 OrderService 에서 이어 집니다.- MariaDB의 연동만 테스트 해보고 싶은 분들은 아래의 포스팅에 프로젝트 자료가 있으니 참조해주세요. https://ggparkitbank.tistory.com/149?category=1015014 [MSA] RestTemplate를 활용한 MSA 서비스간의 통신 - 1 - 드디어 보안과 관련한 항목이 끝나고 기술적인 부분을 다시 진행 하려 합니다. 시작하기에 앞서 RestTemplate부분 부터 진행하실분이라면 아래의 WorkSpace를 받아주세요. -Main Work Space- -Configuration Yml. ggparkitbank.tistory.com #개요 기존에 Order-Service가 사용했던 DB를 이제 M..

개요 이번 시간에는 아래와 같은 내용을 배우려 합니다. Kafka Connect의 개념 연동을 위한 MariaDB 설치 #Kafka Connect 란? Kafka Connect는 쉽게 말하면 자유롭게 Data를 Import/Export 해주는 기능입니다. 그리고 해당 기능을 이용하는데는 별도의 코딩이 필요 없습니다. Configuration 설정을 통해서 데이터 이동을 도와줍니다. Standalone mode, Distribution mode를 지원하며, 가장 중요한 것은 RESTful API 통해 지원 하기에 POST-MAN으로 테스트가 용이 합니다. 나머지 내용은 실습을 진행하면서 조금 더 알아보려 합니다. #MariaDB Kafka Connect를 사용하기에 앞서 MariaDB를 설치해야 합니다. ..