IT 지식 저장소

저번 시간에는 Kafka Connect를 설치했습니다. 이번에는 Kafka Connect에서 Source를 설정하려합니다. Source는 Kafka 클러스터에 데이터를 전송하기전 데이터 소스들을 관리하는 중간 관리자라고 생각하면 좋을 것 같아요. #Kafka Connect Source Source에 데이터를 연결하기전 Connect가 정상적으로 실행중인지 먼저 확인해줍니다. .\bin\windows\connect-distributed.bat .\etc\kafka\connect-distributed.properties 다음으로는 DB에 접속을 해줘야합니다. 커맨드는 기존에 사용했던 것처럼 아래와 같이 입력했습니다. DB에 위치가 다르면 cd 항목은 수정해주세요! cd D:\mariadb-10.6.7-win..

오늘은 정말 삽질을 많이했다. Kafka Connect를 설치하기 위해서는 confluent 라는 어플리케이션을 받아야합니다. 정석적인 방식은 다음과 같습니다. 저는 이렇게 실행했을때 오류가 발생해 정말 오랜시간 동안 삽질을 했습니다. 그래도 제가 아닌 여러분들은 성공할 수 도 있으니 정석적인 루트를 알려드리겠습니다. #cmd 환경에서의 설치 (Windows) #Confluent 패키지 설치 curl -O http://packages.confluent.io/archive/6.1/confluent-community-6.1.0.tar.gz #패키지 압축 해제 tar xvf confluent-community-6.1.0.tar.gz #해당 폴더로 이동 cd confluent-community-6.1.0 #실행..

- 해당 포스팅은 이전에 진행한 OrderService 에서 이어 집니다.- MariaDB의 연동만 테스트 해보고 싶은 분들은 아래의 포스팅에 프로젝트 자료가 있으니 참조해주세요. https://ggparkitbank.tistory.com/149?category=1015014 [MSA] RestTemplate를 활용한 MSA 서비스간의 통신 - 1 - 드디어 보안과 관련한 항목이 끝나고 기술적인 부분을 다시 진행 하려 합니다. 시작하기에 앞서 RestTemplate부분 부터 진행하실분이라면 아래의 WorkSpace를 받아주세요. -Main Work Space- -Configuration Yml. ggparkitbank.tistory.com #개요 기존에 Order-Service가 사용했던 DB를 이제 M..

개요 이번 시간에는 아래와 같은 내용을 배우려 합니다. Kafka Connect의 개념 연동을 위한 MariaDB 설치 #Kafka Connect 란? Kafka Connect는 쉽게 말하면 자유롭게 Data를 Import/Export 해주는 기능입니다. 그리고 해당 기능을 이용하는데는 별도의 코딩이 필요 없습니다. Configuration 설정을 통해서 데이터 이동을 도와줍니다. Standalone mode, Distribution mode를 지원하며, 가장 중요한 것은 RESTful API 통해 지원 하기에 POST-MAN으로 테스트가 용이 합니다. 나머지 내용은 실습을 진행하면서 조금 더 알아보려 합니다. #MariaDB Kafka Connect를 사용하기에 앞서 MariaDB를 설치해야 합니다. ..

#개요 이번 시간에는 Apache Kafka에서 Topic을 생성하고, 해당 토픽을 통해서 Producer와 Consumer의 역할을 알아보려 합니다. 가장 기본적인 내용이지만, 가장 중요한 내용이기도 해서 최대한 열심히 정리해보겠습니다. #Kafka 커맨드 정리 토픽 생성을 위한 커맨드를 미리 정리하고 실습을 진행하겠습니다. 해당 커맨드는 정리용이니 참고만 해주세요. 📄 Zookeeper 및 Kafka 서버 구동 $KAFKA_HOME/bin/zookeeper-server-start.sh $KAFKA_HOME/config/zookeeper.properties $KAFKA_HOME/bin/kafka-server-start.sh $KAFKA_HOME/config/server.properties $KAFKA_..

Kafka는 MSA와 굉장히 밀접한 기술입니다. 대부분의 MSA 형태의 애플리케이션에는 Kafka가 들어갑니다. 저희가 흔히 쓰는 Spirng-Cloud-Nefilx 오픈소스를 개발한 Nefilx에서도 사용 중 입니다. 이번 포스팅에서는 실제로 Kafka를 설치하고 실행시켜보려 합니다. #Kafka File Download 아래의 Url에서 ApacheKafka를 받아주세요. https://kafka.apache.org/downloads Apache Kafka Apache Kafka: A Distributed Streaming Platform. kafka.apache.org Scala 2.13 버젼으로 Download를 진행해줍니다. #Cmd 환경에서 압축해제 먼저 해당 파일이 있는 위치로 이동해줍니다...

Apache Kafka Apache Kafka는 쉽게 말하면 Message Broker 시스템입니다. 그래서 Message Broker가 뭘까요? 도움을 받기위해 위키의 힘을 빌렸습니다. 메시지 브로커(message broker),인터페이스 엔진(interface engine)은 송신자의 메시지 프로토콜 형식으로부터의 메시지를 수신자의 메시지 프로토콜 형식으로 변환하는 중간 컴퓨터 프로그램 모듈이다. 메시지 브로커들은 응용 소프트웨어가 이전에 정의해둔 메시지를 교환할 수 있는 전기통신의 요소 또는 컴퓨터 네트워크이다.메시지 브로커들은 메시지 지향 미들웨어(MOM)의 빌딩 블록이지만 일반적으로 MOM과 원격 프로시저 호출 (RPC) 등의 전통적인 미들웨어를 대체하지는 않는다. 그렇군요.. 더 모르겠네요 M..

모든 서비스가 그렇듯 트래픽 초과나 서버에 과부하가 오면 느려지거나, 심한 경우 다운됩니다. 이럴 경우에는 일반적으로 LoadBalancer를 활용해 서버에 오는 부하를 줄이는 방식을 채택하게 됩니다. LoadBalancer는 똑같은 서비스지만, 다른 Port로 서버를 개방하게 해서 똑같은 역할을 하는 서비스에 일반적으로 교차로 응답을 보내며, 서버에 오는 부하를 줄이는 방식을 사용하게 됩니다. #LoadBalancer의 사용 시 흐름 LoadBalancer를 사용 시 회원이 자신의 정보를 조회 한다 했을 때, 교차로 응답을 보냅니다. 먼저 8070 Port를 참조한 뒤, 다음에 똑같은 요청이 온다면 8071 Port로 보내게 됩니다. 사용자가 하나라면 별로 쓸모가 없겠지만, 동시에 다중접속을 하게 된다..

저번 시간에는 FeginClient를 활용한 Error를 처리하는 과정을 거쳤습니다. 다만 Error가 발생할경우 커스텀을 통해서 저희가 원하는 값을 내고 싶을 땐 어떻게 해야할까요? 그럴때 사용하는 것이 ErrorDecoder입니다. #개요 따로 추가해야할 Dependency는 없습니다. Feign 라이브러리가 해당 인터페이스를 이미 제공하고 있으니까요!, 이번 포스트에서는, ErrorDecoder를 활용해서 특정 에러가 발생하면 특정 동작이 실행되도록 코드를 작성하려 합니다. #FeignErrorDecoder.java ErrorDecoder를 작성하기에 앞서, 먼저 error 패키지 생성 후 FeignErrorDecoder라는 클래스를 생성합니다. FeignErrorDecoder는 ErrorDecod..