[Kafka 서버 구축] Kafka Clustering, Kafka Partitioning 구현

새로운 기술을 접할 때, 생소한 단어 때문에 학습하기 전부터 두려움을 느끼는 것은 개발자라면 한번쯤 가졌을 것이다. 나또한 지금 카프카 학습을 하면서 매우 당황스러울때가 많다. 때문에 Kafka Clustering과 Kafka Partitioning을 구현하기 전에, 각각의 용어에 대해 이해할겸 설명하는 과정부터 시작해보자. 1. 클러스터, 브로커, 토픽, 파티션 Apache Kafka의 주요 구성 요소인 주피터 클러스터(Zookeeper Cluster), 클러스터(Kkafka Cluster), 브로커(Broker), 토픽(Topic), 파티션(Partition)에 대해 아래와 같이 간략하게 정리해보았다. 주피터 클러스터 (Zookeeper Cluster) 역할 Kafka 클러스터의 메타데이터 관리, 브..

• format_list_bulleted Kafka
• · 2024. 2. 15.
• textsms

[Kafka 서버 구축] AWS EC2 인스턴스에 Docker를 사용하여 Kafka와 Zookeeper를 연동해서 Kafka 서버 구축하기

Kafka의 활용방법은 정말 무궁무진하다. 특히 실시간 데이터 처리를 요구하는 모든 상황에서 Kafka는 빛을 발한다. 앞으로 카프카의 사용법을 공부하고, 관련 프로그램을 만들어보기 위해 AWS EC2 프리티어에 Kafka 및 Zookeeper를 설치 및 연동하여 Kafka 서버를 만들어보고자 한다. 카프카의 정의 및 구조에 대한 간략한 설명은 예전에 작성해 놓은 아래 게시물을 참고하길 바란다. Apache Kafka란? - 아파치 카프카에 대한 학습 대학생 시절에는 프로그래밍 언어를 위주로 공부하였고, 개발자가 되어 4년차가 된 지금, 프로그래밍 언어의 장벽은 낮아졌고 오히려 프로그래밍 아키텍쳐, 디자인 패턴, 파이프라인 구축 등 min-nine.tistory.com 1. AWS EC2 인스턴스 설..

• format_list_bulleted Kafka
• · 2024. 2. 14.
• textsms

MacOs에 PHP-RdKafka 설정 및 셋팅하기

MacOs Local환경에서 PHP RdKafka를 설정하는데 있어서 많은 에러사항이 있었기에 여기에 발자취를 남긴다. 설치 및 간단한 사용방법은 아레 php-rdkafka-doc 사이트에서 참고할 수 있다. https://arnaud.le-blanc.net/php-rdkafka-doc/phpdoc/index.html PHP Manual (Partial) arnaud.le-blanc.net PHP-RdKafka 설치 및 Local 환경설정 로컬 아무 디렉토리 및에 php-rdkafka를 git clone으로 다운받는다. 필자는 github으로 다운받았는데 pecl로 다운받는 방법도 있다. 뭐든 상관없지만 참고 문서에 나와있는 방향성으로 설치. $ git clone https://github.com/arn..

• format_list_bulleted Kafka
• · 2022. 5. 16.
• textsms

Apache Kafka란? - 아파치 카프카에 대한 학습

대학생 시절에는 프로그래밍 언어를 위주로 공부하였고, 개발자가 되어 4년차가 된 지금, 프로그래밍 언어의 장벽은 낮아졌고 오히려 프로그래밍 아키텍쳐, 디자인 패턴, 파이프라인 구축 등 웹 애플리케이션 아키텍쳐 (응용 프로그램의 구성 요소 간의 상호작용을 유지하는 소프트웨어를 구조화 한 모든 내용)에 대해 공부하여야 한다고 생각합니다. 현 회사에서 레거시 방식으로 구성되어 있는 웹 어플리케이션 소스들을 최신 프레임워크를 사용하여 MSA방식으로 리팩토링하여 런칭하기위해 개발자들이 많은 학습을 하고있고, 본인또한 많은 학습이 필요하다는 것을 새삼스레 깨닫게 되었습니다. 기존 Point to Point 방식의 레거시한 API 개발환경부터 리팩토링하기 위하여 최근 떠오르고있는 파이프라인 구조인 Apache Ka..

• format_list_bulleted Kafka
• · 2022. 4. 26.
• textsms