[Kafka 서버 구축] Kafka Clustering, Kafka Partitioning 구현

새로운 기술을 접할 때, 생소한 단어 때문에 학습하기 전부터 두려움을 느끼는 것은 개발자라면 한번쯤 가졌을 것이다. 나또한 지금 카프카 학습을 하면서 매우 당황스러울때가 많다. 때문에 Kafka Clustering과 Kafka Partitioning을 구현하기 전에, 각각의 용어에 대해 이해할겸 설명하는 과정부터 시작해보자. 1. 클러스터, 브로커, 토픽, 파티션 Apache Kafka의 주요 구성 요소인 주피터 클러스터(Zookeeper Cluster), 클러스터(Kkafka Cluster), 브로커(Broker), 토픽(Topic), 파티션(Partition)에 대해 아래와 같이 간략하게 정리해보았다. 주피터 클러스터 (Zookeeper Cluster) 역할 Kafka 클러스터의 메타데이터 관리, 브..

• format_list_bulleted Kafka
• · 2024. 2. 15.
• textsms

[Kafka 서버 구축] AWS EC2 인스턴스에 Docker를 사용하여 Kafka와 Zookeeper를 연동해서 Kafka 서버 구축하기

Kafka의 활용방법은 정말 무궁무진하다. 특히 실시간 데이터 처리를 요구하는 모든 상황에서 Kafka는 빛을 발한다. 앞으로 카프카의 사용법을 공부하고, 관련 프로그램을 만들어보기 위해 AWS EC2 프리티어에 Kafka 및 Zookeeper를 설치 및 연동하여 Kafka 서버를 만들어보고자 한다. 카프카의 정의 및 구조에 대한 간략한 설명은 예전에 작성해 놓은 아래 게시물을 참고하길 바란다. Apache Kafka란? - 아파치 카프카에 대한 학습 대학생 시절에는 프로그래밍 언어를 위주로 공부하였고, 개발자가 되어 4년차가 된 지금, 프로그래밍 언어의 장벽은 낮아졌고 오히려 프로그래밍 아키텍쳐, 디자인 패턴, 파이프라인 구축 등 min-nine.tistory.com 1. AWS EC2 인스턴스 설..

• format_list_bulleted Kafka
• · 2024. 2. 14.
• textsms

[CI/CD 구축] AWS EC2에 Docker를 활용한 Jenkins 파이프라인 구축

CI/CD를 구축하는 방법은 수백가지는 된다고 생각한다. 때문에 본인이 가지고있는 서버 환경이나 운영 되고있는 서비스에 따라 CI/CD 구축을 효율적으로 구축할 수 있어야 한다. 본 포스팅에서는 CI/CD에 대해, 그리고 Docker라는 것에 대해 막연하게 생각하고 있는 사람들에게 도움이 되고자 AWS EC2 인스턴스에 Docker를 활용하여 간단하게 CI/CD 구축하는 방법을 안내한다. 1. AWS EC2 인스턴스 생성 및 INOUND 포트 설정 AWS EC2 인스턴스는 요즘 클릭 몇번에 해결된다. 물론 생성 이후 보안규칙에서 INBOUND(EC2 인스턴스로 들어오는 데이터 혹은 요청에 대한 내용)에 대해 사전 지식이 필요하다. 나는 Ubuntu 22.04/t2.micro(프리티어)를 생성했다. EC..

• format_list_bulleted CICD
• · 2024. 2. 7.
• textsms

[SQLD] SQL 기본 - 함수, 조인, 표준 조인 요약

1. 함수 (Function) 데이터베이스 관리에서 SQL 함수는 데이터를 조회, 변환, 계산하는 데 사용되는 강력한 도구중 하나이다. SQL 함수는 입력 값을 받아 처리하고, 결과를 반환하는 일련의 SQL 문을 포함한다. SQL 함수의 기본 SQL 함수는 크게 내장 함수(built-in function)와 사용자 정의 함수(user-defined function, UDF) 두 가지 유형으로 분류된다. 내장함수 데이터베이스 시스템에 사전에 정의된 함수로, 문자열 처리, 날짜 계산, 수학적 계산 등 다양한 기능을 제공한다. 사용자 정의 함수 (User-Defined-Function) 사용자가 특정 작업을 수행하기 위해 직접 작성한 함수로, 복잡한 로직이나 반복적인 작업을 처리하는 데 유용하다. 자주 사용하..

• format_list_bulleted CapacityBuilding/SQLD 취득
• · 2024. 2. 7.
• textsms

[SQLD] SQL 기본 - SELECT, WHERE, GROUP BY, HAVING, ORDER BY 요약

1. SELECT SELECT 문은 데이터베이스에서 특정 데이터를 조회할 때 사용되는 가장 기본적이고 중요한 명령어이다. 기본구조 SELECT column1, column2, ... FROM table_name; column1, column2, ...: 조회하고 싶은 컬럼들을 나열한다. table_name: 데이터를 조회할 테이블의 이름을 기입한다. SELECT 사용법 특정 컬럼 조회 학생 테이블의 이름과 성적 컬럼을 조회하는 방법 SELECT 이름, 성적 FROM 학생; 모든 컬럼 조회 테이블의 모든 컬럼을 조회할 때는 별표(*)를 사용한다. SELECT * FROM 학생; 중복 제거 (DISTINCT) DISTINCT 키워드를 사용하여 중복된 값 없이 특정 컬럼을 조회할 수 있다. SELECT DI..

• format_list_bulleted CapacityBuilding/SQLD 취득
• · 2024. 2. 6.
• textsms

[SQLD] 데이터 모델과 SQL - 관계/조인, 트랜잭션, Null속성, 본질 vs 인조 식별자 요약

1.관계와 조인의 이해 관계의 이해 관계의 이해'는 데이터 모델링의 핵심 개념 중 하나다. 데이터베이스의 관계는 데이터 간의 연관성을 나타내며, 이를 통해 데이터를 구조화하고, 효율적인 데이터 관리와 정확한 정보 추출이 가능해진다. 여기서 살펴볼 주요 개념은 엔티티 간의 관계, 관계의 종류, 그리고 관계를 표현하는 방법이다. 엔티티 간의 관계 엔티티(Entity) 데이터베이스에서 데이터 객체를 의미한다. 예를 들어, '고객', '주문', '제품' 등이 엔티티가 될 수 있다. 관계(Relationship) 엔티티들 사이의 연관성이다. 예를 들어, '고객'이 '주문'을 하는 관계이다. 관계의 종류 일대일 관계 (One-to-One) 하나의 엔티티 A가 하나의 엔티티 B와만 관계를 가질 때를 말한다. 예시로 ..

• format_list_bulleted CapacityBuilding/SQLD 취득
• · 2024. 2. 5.
• textsms