개발 공부 - ZooKeeper

Apache ZooKeeper는 분산 응용 프로그램을 위한 강력한 오픈 소스 분산 조정 서비스입니다. 

ZooKeeper는 분산 시스템에서 데이터 관리, 동기화 및 조정을 제공하여 여러 프로세스 또는 서버 간에 공유 데이터와 설정을 관리하고 일관성을 유지합니다. 주요 특징은 다음과 같습니다:

1. 계층적 네임스페이스: 데이터를 계층적 구조로 저장하며, 각 노드에 데이터 및 설정을 저장할 수 있습니다.

2. 분산 동기화: 다양한 분산 시스템의 동기화와 조정을 관리하여 일관성을 유지합니다.

3. 안정성: ZooKeeper는 안정적인 작동을 위해 메모리 기반의 데이터 스토리지와 높은 가용성을 제공합니다.

4. 워치(Watch) 메커니즘: 클라이언트가 데이터 노드를 모니터링하고 변경 사항을 실시간으로 감지할 수 있도록 합니다.

5. 일관성: ZooKeeper는 강한 일관성 모델을 제공하여 데이터 변경 사항이 일관되게 처리됨을 보장합니다.

ZooKeeper를 Java에서 사용하려면 Apache ZooKeeper 클라이언트 라이브러리를 사용해야 합니다. 

아래는 간단한 Java 예제로 ZooKeeper에 연결하고 데이터를 읽고 쓰는 방법입니다.

의존성 추가:

Maven을 사용하는 경우 `pom.xml` 파일에 다음 의존성을 추가합니다:

<dependencies>

    <dependency>

        <groupId>org.apache.zookeeper</groupId>

        <artifactId>zookeeper</artifactId>

        <version>3.7.0</version>

    </dependency>

</dependencies>

ZooKeeper 연결 및 데이터 읽기/쓰기 예제:

import org.apache.zookeeper.*;

import java.io.IOException;

public class ZooKeeperExample {

    private static final String ZOOKEEPER_ADDRESS = "localhost:2181";

    private static final int SESSION_TIMEOUT = 5000;

    public static void main(String[] args) throws IOException, KeeperException, InterruptedException {

        ZooKeeper zooKeeper = new ZooKeeper(ZOOKEEPER_ADDRESS, SESSION_TIMEOUT, null);

        // 데이터 쓰기

        String path = "/example";

        byte[] data = "Hello, ZooKeeper!".getBytes();

        zooKeeper.create(path, data, ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);

        // 데이터 읽기

        byte[] retrievedData = zooKeeper.getData(path, false, null);

        System.out.println("Retrieved data: " + new String(retrievedData));

        zooKeeper.close();

    }

}

위의 예제에서는 ZooKeeper 클라이언트를 생성하고, 데이터를 `/example` 경로에 쓰고 읽는 방법을 보여줍니다. 

실제 사용 시에는 예외 처리와 보다 복잡한 시나리오를 고려해야 할 수 있습니다.

ZooKeeper의 사용은 분산 시스템 및 조정 메커니즘을 구현하는 데 도움이 됩니다. 

더 복잡한 기능과 사용법은 ZooKeeper 공식 문서 및 자습서를 참조하는 것이 좋습니다.

AI 가 정리한 내용은 위에 기재된 것이고, 나는 보통 Zookeeper는 Kafka를 쓸 때 같이 세팅하는 것으로 생각했다.

이게 사실 znode라는 데이터를 저장할 수 있는 오브젝트를 제공하고 (키밸류 같이 쓰면 된다.) 데이터를 입출력 하는 형태만 제공하기 떄문에 코디네이션 서비스 시스템이라는 것만 인지하면 될 것 같다.

API 개발 시에, 동기화 등을 중앙에서 관리하기 위해 사용한다고 한다.

분산 시스템에서 주키퍼를 사용해서 시스템 간 정보 공유, 살아있는지 상태 체크, 서버 동기화 등을 관리하고 이중화 등을 개발했었다.

서버를 클러스터링 한 뒤에, 주키퍼 서버에 상태 정보를 요청해서 MSA 들이 각각 정보를 가지고 가는 형태로 조성 할 수도 있다.

이게 클러스터를 앙상블이라고도 하는데, 보통 홀수로 구성하고, 과반수 이상 장애가 발생하면 중단되기 때문에 보통 카프카랑은 다른 서버에 두는 것이 낫다고 한다.

일부 출처 : https://xangmin.tistory.com/169