성실한 사람이 되자

성실하게 글쓰자

This is spear

Programming/KAFKA 2

아파치 카프카 시작하기(install Apache Kafka )

아파치 카프카의 경우 윈도우에서 실행되지 않습니다. 그래서 리눅스와 같은 운영체제가 필요한데 저는 버츄얼 박스를 다운로드해 리눅스 운영체제를 사용했습니다. 필요한 요소 자바 카프카 버츄얼 박스 리눅스 SSH(이벤트들을 확인하기 쉽게 하는 법) - terminus, putty 버츄얼 박스 사용하는 법 CentOS7 설정하는 법 OPENSSH 사용하는 법 아파치 카프카 설치하기 www.apache.org/dyn/closer.cgi?path=/kafka/2.6.0/kafka_2.13-2.6.0.tgz Apache Download Mirrors Copyright © 2019 The Apache Software Foundation, Licensed under the Apache License, Version 2...

Programming/KAFKA 2020.11.27

현재 스트리밍 서비스를 이끌고 있는 주 기술/ 아파치 카프카 (Apache Kafka - 이벤트 스트리밍 플랫폼)

스마트폰 보급과 함께 사용자가 데이터의 양이 급격하게 증가하면서 빅데이터 들을 처리하는 기술이 눈에 띄게 중요해졌습니다. 기본적인 데이터 처리하는 방식에서는 파일을 저장하고 그 다음 읽는 게 순서였지만, 데이터 전송 속도 증가와 빅데이터 처리 기술의 고도화로 인해 파일 저장과 동시에 읽을 수 있게 되었습니다. 이러한 기술을 스트리밍 서비스라고 부릅니다. 그래서 유튜브와 같이 스트리밍 서비스에서 실시간으로 데이터를 처리하는 곳에 사용되는 기술 중에 하나를 소개할까 합니다. 간단한 카프카의 소개 카프카는 이벤트 스트리밍 플랫폼입니다. 특정한 이벤트 전송로인 파이프라인을 관리하여 여러 스토리지 간의 연결을 통합, 관리 프로그램입니다. 쉽게 표현하자면 대량의 데이터를 분산 관리해주는 시스템입니다. 카프카의 장점..

Programming/KAFKA 2020.08.26