티스토리

기록하는 습관

검색하기

블로그 홈

기록하는 습관

jjingho.tistory.com/m

Java와 백엔드 기술을 공부하고 공유합니다.

구독자: 15

방명록 방문하기

주요 글 목록

[대규모 시스템 설계] 채팅 시스템 설계 채팅 앱은 우리가 가장 많이 사용하고 있는 서비스 중 하나다. 채팅 앱에는 1:1 채팅이나 그룹 채팅같이 업무 혹은 개인 메시지에 특화된 채팅 시스템이나 게임 등에 특화된 음성 채팅 등이 존재하는데, 이번장에서는 카카오톡이나 페이스북 메신저와 같은 1:1 채팅과 그룹 채팅에 특화된 채팅 앱을 개략적으로 알아본다. 개략적인 요구사항 응답 지연이 낮은 1:1 채팅 기능 제공 최대 100명까지 참여할 수 있는 그룹 채팅 기능 제공 사용자 접속 상태 표시 하나의 계정으로 여러 단말에서 동시 접속 지원 푸시 알림 채팅의 기본 기능과 프로토콜 채팅 서비스가 갖춰야 할 기본 기능은 아래와 같다. 클라이언트들로부터 메시지 수신 메시지 수신자 결정 및 전달 수신자가 접속 상태가 아닌 경우 접속할 때까지 보관 채팅 서비스.. 공감수 7 댓글수 0 2022. 5. 7.
[대규모 시스템 설계] 뉴스 피드 시스템 설계 페이스북이나 인스타그램, 트위터 같은 SNS들은 사용자 상태 정보나 스토리 업데이트 등 다양한 콘텐츠 정보들을 뉴스 피드 시스템을 통해 쉽고 빠르게 전달한다. 우리는 개발자이므로 수 백 ~ 수 천만의 사용자들의 피드들을 어떻게 안정적으로 발행하고 생성할 것인지에 대해 고민해봐야 한다. 만약 우리가 이런 시스템을 설계한다고 생각했을 때 어떤 부분을 고려해야 할까? 우선, 뉴스 피드 시스템의 핵심 기능은 피드 발행과 뉴스 피드 생성으로 나눌 수 있다. 피드 발행 사용자가 스토리를 포스팅하면 해당 데이터를 캐시와 데이터베이스에 기록한다. 이렇게 포스팅된 정보는 친구 목록의 뉴스 피드에 전송돼야 한다. 다음은 개략적인 피드 발행 시스템 설계안이다. 웹 서버 인증이나 처리율 제한 등의 기능을 수행한다. 포스팅 저.. 공감수 0 댓글수 0 2022. 4. 21.
[대규모 시스템 설계] 알림 시스템 설계 알림 시스템은 고객들에게 중요한 정보를 비동기적으로 제공하기에 애플리케이션에서 많이 사용하는 기능 중 하나이다. 모바일 푸시 알림이나 SMS, 이메일 등의 알림 시스템은 이미 우리 일상 속에 아주 익숙하고 중요한 부분으로 자리 잡았다. 애플리케이션의 규모가 클수록, 또 사용자가 많을수록 알림 시스템에 걸리는 부하가 커지기 때문에 확장성과 안정성이 중요해진다. 어떻게 확장성과 안정성을 모두 갖춘 알림 시스템을 구축할 수 있을까? 알림 유형별 지원 방안 알림 유형에는 모바일 푸시 알람, SMS, 이메일 등이 있다. 우선 각 알림 유형에서 알림 메커니즘이 어떻게 동작하는지 대략적으로 알아보자. iOS 푸시 알림 알림 제공자 - 알림 요청을 만들어 애플 푸시 알림 서비스(APNS)로 보내는 주체 APNS(App.. 공감수 0 댓글수 0 2022. 4. 16.
[대규모 시스템 설계] 분산 시스템의 유일 ID 생성기 설계 가상 면접 사례로 배우는 대규모 시스템 설계 기초 요약정리 글입니다. 우리가 일반적으로 데이터베이스 ID 생성에 사용하는 auto_increment 속성은 분산 환경에서 사용하기 힘들다. 여러 데이터베이스 서버를 사용하는 경우 ID의 일관성을 유지하기 어렵고 지연 시간을 낮추기 힘들기 때문이다. 유일 ID 생성기 설계는 분산 시스템에서 달성하고자 하는 요구사항마다 달라질 수 있다. 따라서 학습을 위해 다음과 같은 요구사항이 있다고 가정하고 설계를 진행해보자. 유일 ID 생성 요구사항 예시 ID는 유일해야 한다. ID는 숫자로만 구성되어야 한다. ID는 64비트로 표현될 수 있는 값이어야 한다. ID는 발급 날짜에 따라 정렬이 가능해야 한다. 초당 10,000개의 ID를 만들 수 있어야 한다. 유일성이 보.. 공감수 0 댓글수 0 2022. 4. 2.
[대규모 시스템 설계] 안정 해시 수평적 규모 확장을 위해서는 요청 또는 데이터를 서버에 균등하게 나누는 것이 중요하다. 안정 해시는 이 목표를 달성하기 위해 보편적으로 사용되는 기술이다. 일반적인 해시 함수의 문제점 N개의 캐시 서버가 있다고 해보자. 이 서버들에 부하를 균등하게 나누는 보편적인 방법은 hash_key % 서버 개수와 같은 해시 함수를 사용하는 것이다. 하지만 이러한 해시 함수는 서버가 추가되거나 삭제되는 경우에 문제가 생긴다. 서버가 추가되거나 삭제되는 경우 해시 키의 재배치가 일어나는데, 이때 데이터의 불균형이 발생할 수 있기 때문이다. 다음 예시는 4대의 서버 구성에서 서버 1대가 장애를 일으킨 경우의 해시 키 재배치의 문제점을 나타낸다. 해시 키가 서버 0에는 4개, 서버 3에는 1개 재배치되었다. 만약 서비스 .. 공감수 0 댓글수 0 2022. 3. 27.
[대규모 시스템 설계] 처리율 제한 장치 처리율 제한 장치는 클라이언트 또는 서비스가 보내는 트래픽의 처리율을 제어하는 장치이다. HTTP를 예로 들면 특정 기간 내에 전송되는 클라이언트의 요청 횟수를 제한하는 식이다. API 요청 횟수가 임계치를 넘어서면 이후 모든 호출은 중단된다. 구체적인 사례를 보면 다음과 같다. 사용자는 초당 2회 이상 새 글을 올릴 수 없다. 같은 IP로 하루에 10개 이상의 계정을 생성할 수 없다. 같은 디바이로 주 5회 이상 리워드를 요청할 수 없다. 거의 대부분의 대형 IT 서비스 기업들은 처리율 제한 장치를 가지고 있다. 그렇다면 처리율 제한 장치를 둠으로써 얻는 이점은 어떤 것들이 있을까? 크게 3가지의 이점을 말할 수 있다. DoS 공격에 의한 서버 자원 고갈을 방지할 수 있다. 비용을 절감할 수 있다. 서.. 공감수 1 댓글수 0 2022. 3. 23.
[대규모 시스템 설계] 개략적 규모 추정 가상 면접 사례로 배우는 대규모 시스템 설계 기초 요약정리 글입니다. 시스템 용량이나 성능 요구사항을 개략적으로 추정하는 능력은 중요하다. 어떤 설계가 요구사항에 부합할 것인지 추정할 수 있기 때문이다. 개략적 규모 추정을 효과적으로 하기 위해서는 2의 제곱수나 응답 지연 값, 가용성에 관계된 수치들을 기본적으로 잘 이해하고 있어야 한다. 2의 제곱수 제대로 된 계산 결과를 얻으려면 데이터 볼륨의 단위를 2의 제곱수로 표현하면 어떻게 되는지를 이해하고 있어야 한다. 최소 단위는 1 Byte이고, 이는 8 Bit로 구성된다. ASCII 문자 하나가 차지하는 메모리 크기가 1 Byte라고 보면 된다. 1 Byte가 1000개 모이면 1KB가 된다. (1000 Byte = 1 KB) 우리가 흔히 알고 있는 데.. 공감수 2 댓글수 0 2022. 3. 12.
[대규모 시스템 설계] 데이터베이스 규모 확장과 백만 사용자 이상의 시스템 가상 면접 사례로 배우는 대규모 시스템 설계 기초 요약정리 글입니다. 서비스 규모가 커지고 저장할 데이터가 많아지면 데이터베이스에 대한 부하도 증가한다. 이때 우리는 데이터베이스를 증설할 방법을 찾아야 한다. 데이터베이스의 규모 확장 방법은 앞서 살펴본 방법과 동일하게 scale up, scale out이 있다. 수직적 확장(Scale Up) 데이터베이스를 고성능의 자원으로 증설하는 방법이다. AWS RDS는 24TB의 RAM을 제공하는 상품도 있을 만큼 고성능 데이터베이스 서버는 많은 양의 데이터를 보관하고 처리할 수 있다. 하지만 데이터베이스 수직적 확장은 몇 가지 심각한 단점이 있다. 고성능 자원을 무한히 증설할 방법이 없다. 단일 장애 지점이 발생할 위험이 있다. 고성능으로 갈수록 비용이 비싸진다.. 공감수 0 댓글수 0 2022. 3. 11.
[대규모 시스템 설계] 메시지 큐, 로그, 메트릭, 자동화 가상 면접 사례로 배우는 대규모 시스템 설계 기초 요약정리 글입니다. 메시지 큐는 메시지의 무손실을 보장하는, 비동기 통신을 지원하는 컴포넌트다. 일반적으로 Kafka나 RabbitMQ 같은 메시지 브로커들을 많이 사용한다. 이들은 메시지 버퍼 역할을 하며 메시지를 비동기적으로 전송한다. 메시지 큐의 기본 아키텍처 메시지 큐의 기본 아키텍처는 아주 간단하다. 입력 서비스(생산자 또는 발행자)가 메시지를 만든다. 해당 메시지를 메시지 큐에 발행(publish)한다. 소비자 또는 구독자가 해당 메시지를 받아 그에 맞는 동작을 수행한다. 메시지 큐의 강점 메시지 큐를 이용하면 서비스 또는 서버 간 결합이 느슨해져, 규모 확장성이 보장되어야 하는 안정적 애플리케이션을 구성하기 좋다. 생산자는 소비자의 서비스가 .. 공감수 0 댓글수 0 2022. 3. 9.
[대규모 시스템 설계] 데이터 센터 구성 가상 면접 사례로 배우는 대규모 시스템 설계 기초 요약정리 글입니다. 가용성을 높이고 전 세계 어디서도 쾌적한 서비스를 위해서는 여러 데이터 센터를 지원하는 것이 필수다. 일반적으로 사용자는 가장 가까운 데이터 센터로 안내되는데, 이를 지리적 라우팅이라 부른다. 데이터 센터 지리적 라우팅에서의 geoDNS는 사용자의 위치에 따라 도메인 이름을 어떤 IP 주소로 변환할지 결정한다. 지리적 라우팅을 통해 각 데이터센터로 트래픽이 분산되어 안전한 시스템을 구성할 수 있다. 만약 데이터 센터 1에 장애가 발생해도 모든 트래픽은 장애가 없는 데이터 센터 2로 전송된다. 다중 데이터 센터 구성 시 고려사항 다중 데이터 센터 아키텍처를 구성하기 위해선 몇 가지 기술적 난제를 해결해야 한다. 어떤 기술적 난제가 있는지.. 공감수 0 댓글수 0 2022. 3. 2.
[대규모 시스템 설계] 웹 계층 수평적 확장 가상 면접 사례로 배우는 대규모 시스템 설계 기초 요약정리 글입니다. 웹 계층을 수평적으로 확장하기 위해서는 세션 데이터와 같은 상태 정보를 웹 계층에서 제거해야 한다. 이를 고려하지 않고 웹 계층을 확장하면 엉뚱한 상태 정보를 반환하는 상황이 생길 수 있기 때문이다. 웹 계층을 수평적으로 확장하는 바람직한 전략은 상태 정보를 RDBMS나 NoSQL 같은 저장소에 보관하고 필요할 때 가져오는 것이다. 이렇게 구성된 웹 계층을 무상태 웹 계층이라고 한다. 무상태 웹 계층 상태 정보 의존적 아키텍처 일반적으로 서버는 클라이언트의 상태 정보를 보관하여 요청들 사이에 상태가 유지되도록 한다. 그림과 같이 사용자 A에 대한 상태 정보는 서버 1에 저장된다. 따라서 사용자 A를 인증하기 위해선 반드시 서버 1로 H.. 공감수 0 댓글수 0 2022. 2. 26.
[대규모 시스템 설계] 응답시간 개선하기 가상 면접 사례로 배우는 대규모 시스템 설계 기초 요약정리 글입니다. 앞서 웹 계층과 데이터 계층의 규모에 따른 시스템 설계를 살펴봤으니, 응답 시간을 개선하는 방법에 대해 알아보자. 응답 시간은 캐시와 콘텐츠 전송 네트워크(CDN)를 이용해 개선할 수 있다. 캐시란? 캐시는 비싼 연산이나 자주 조회되는 데이터를 메모리에 올려두는 임시 저장소다. 접근 시간이 오래 걸리는 반복 요청이나 값을 다시 계산하는 비용을 줄이고 싶은 경우 유용하다. 웹 서비스는 데이터베이스 호출 빈도에 따라 성능이 크게 좌우되기 때문에 캐시를 잘 활용하면 성능을 유의미하게 올릴 수 있다. 캐시 계층 캐시 계층은 데이터가 잠시 보관되는 곳으로 데이터베이스에 접근하는 것보다 훨씬 빠르다. 별도의 캐시 계층을 두면 이미 캐시에 데이터가.. 공감수 1 댓글수 0 2022. 2. 25.
[대규모 시스템 설계] 규모 확장에 따른 시스템 구성 이해하기 가상 면접 사례로 배우는 대규모 시스템 설계 기초 요약정리 글입니다. 한 명의 사용자를 지원하는 시스템에서부터 수 백만 사용자를 지원하는 시스템을 만드는 방법을 알아보기 앞서 기본적으로 사용자의 요청이 처리되는 과정을 이해할 필요가 있다. 다음은 가장 단순한 단일 서버에서 사용자의 요청이 처리되는 과정을 나타낸다. 사용자의 요청이 처리되는 과정 사용자가 웹 브라우저에 URL을 입력한다. 입력된 URL 정보는 DNS에서 IP 주소로 변환되어 반환된다. 반환된 IP 주소를 가진 웹 서버로 HTTP 요청이 전달된다. 요청받은 웹 서버는 HTML 페이지나 JSON 형태의 응답을 반환한다. 사용자 수에 따른 시스템 설계 만약 단 한 명의 사용자만 이용하는 시스템이라면 위와 같이 웹 앱, 데이터베이스, 캐시 등을 .. 공감수 0 댓글수 0 2022. 2. 20.
[네트워크] 웹과 네트워크 기본 - 인터넷 네트워크 1. 웹은 HTTP로 나타낸다. 웹 브라우저에서 URL을 입력하고 웹 페이지가 보여지기까지 클라이언트의 요청과 서버의 응답이라는 과정을 거친다. 클라이언트에서 서버까지 일련의 흐름을 결정하고 있는 것은 웹에서 HTTP(HyperText Transfer Protocol)이라 불린다. 웹은 HTTP라는 약속을 사용한 통신으로 이루어져 있다. 2. 네트워크의 기본 TCP/IP HTTP를 이해하기 위해서는 TCP/IP의 개념을 알아야 한다. 인터넷을 포함해 우리가 일반적으로 사용하는 네트워크는 TCP/IP라는 프로토콜에서 움직이고 있다. TCP/IP는 인터넷에 관련된 다양한 프로토콜 집합의 총칭이며, HTTP도 그중 하나이다. 2.1 IP(Internet Protocol) 인터넷 쇼핑을 할 때 주소를 입력해야 .. 공감수 1 댓글수 0 2021. 5. 31.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.