Study (7) 썸네일형 리스트형 🚦 대규모 시스템 설계 기초 1권 – 6장: 키-값 저장소 설계 이번 포스팅은 『가상 면접 사례로 배우는 대규모 시스템 설계 기초 1권』 6장을 공부하며 배웠던 개념들에 대하여 정리하였습니다.해당 장에서는 데이터 관리를 여러 노드에 복제한 분산 시스템으로 설계하고 있는데요, 이때 자연스럽게 발생하는 문제들이 있습니다. 바로 데이터 불일치, 정합성 문제, 동기화 지연 등압나다.『가상 면접 사례로 배우는 대규모 시스템 설계 기초 1권』의 6장은 이런 상황에서 어떤 기술들이 실제로 사용되는지를 설명해주고 있어 공부하면서 궁금했던 개념들을 정리해 보았습니다.🧠 분산 시스템을 이해하기 위한 핵심 개념— 머클 트리, Anti-entropy, 벡터 버저닝까지 우선 머클 트리와 Anti-entropy는 분산 환경에서 특정 노드에 장애가 발생했을 때 일관성이 깨진 데이터에 대하여 .. 🚦 대규모 시스템 설계 기초 1권 – 4장: 처리율 제한 (Rate Limiting) 1. 처리율 제한(Rate Limiting)이란?일정 시간 동안 처리할 수 있는 요청 수를 제한하는 기법입니다.과도한 요청(정상적이든 공격이든)으로부터 시스템 자원을 보호, 안정성 보장API 또는 서비스에 대한 공정한 사용량 배분 가능API abuse, DDoS, 과도한 트래픽 등으로부터 시스템을 보호하는 데 필수적2. 왜 Rate Limiting이 중요한가?✅ 서버 과부하 방지✅ 악의적 사용자/버그로 인한 폭주 대응✅ 비용 관리 (클라우드 API 호출 등 과금 최소화)✅ 서비스 품질(QoS) 유지 및 SLA 보장✅ 공정성 (특정 사용자 독점 방지)3. 처리율 제한 알고리즘1️⃣ Token Bucket (🌟실무 인기)일정 속도로 토큰을 생성하여 버킷에 채우고, 요청 시 토큰을 하나 씩 소모토큰이 있으면.. API와 SDK 기술 면접에서도 가끔 등장하고, 개발자라면 알아야 하는 필수 개념입니다. API와 SDK 가 무엇인지 알아보고, 차이점이 무엇인지 정리하였습니다.API와 SDK는 뭘까?우선 API와 SDK를 풀어쓰면 아래와 같아요.Application Programming Interface응용 프로그램 인터페이스Software Development Kit소프트웨어 개발 키트이제 각 기능을 설명하기 위해 시스템 A가 있다고 가정을 해 보고 각 개념을 정리해 보겠습니다.API다른 시스템들이 시스템 A의 특정 기능을 사용하고 싶어 합니다. 이를 위해 시스템 A에서 인터페이스를 정의해 두면, 다른 시스템들은 해당 인터페이스를 사용하여 A에서 제공하는 기능을 사용할 수 있게 됩니다. 여기서 인터페이스가 바로 API를 의미합니다... 대규모 시스템 설계 기초 2 - 6장. 광고 클릭 이벤트 집계 다양한 미디어 생태계에서 디지털 광고가 전체 광고 매출에서 차지하는 비중이 커지고 있습니다. 이로 인해, 광고 클릭 이벤트에 대한 추적 작업도 매우 중요해지고 있죠. 이번 장은 이런 추적 작업을 위한 광고 클릭 이벤트를 집계하는 기능을 개발하는 것에 대해서 설명하고 있습니다. 광고 클릭 이벤트 집계는 아래와 같은 영향을 끼칩니다.온라인 광고가 얼마나 효율적이었는지 측정함으로써, 광고주가 얼마나 많은 돈을 지불할지 결정광고 예산 조정 및 타겟 그룹이나 키워드 변경하는 광고 전략 수정따라서, 광고 클릭 이벤트 집계 결과 데이터의 정확성은 매우 중요합니다. 기능 요구사항이전 M분 동안의 ad_id 클릭 수 집계매분 가장 많이 클릭된 상위 N개 ad_id 반환다양한 속성에 따른 집계 질의 결과 필터링 지원데이터.. 대규모 시스템 설계 기초 2 - 5장. 지표 모니터링 및 경보 시스템 잘 설계된 지표 모니터링과 경보 시스템은 인프라의 상태를 상세하게 보여줌으로써 높은 가용성과 안정성을 달성하는 중추적인 역할을 수행합니다. 이번 장은 DATADOG나 Grafana처럼 유명한 대시보드 서비스와 유사한 서비스를 설계하고 있습니다. 기능/비기능 요구사항기능 요구사항인프라 규모는?DAU 1억명, 서버 풀 1,1000개, 풀당 서버 수 100개, 서버당 100개의 운영지표 수집 => 모니터링이 필요한 지표 수는 1,000만 개데이터 보관 기간: 1년수집한 그대로 데이터 보관하는 기간은 1주일, 그 후에는 1분 단위데이터로 변환 후 30일간 보관, 그 후에는 1시간 단위 데이터로 변환 후 1년간 보관 (데이터를 압축해서 저장한다는 뜻으로 지표의 해상도(resolution)를 낮춤)모니터링할 지표:.. 대규모 시스템 설계 기초 2 - 4장. 분산 메시지 큐 이번 장은 분산 메시지 큐 설계에 대해서 다루고 있습니다. 메시지 큐를 사용하면 아래와 같은 이득을 얻을 수 있습니다.결합도 완화 (decoupling): 컴포넌트 간 강한 결합이 사라져 독립적으로 갱신 가능합니다.규모 확장성 개선: Producer와 Consumer 구조를 통해 시스템 규모를 트래픽 부하에 맞게 독립적으로 늘릴 수 있습니다.가용성 개선: 시스템의 특정 컴포넌트에 장애가 발생해도 다른 컴포넌트는 큐와 계속 상호작용을 이어갈 수 있습니다.성능 개선: 비동기 통신이 가능하여 데이터가 프로세싱될 때까지 기다릴 필요가 없습니다.그럼 이 책에서 소개하는 분산 메시지 큐 설계를 위한 기능 요구사항과 비기능 요구사항을 확인해 보겠습니다.기능 요구사항Producer는 메시지 큐에 메시지를 보낼 수 있어.. 대규모 시스템 설계 기초 2 - 3장. 구글맵 해당 포스팅은, 가상 면접 사례로 배우는 대규모 시스템 설계 기초 2 스터디를 하며 정리한 포스팅입니다.이번 포스팅은 구글 맵과 관련된 서비스를 제공하기 위한 시스템 설계 부분입니다. 기능과 비기능 요구사항은 아래와 같습니다.기능 요구사항과 비기능 요구사항 분리기능사용자 위치 갱신경로 안내 서비스 (ETA(Estimated Time of Arrival) 서비스 포함)지도 표시비기능정확도: 사용자에게 정확한 경로를 안내해야 합니다.부드러운 경로 표시: 경로 안내 지도는 부드럽게 표시되고 갱신되어야 합니다/최소한의 데이터 및 배터리 사용량: 이 요구사항은 모바일 단말에 아주 중요합니다.가용성 및 규모 확장성도 고려해야 합니다.이와 같은 지리적 기반 서비스를 제공하기 전에 필요한 개념들이 아래와 같이 소개되어.. 이전 1 다음
