GCP (GoogleCloudPlatform) (4) 썸네일형 리스트형 DataPipeline (데이터 파이프라인) 정리 데이터 파이프라인이란?다양한 데이터 소스에서 원시 데이터를 수집한 다음 분석을 위해 데이터 레이크 또는 데이터 웨어하우스와 같은 데이터 저장소로 이전하는 방법입니다. 데이터는 저장소로 이동하기 전에 데이터 처리 과정을 거쳐 저장되며, 이를 통해 탐색형 데이터 분석, 데이터 시각화, 머신 러닝 작업에 활용할 수 있습니다.데이터 파이프라인 유형데이터 파이프라인에는 일괄 처리(batch processing)와 스트리밍 데이터(streaming data)의 두 가지 주요 유형이 있습니다.일괄 처리 (Batch Processing)설명: 미리 설정된 시간에 일괄적으로 데이터를 로드하여 대용량 데이터를 처리하는 방식입니다.장점: 안정성이 높습니다.스트리밍 데이터 (Streaming Data)설명: 데이터를 지속적으.. GCP에서의 서브넷 (Public, Private) # GCP에서의 서브넷 (Public, Private)GCP에서는 퍼블릭 서브넷과 프라이빗 서브넷을 명시적으로 구분하는 설정이 존재하지 않습니다. 대신, GCP는 VPC 네트워크를 기반으로 한 서브넷 구조를 사용하며, 퍼블릭 서브넷과 프라이빗 서브넷의 구분은 서브넷의 구성 및 리소스 설정에 따라 달라집니다.GCP에서 퍼블릭 서브넷과 프라이빗 서브넷을 구분하는 방식서브넷 자체는 VPC 내에서 동일GCP에서 서브넷은 단순히 VPC 네트워크 내의 IP 범위로 정의됩니다. 즉, GCP에는 "퍼블릭 서브넷"이나 "프라이빗 서브넷"이라는 구체적인 개념이 없습니다.퍼블릭 vs. 프라이빗의 차이는 리소스 설정에 달려 있음퍼블릭 서브넷: 외부 IP를 할당받은 VM들이 포함된 서브넷입니다. 이 VM들은 인터넷과 직접 연결.. GCP 퍼블릭 Compute Engine의 특징 # GCP 퍼블릭 Compute Engine의 특징GCP의 Compute Engine 인스턴스가 외부 IP를 할당받고 있다면 외부에서 해당 인스턴스로 접근이 가능합니다. 외부 IP는 인터넷을 통해 인스턴스에 직접 접근할 수 있도록 해줍니다. 다만, 방화벽 규칙이 올바르게 설정되어 있어야 외부에서 접근이 가능합니다. 기본적으로 GCP는 모든 인바운드 트래픽을 차단하므로, 필요한 포트에 대한 방화벽 규칙을 추가해야 합니다.GCP에서는 별도로 서브넷에 인터넷 게이트웨이를 연결하지 않더라도, Compute Engine 인스턴스에 외부 IP 주소만 할당되어 있다면 외부에서 해당 인스턴스로 직접 접근이 가능합니다. 자동 라우팅: GCP는 내부적으로 모든 서브넷을 인터넷에 연결하는 라우팅 테이블을 자동으로 관리합니다.. GCP 정리 (Inbound Flow와 Outbound Flow) GCP 정리인바운드 플로우 : 사용자 → External Load Balancer (ELB) → 서브넷 → 리소스 아웃바운드 플로우 : 리소스 → 서브넷 → Cloud Router → (Cloud NAT or 직접 연결) → 목적지인바운드 플로우 1. 사용자: 외부에서 요청을 보냅니다. 2. External Load Balancer (ELB): 요청을 받아 적절한 서브넷으로 전달합니다. 3. 서브넷: 요청을 수신하여 내부 리소스로 전달합니다. 4. 리소스: 요청을 처리합니다. 아웃바운드 플로우 1. 리소스: 외부로 요청을 보냅니다. 2. 서브넷: 요청을 Cloud Router로 전달합니다. 3. Cloud Router: 요청을 Cloud NAT 또는 직접 연결을 통해 외부 목적지로 전달합니다. 4. 목.. 이전 1 다음