본문 바로가기

분류

 (1202)
DataPipeline (데이터 파이프라인) 정리 데이터 파이프라인이란?다양한 데이터 소스에서 원시 데이터를 수집한 다음 분석을 위해 데이터 레이크 또는 데이터 웨어하우스와 같은 데이터 저장소로 이전하는 방법입니다. 데이터는 저장소로 이동하기 전에 데이터 처리 과정을 거쳐 저장되며, 이를 통해 탐색형 데이터 분석, 데이터 시각화, 머신 러닝 작업에 활용할 수 있습니다.데이터 파이프라인 유형데이터 파이프라인에는 일괄 처리(batch processing)와 스트리밍 데이터(streaming data)의 두 가지 주요 유형이 있습니다.일괄 처리 (Batch Processing)설명: 미리 설정된 시간에 일괄적으로 데이터를 로드하여 대용량 데이터를 처리하는 방식입니다.장점: 안정성이 높습니다.스트리밍 데이터 (Streaming Data)설명: 데이터를 지속적으..
GCP에서의 서브넷 (Public, Private) # GCP에서의 서브넷 (Public, Private)GCP에서는 퍼블릭 서브넷과 프라이빗 서브넷을 명시적으로 구분하는 설정이 존재하지 않습니다. 대신, GCP는 VPC 네트워크를 기반으로 한 서브넷 구조를 사용하며, 퍼블릭 서브넷과 프라이빗 서브넷의 구분은 서브넷의 구성 및 리소스 설정에 따라 달라집니다.GCP에서 퍼블릭 서브넷과 프라이빗 서브넷을 구분하는 방식서브넷 자체는 VPC 내에서 동일GCP에서 서브넷은 단순히 VPC 네트워크 내의 IP 범위로 정의됩니다. 즉, GCP에는 "퍼블릭 서브넷"이나 "프라이빗 서브넷"이라는 구체적인 개념이 없습니다.퍼블릭 vs. 프라이빗의 차이는 리소스 설정에 달려 있음퍼블릭 서브넷: 외부 IP를 할당받은 VM들이 포함된 서브넷입니다. 이 VM들은 인터넷과 직접 연결..
GCP 퍼블릭 Compute Engine의 특징 # GCP 퍼블릭 Compute Engine의 특징GCP의 Compute Engine 인스턴스가 외부 IP를 할당받고 있다면 외부에서 해당 인스턴스로 접근이 가능합니다. 외부 IP는 인터넷을 통해 인스턴스에 직접 접근할 수 있도록 해줍니다. 다만, 방화벽 규칙이 올바르게 설정되어 있어야 외부에서 접근이 가능합니다. 기본적으로 GCP는 모든 인바운드 트래픽을 차단하므로, 필요한 포트에 대한 방화벽 규칙을 추가해야 합니다.GCP에서는 별도로 서브넷에 인터넷 게이트웨이를 연결하지 않더라도, Compute Engine 인스턴스에 외부 IP 주소만 할당되어 있다면 외부에서 해당 인스턴스로 직접 접근이 가능합니다. 자동 라우팅: GCP는 내부적으로 모든 서브넷을 인터넷에 연결하는 라우팅 테이블을 자동으로 관리합니다..
GCP 정리 (Inbound Flow와 Outbound Flow) GCP 정리인바운드 플로우 : 사용자 → External Load Balancer (ELB) → 서브넷 → 리소스 아웃바운드 플로우 : 리소스 → 서브넷 → Cloud Router → (Cloud NAT or 직접 연결) → 목적지인바운드 플로우 1. 사용자: 외부에서 요청을 보냅니다. 2. External Load Balancer (ELB): 요청을 받아 적절한 서브넷으로 전달합니다. 3. 서브넷: 요청을 수신하여 내부 리소스로 전달합니다. 4. 리소스: 요청을 처리합니다.  아웃바운드 플로우 1. 리소스: 외부로 요청을 보냅니다. 2. 서브넷: 요청을 Cloud Router로 전달합니다. 3. Cloud Router: 요청을 Cloud NAT 또는 직접 연결을 통해 외부 목적지로 전달합니다. 4. 목..
분석 해야할 데이터 정리 # 분석 해야할 데이터 정리1. 분석 해야할 데이터 정리SELECT REPLACE(지역코드, '.0', '') AS 지역코드, 법정동, REPLACE(건축년도, '.0', '') AS 건축년도, TO_CHAR(TO_DATE(거래일, 'MM/DD/YYYY HH24:MI:SS'), 'YYYY-MM-DD') AS 거래일, 지번, 전용면적, 층, TO_CHAR(거래금액::numeric, 'FM999,999,999,999') AS 거래금액FROM 아파트_거래_01WHERE 지역코드 LIKE '%.0' OR 건축년도 LIKE '%.0' OR 거래일 LIKE '%/%/% %:%';
Terraform -target 을 활용한 특정 리소스 생성 및 삭제 방법 # Terraform -target 을 활용한 특정 리소스 생성 및 삭제 방법주석 해제 방법은 간단하지만, 원하는 리소스만 생성하는 더 효율적인 방법이 있습니다. Terraform에서는 -target 옵션을 사용하여 특정 리소스나 모듈만 생성할 수 있습니다. 이 방법을 사용하면 주석을 해제하거나 다시 주석 처리할 필요 없이 원하는 리소스만 생성할 수 있습니다.예를 들어, 특정 모듈만 생성하려면 다음 명령어를 사용할 수 있습니다:terraform apply -target=module.vpc이 명령어는 module.vpc만 생성합니다. 다른 리소스나 모듈을 생성하려면 -target 옵션에 해당 리소스나 모듈을 지정하면 됩니다.또한, 여러 리소스를 동시에 생성하려면 -target 옵션을 여러 번 사용할 수 있..
SCP 명령어 정리 SCP (Secure Copy Protocol) 관련 명령어SCP는 SSH를 통해 파일을 안전하게 복사하는 프로토콜입니다. 원격 서버와 로컬 시스템 간에 파일을 전송할 때 사용됩니다.기본 명령어 형식scp [옵션] [소스] [목적지]주요 명령어로컬에서 원격 서버로 파일 복사예: scp example.txt user@remote:/home/user/scp 파일명 사용자명@호스트명:/원격/경로원격 서버에서 로컬로 파일 복사예: scp user@remote:/home/user/example.txt /local/path/scp 사용자명@호스트명:/원격/경로/파일명 /로컬/경로원격 서버 간에 파일 복사예: scp user1@remote1:/home/user1/example.txt user2@remote2:/hom..
리눅스 권한 관련 명령어 정리 리눅스 권한리눅스 파일 시스템에서 파일과 디렉토리의 권한은 소유자, 그룹, 기타 사용자로 나뉘며, 각 사용자에 대해 읽기, 쓰기, 실행 권한을 설정할 수 있습니다.권한 종류읽기 (r): 파일 내용을 읽을 수 있는 권한.쓰기 (w): 파일 내용을 수정할 수 있는 권한.실행 (x): 파일을 실행할 수 있는 권한.사용자 종류소유자 (Owner): 파일이나 디렉토리를 생성한 사용자.그룹 (Group): 파일이나 디렉토리가 속한 그룹.기타 사용자 (Others): 소유자와 그룹에 속하지 않는 모든 사용자.권한 확인ls -l 파일명파일의 권한을 확인할 수 있습니다.권한 변경chmod [옵션] 권한 파일명파일의 권한을 변경할 수 있습니다.권한 설정 예제숫자 모드: 각 권한을 숫자로 표현 (읽기: 4, 쓰기: 2, 실..

티스토리툴바