티스토리
관련 서비스
  • Symbols스토리 홈바로가기바로가기
  • 브런치브런치스토리바로가기바로가기
  • 카카오스토리카카오스토리바로가기바로가기

짱구의 삽질 블로그
검색하기
블로그 홈

블로그 홈

짱구의 삽질 블로그

may9noy.tistory.com/m
신고

Do my best Everyday, Enjoy every moment.

구독자
16
방명록 방문하기
구독하기
공지 🌈 인프런 강의를 오픈했어요 👏 모두보기

주요 글 목록

  • AWS에서 GCP로 사설 IP 연결하는 방법 (기본 정보) AWS에서 GCP로 사설 IP 연결 방법AWS 환경에서 사용 중인 사설 IP(10.1.1.1)를 GCP 리소스에 연결하기 위한 방법을 설명해 드리겠습니다.1. VPN 연결 구성하기AWS 측 설정AWS VPC 확인: 사설 IP(10.1.1.1)가 포함된 VPC 정보를 확인합니다가상 프라이빗 게이트웨이(Virtual Private Gateway) 생성AWS 콘솔에서 VPC 서비스로 이동가상 프라이빗 게이트웨이 생성 및 해당 VPC에 연결고객 게이트웨이(Customer Gateway) 설정GCP VPN의 외부 IP 주소를 지정하여 설정Site-to-Site VPN 연결 생성생성된 가상 프라이빗 게이트웨이와 고객 게이트웨이 연결라우팅 테이블 업데이트 (GCP CIDR 범위 추가)GCP 측 설정Cloud VPN .. 공감수 0 댓글수 0 2025. 4. 7.
  • Gitlab 설치 (GCP) # Gitlab 설치 (GCP)Gitlab을 GCP에 ComputeEngine에 설치 해보자.1. Compute Engine을 생성한다.생성된 VM에 접근 후  Gitlab을 설치한다. (아래의 명령어 참고)설치 정보는 아래와 같다.- 테스트 환경이기 때문에 방화벽을 all로 모두 오픈 하고, 모든 Google Access를 허용 한다.- 그리고 VM을 생성한다.- 생성한 VM에 고정 ip를 할당한다. (추후 gitlab 설정에 필요.)- 방화벽은 instance-all 이라는 방화벽 규칙을 만들고 태그를 all로 설정하여 인스턴스에 적용한다.- 일단 테스트 환경이므로 방화벽 규칙은 all-open으로 설정하고, 방화벽 태그 값은 all로 설정한다.2. Gitlab 설치- 시스템 업데이트sudo apt .. 공감수 0 댓글수 0 2025. 3. 31.
  • debian 에서 특정 사용자에게 root 권한 주는 방법 데비안(Debian)에서 특정 사용자에게 sudo 권한을 부여하는 방법은 다음과 같습니다.1. adduser 명령어를 사용하여 사용자 생성 (선택 사항)만약 sudo 권한을 부여할 사용자가 아직 없다면, adduser 명령어를 사용하여 새로운 사용자를 생성합니다.Bashsudo adduser 부분에 생성하려는 사용자의 이름을 입력합니다. 예를 들어, newuser라는 사용자를 생성하려면 다음과 같이 입력합니다.Bashsudo adduser newuser2. usermod 명령어를 사용하여 sudo 그룹에 사용자 추가usermod 명령어를 사용하여 사용자를 sudo 그룹에 추가합니다. sudo 그룹에 속한 사용자는 sudo 명령어를 사용할 수 있습니다.Bash sudo usermod -aG sudo 예를.. 공감수 0 댓글수 0 2025. 3. 6.
  • debian 리눅스 생성 후 외부에서 ip/password로 접근 가능하도록 세팅 하는 방법 # debian 리눅스 생성 후 외부에서 ip/password를 사용해서 접근 가능하도록 세팅 하는 방법아래의 작업은 gcp에서 인스턴스 생성 후 진행하는 작업임. 1. SSH 설정 파일 수정 (sshd_config)SSH를 통해 비밀번호 로그인을 활성화하려면 SSH 설정 파일(/etc/ssh/sshd_config)을 수정해야 합니다.Bashsudo nano /etc/ssh/sshd_config파일을 열고 다음 설정을 찾습니다.PasswordAuthentication noPasswordAuthentication을 yes로 변경합니다.PasswordAuthentication yes저장하고 편집기를 종료합니다. 2. SSH 서비스 재시작설정 변경 사항을 적용하려면 SSH 서비스를 재시작해야 합니다.Bashs.. 공감수 0 댓글수 0 2025. 3. 6.
  • GCP에서 PSC(PrivateServiceConnect)와 PSA(PrivateServiceAceess) Private Service AccessPrivate Service Access는 마치 회사 내부 네트워크에서만 접근할 수 있는 사내 인트라넷과 같습니다. 회사 내부의 컴퓨터들만 이 네트워크에 접근할 수 있으며, 외부 인터넷을 거치지 않고도 회사 내부의 중요한 서비스에 안전하게 접근할 수 있습니다.회사 내부 네트워크(VPC 네트워크)를 설정합니다.사내 데이터베이스 서버(Cloud SQL 인스턴스)를 설정하고, 내부 네트워크에서만 접근할 수 있도록 합니다.회사 내부 네트워크와 데이터베이스 서버 간의 프라이빗 연결을 설정합니다.Private Service ConnectPrivate Service Connect는 마치 회사 내부 네트워크에서 특정 외부 서비스(예: 클라우드 서비스 제공자)로의 전용 전용선을 설.. 공감수 0 댓글수 0 2025. 2. 11.
  • GCP 리소스 명명규칙 적용하기 1단계: 프로젝트 명명 규칙프로젝트 이름은 다음과 같은 규칙을 따라야 합니다.길이: 6~30자문자: 소문자, 숫자, 하이픈(-)만 사용 가능시작: 문자 또는 숫자로 시작끝: 문자 또는 숫자로 끝나야 함고유성: 전 세계적으로 고유한 이름이어야 함의미: 프로젝트의 목적이나 기능을 명확하게 나타내는 이름 사용예시: my-project-for-ml, production-environment2단계: 프로젝트 ID 명명 규칙프로젝트 ID는 프로젝트를 식별하는 데 사용되는 고유한 이름입니다. 다음 규칙을 따르는 것이 좋습니다.길이: 6~30자문자: 소문자, 숫자, 하이픈(-)만 사용 가능시작: 문자 또는 숫자로 시작끝: 문자 또는 숫자로 끝나야 함고유성: 전 세계적으로 고유한 이름이어야 함의미: 프로젝트의 목적이나 .. 공감수 1 댓글수 0 2025. 2. 4.
  • DataPipeline (데이터 파이프라인) 정리 데이터 파이프라인이란?다양한 데이터 소스에서 원시 데이터를 수집한 다음 분석을 위해 데이터 레이크 또는 데이터 웨어하우스와 같은 데이터 저장소로 이전하는 방법입니다. 데이터는 저장소로 이동하기 전에 데이터 처리 과정을 거쳐 저장되며, 이를 통해 탐색형 데이터 분석, 데이터 시각화, 머신 러닝 작업에 활용할 수 있습니다.데이터 파이프라인 유형데이터 파이프라인에는 일괄 처리(batch processing)와 스트리밍 데이터(streaming data)의 두 가지 주요 유형이 있습니다.일괄 처리 (Batch Processing)설명: 미리 설정된 시간에 일괄적으로 데이터를 로드하여 대용량 데이터를 처리하는 방식입니다.장점: 안정성이 높습니다.스트리밍 데이터 (Streaming Data)설명: 데이터를 지속적으.. 공감수 9 댓글수 0 2025. 1. 20.
  • GCP에서의 서브넷 (Public, Private) # GCP에서의 서브넷 (Public, Private)GCP에서는 퍼블릭 서브넷과 프라이빗 서브넷을 명시적으로 구분하는 설정이 존재하지 않습니다. 대신, GCP는 VPC 네트워크를 기반으로 한 서브넷 구조를 사용하며, 퍼블릭 서브넷과 프라이빗 서브넷의 구분은 서브넷의 구성 및 리소스 설정에 따라 달라집니다.GCP에서 퍼블릭 서브넷과 프라이빗 서브넷을 구분하는 방식서브넷 자체는 VPC 내에서 동일GCP에서 서브넷은 단순히 VPC 네트워크 내의 IP 범위로 정의됩니다. 즉, GCP에는 "퍼블릭 서브넷"이나 "프라이빗 서브넷"이라는 구체적인 개념이 없습니다.퍼블릭 vs. 프라이빗의 차이는 리소스 설정에 달려 있음퍼블릭 서브넷: 외부 IP를 할당받은 VM들이 포함된 서브넷입니다. 이 VM들은 인터넷과 직접 연결.. 공감수 0 댓글수 0 2025. 1. 6.
  • GCP 퍼블릭 Compute Engine의 특징 # GCP 퍼블릭 Compute Engine의 특징GCP의 Compute Engine 인스턴스가 외부 IP를 할당받고 있다면 외부에서 해당 인스턴스로 접근이 가능합니다. 외부 IP는 인터넷을 통해 인스턴스에 직접 접근할 수 있도록 해줍니다. 다만, 방화벽 규칙이 올바르게 설정되어 있어야 외부에서 접근이 가능합니다. 기본적으로 GCP는 모든 인바운드 트래픽을 차단하므로, 필요한 포트에 대한 방화벽 규칙을 추가해야 합니다.GCP에서는 별도로 서브넷에 인터넷 게이트웨이를 연결하지 않더라도, Compute Engine 인스턴스에 외부 IP 주소만 할당되어 있다면 외부에서 해당 인스턴스로 직접 접근이 가능합니다. 자동 라우팅: GCP는 내부적으로 모든 서브넷을 인터넷에 연결하는 라우팅 테이블을 자동으로 관리합니다.. 공감수 0 댓글수 0 2025. 1. 3.
  • GCP 정리 (Inbound Flow와 Outbound Flow) GCP 정리인바운드 플로우 : 사용자 → External Load Balancer (ELB) → 서브넷 → 리소스 아웃바운드 플로우 : 리소스 → 서브넷 → Cloud Router → (Cloud NAT or 직접 연결) → 목적지인바운드 플로우 1. 사용자: 외부에서 요청을 보냅니다. 2. External Load Balancer (ELB): 요청을 받아 적절한 서브넷으로 전달합니다. 3. 서브넷: 요청을 수신하여 내부 리소스로 전달합니다. 4. 리소스: 요청을 처리합니다.  아웃바운드 플로우 1. 리소스: 외부로 요청을 보냅니다. 2. 서브넷: 요청을 Cloud Router로 전달합니다. 3. Cloud Router: 요청을 Cloud NAT 또는 직접 연결을 통해 외부 목적지로 전달합니다. 4. 목.. 공감수 0 댓글수 0 2025. 1. 3.
  • 분석 해야할 데이터 정리 # 분석 해야할 데이터 정리1. 분석 해야할 데이터 정리SELECT REPLACE(지역코드, '.0', '') AS 지역코드, 법정동, REPLACE(건축년도, '.0', '') AS 건축년도, TO_CHAR(TO_DATE(거래일, 'MM/DD/YYYY HH24:MI:SS'), 'YYYY-MM-DD') AS 거래일, 지번, 전용면적, 층, TO_CHAR(거래금액::numeric, 'FM999,999,999,999') AS 거래금액FROM 아파트_거래_01WHERE 지역코드 LIKE '%.0' OR 건축년도 LIKE '%.0' OR 거래일 LIKE '%/%/% %:%'; 공감수 0 댓글수 0 2024. 11. 27.
  • Terraform -target 을 활용한 특정 리소스 생성 및 삭제 방법 # Terraform -target 을 활용한 특정 리소스 생성 및 삭제 방법주석 해제 방법은 간단하지만, 원하는 리소스만 생성하는 더 효율적인 방법이 있습니다. Terraform에서는 -target 옵션을 사용하여 특정 리소스나 모듈만 생성할 수 있습니다. 이 방법을 사용하면 주석을 해제하거나 다시 주석 처리할 필요 없이 원하는 리소스만 생성할 수 있습니다.예를 들어, 특정 모듈만 생성하려면 다음 명령어를 사용할 수 있습니다:terraform apply -target=module.vpc이 명령어는 module.vpc만 생성합니다. 다른 리소스나 모듈을 생성하려면 -target 옵션에 해당 리소스나 모듈을 지정하면 됩니다.또한, 여러 리소스를 동시에 생성하려면 -target 옵션을 여러 번 사용할 수 있.. 공감수 0 댓글수 0 2024. 11. 1.
  • SCP 명령어 정리 SCP (Secure Copy Protocol) 관련 명령어SCP는 SSH를 통해 파일을 안전하게 복사하는 프로토콜입니다. 원격 서버와 로컬 시스템 간에 파일을 전송할 때 사용됩니다.기본 명령어 형식scp [옵션] [소스] [목적지]주요 명령어로컬에서 원격 서버로 파일 복사예: scp example.txt user@remote:/home/user/scp 파일명 사용자명@호스트명:/원격/경로원격 서버에서 로컬로 파일 복사예: scp user@remote:/home/user/example.txt /local/path/scp 사용자명@호스트명:/원격/경로/파일명 /로컬/경로원격 서버 간에 파일 복사예: scp user1@remote1:/home/user1/example.txt user2@remote2:/hom.. 공감수 0 댓글수 0 2024. 11. 1.
  • 리눅스 권한 관련 명령어 정리 리눅스 권한리눅스 파일 시스템에서 파일과 디렉토리의 권한은 소유자, 그룹, 기타 사용자로 나뉘며, 각 사용자에 대해 읽기, 쓰기, 실행 권한을 설정할 수 있습니다.권한 종류읽기 (r): 파일 내용을 읽을 수 있는 권한.쓰기 (w): 파일 내용을 수정할 수 있는 권한.실행 (x): 파일을 실행할 수 있는 권한.사용자 종류소유자 (Owner): 파일이나 디렉토리를 생성한 사용자.그룹 (Group): 파일이나 디렉토리가 속한 그룹.기타 사용자 (Others): 소유자와 그룹에 속하지 않는 모든 사용자.권한 확인ls -l 파일명파일의 권한을 확인할 수 있습니다.권한 변경chmod [옵션] 권한 파일명파일의 권한을 변경할 수 있습니다.권한 설정 예제숫자 모드: 각 권한을 숫자로 표현 (읽기: 4, 쓰기: 2, 실.. 공감수 0 댓글수 0 2024. 11. 1.
  • Terraform으로 인프라를 구성할 때 알아야 할 기본 사항 # Terraform으로 인프라를 구성할 때 알아야 할 기본 사항AWS 리소스를 생성하고 구성할 때 필요한 요소들에 대한 정보는 주로 다음과 같은 출처에서 얻을 수 있습니다.공식 문서: AWS 공식 문서와 Terraform 공식 문서를 참고하면 각 리소스의 사용법과 구성 방법을 자세히 알 수 있습니다.AWS VPC 공식 문서Terraform AWS Provider 공식 문서예제 코드: Terraform Registry나 GitHub 등에서 제공하는 예제 코드를 참고하면 실제 사용 사례를 통해 필요한 리소스와 구성 방법을 알 수 있습니다.Terraform AWS VPC Module블로그 및 튜토리얼: 다양한 블로그와 튜토리얼에서 AWS 인프라를 구성하는 방법을 단계별로 설명합니다. 이를 통해 필요한 리소스.. 공감수 1 댓글수 1 2024. 11. 1.
  • Terraform 버전과 관련한 내용 정리 # Terraform 버전과 관련한 내용 정리terraform { required_version = ">= 1.0.0, terraform 블록에서 required_version을 ">= 1.0.0, 이 설정을 통해 호환되지 않는 Terraform 버전으로 인한 문제를 방지할 수 있습니다. - 끝 - 공감수 0 댓글수 0 2024. 11. 1.
  • 색 찾을때 # 색 찾을때https://www.ginifab.com/feeds/pms/color_picker_from_image.ko.php 이미지에서 색상 코드 선택이미지 색상 선택기, 사진에서 색상 선택www.ginifab.com - 끝 - 공감수 0 댓글수 0 2024. 10. 29.
  • Terraform 리소스 값을 사용하기 위한 Module간 관계 정리 코드는 아래와 같다.# 사용되는 Flow를 블로그에 정리.module "subnet" { source = "./modules/subnet" # 서브넷 모듈 소스 경로 vpc_id = module.vpc.vpc_id # VPC 모듈에서 VPC ID 가져오기 route_table_id = module.vpc.route_table_id # VPC 모듈에서 라우트 테이블 ID 가져오기}module.vpc.route_table_id와 module.vpc.vpc_id 값을 가져오는 흐름은 다음과 같습니다:modules/vpc/main.tf 파일에서 VPC와 라우트 테이블 리소스 정의aws_vpc.main 리소스는 VPC를 생성하고, aws_route_table.main 리소스는 라우트 테이블을 생성합니다.. 공감수 3 댓글수 3 2024. 10. 24.
  • terraform module (테라폼 모듈의 실행 Flow) # 현재 폴더의 구성은 아래와 같다.├── main.tf└── modules ├── ec2 │ └── main.tf ├── key-pair │ └── main.tf ├── nat-gateway │ └── main.tf ├── security-group │ └── main.tf ├── subnet │ └── main.tf └── vpc └── main.tf# Terraform module의 실행 Flow 정리Terraform은 모듈 간의 의존성을 자동으로 관리합니다. main.tf 파일에서 vpc_id와 route_table_id를 module.vpc에서 가져오도록 설정했기 때문에, Terraform은 vpc 모듈을 .. 공감수 1 댓글수 0 2024. 10. 24.
  • Terraform outputs와 variables의 관계 정리 # Terraform outputs와 variables의 관계 정리Terraform에서 outputs와 variables는 서로 다른 목적을 가지고 있으며, 다음과 같은 관계가 있습니다.Variables (변수)variables는 Terraform 구성에서 입력 값을 정의하는 데 사용됩니다.사용자가 Terraform 실행 시 값을 제공하거나, 기본값을 설정할 수 있습니다.예를 들어, main.tf 파일에서 모듈에 값을 전달할 때 사용됩니다.variable "vpc_id" { description = "The ID of the VPC" type = string}Outputs (출력)outputs는 Terraform 구성에서 생성된 리소스의 값을 출력하는 데 사용됩니다.다른 모듈이나 외부 시.. 공감수 0 댓글수 0 2024. 10. 24.
  • 모듈간 상호작용 # 모듈간 상호작용이란?모듈간 상호작용 정리모듈간 상호작용은 Controller에서 Service를 호출하고 Service에서 Mapper를 호출하는 과정또한 모듈간의 상호작용 이라고 볼 수 있다.controller에서 service를 호출하고, service에서 mapper를 호출하는 과정은 모듈 간의 상호작용의 좋은 예이다. 이러한 상호작용을 통해 각 모듈은 독립적으로 동작하면서도 협력하여 전체 시스템의 기능을 수행한다. 그리고, 모듈 간의 상호작용은 보통 소프트웨어 시스템의 내부 아키텍처(Inner Architecture)로 볼 수 있다. 내부 아키텍처는 시스템 내의 다양한 모듈들이 어떻게 상호작용하고 협력하는지를 정의한다. 이를 통해 시스템의 구조와 동작 방식을 이해하고 설계할 수 있다. # MV.. 공감수 0 댓글수 0 2024. 10. 18.
  • SpringBoot를 기반으로 Application Architect 설계하기 Spring Boot를 백엔드로 사용하는 애플리케이션 아키텍트 역할은 다음과 같은 역할과 책임을 수행해야 한다.아키텍처 설계시스템의 전체 아키텍처를 설계하고, 모듈 간의 상호작용을 정의한다.마이크로서비스 아키텍처, 레이어드 아키텍처 등 적절한 아키텍처 패턴을 선택한다.기술 스택 선택프로젝트에 적합한 기술 스택을 선택한다. 예를 들어, 데이터베이스, 메시징 시스템, 캐시 시스템 등을 결정한다.보안애플리케이션의 보안 요구사항을 정의하고, 인증 및 인가 메커니즘을 설계한다.데이터 보호, 암호화, 보안 감사 등을 고려한다.성능 최적화애플리케이션의 성능을 최적화하기 위한 전략을 수립한다.캐싱, 데이터베이스 최적화, 비동기 처리 등을 고려한다.스케일링애플리케이션이 증가하는 트래픽을 처리할 수 있도록 스케일링 전략을.. 공감수 0 댓글수 0 2024. 10. 18.
  • 챗봇 만들기 3탄 (특정 도메인을 학습시켜 보기) # 나만의 LLM 만들기나만의 LLM을 만들어보자. 1. 데이터 셋 만들기일단 데이터가 필요하니까, 데이터는 검색문을 파라미터로 하여 구글에서 크롤링을 해오자.아래와 같이 크롤링이 실행된다.크롤링이 완료되면 일단 CSV 파일로 저장한다.아래와 같이 저장이 된다.2. 생성된 데이터 셋을 가지고 학습하기데이터 셋 경로를 아래와 같이 크롤링 후 저장된 파일 경로와 파일로 지정한다.해당 파일의 경로를 참고로 학습이 이루어진다.학습을 시작하기 전에 새롭게 학습된 데이터는 아래와 같이 별도의 폴더로 생성되도록 구현했다.학습을 시작기본 모델에 크롤링한 데이터만 학습시키는 것이기 때문에 학습 시간은 사양 낮은 노트북을 에 비해 그리 오래 걸리진 않는다. 약 7분 소요.3. 학습된 결과를 가지고 테스트학습된 결과를 가지.. 공감수 0 댓글수 0 2024. 9. 24.
  • 챗봇 만들기 2탄 (질문과 응답을 개선) # 챗봇 만들기 2탄챗봇을 만들어보자, 질문과 응답을 개선해 보자.1. 데이터 셋데이터 셋을 바꿔서 전처리를 수행하고 질문과 응답을 구현했다.데이터 셋의 데이터는 아래의 링크에서 활용했다.https://github.com/songys/Chatbot_data GitHub - songys/Chatbot_data: Chatbot_data_for_KoreanChatbot_data_for_Korean. Contribute to songys/Chatbot_data development by creating an account on GitHub.github.com2. 코드파이썬 코드는 아래와 같다.이전에 생성한 코드에서 데이터 셋의 경로와 데이터 셋 전처리 부분만 바꾼 후 테스트 데이터 약 1000개를 별도로 저장 .. 공감수 5 댓글수 6 2024. 9. 23.
  • ElasticSearch를 Repository Pattern을 활용하여 구성 (2) # 생성한 ElasticSearch Index에 실제 로그 데이터를 적재하는 작업1. 디자인 패턴ElasticSearch에 최적화된 Repository Pattern을 적용자세한 설명은 아래 url 참고https://medium.com/@pererikbergman/repository-design-pattern-e28c0f3e4a30 Repository Design PatternThe repository pattern is one of the more popular patterns at the moment. I for one like it, it follows the solid principles and done right…medium.com간단하게 말하면 Repository 패턴은 데이터 액세스 로직을 .. 공감수 3 댓글수 4 2024. 9. 20.
  • ElasticSearch를 Repository Pattern을 활용하여 구성 (1) # ElasticSearch는 주로 언제 사용 될까?Elasticsearch는 분산형 검색 및 분석 엔진으로, 대량의 데이터를 실시간으로 검색하고 분석하는 데 사용된다. 주로 로그 분석, 텍스트 검색, 데이터 시각화, 애플리케이션 모니터링 등에 사용된다. 언제 사용할까? 로그 및 이벤트 데이터 분석: 대량의 로그 데이터를 실시간으로 수집하고 분석할 때. 텍스트 검색: 웹사이트나 애플리케이션에서 빠른 텍스트 검색 기능을 제공할 때. 데이터 시각화: Kibana와 함께 사용하여 데이터를 시각화하고 대시보드를 만들 때. 애플리케이션 모니터링: 시스템 성능 모니터링 및 알림 설정을 할 때. 어떻게 사용할까? Elasticsearch 설치 및 설정 Elasticsearch를 다운로드하고 설치한다. elastics.. 공감수 0 댓글수 0 2024. 9. 20.
  • ChatBot(챗봇) 만들어보기 # 챗봇을 만들어보자.skt/kogpt2-base-v2 라는 한국어 모델을 활용해서 데이터를 학습 시켜보고 챗 봇을 만들어보자. 음 일단 학습을 시키기엔 내 노트북이 사양이 좋지 않으니, 학습 데이터 양을 조절해서 진행을 해야한다.학습 데이터의 양은 약 700개 정도이다. 원래 학습 해야할 데이터 셋의 약 10%정도를 학습을 시켜서 챗봇을 만들어 보고자 한다. 700개 학습 시키는데도 30분정도가 걸린다... 1. 데이터 셋 준비일단 데이터 셋을 준비 해야 하는데, 인터넷에서 잠시 찾아보면 쉽게 찾을 수 있다.예를들면 캐글에서 챗봇 데이터를 찾는다면 아래와 같이 쉽게 찾을수 있다. 이외에도 데이터는 많다. 깃헙만 가봐도 많이 찾을수 있다.https://www.kaggle.com/code/pinooxd/g.. 공감수 3 댓글수 2 2024. 9. 19.
  • LLM 파인튜닝 해보기 # 파인튜닝을 해보자skt/kogpt2-base-v2 모델을 활용하여, 파인튜닝을 진행해 보기로 했다. 학습전 상태학습 전에 아래와 같이 몇가지 질문을 던져보면, 어뚱한 답변을 한다. 아주 간혹 그럴듯한 답변을 하지만, 음... 이상하다.AI: 로로드밸런서가 뭔지 알아????????????????????????????????????사용자: l4AI: l4ml, 500ml, 500ml, 500ml, 500ml, 500ml, 500ml, 500ml, 500ml, 500ml, 500ml, 500ml, 500ml, 500ml, 500ml, 500ml,사용자: l4 l7AI: l4 l7Lv.1 lv.1 lv.1 lv.1 lv.1140 lv.1 lv.1 lv.1140 lv.1 lv.1 lv.1140 lv.1사용자:.. 공감수 3 댓글수 3 2024. 9. 19.
  • ollama를 활용한 llm 만들어보기 오픈소스 llm 리소스들이 많이 등장한다.대표적으로 ollama와 llama 시리즈일 것이다.오늘 밤에는 ollama를 활용한 llm을 로컬에서 간단하게 실행 시켜 보고자 한다. 1. ollama 다운로드일단 여기서는 ubuntu 22버전을 사용했다.다운로드 명령어는 아래와 같다.curl -fsSL https://ollama.com/install.sh | sh2. 실행 시킬 모델을 다운받기ollama의 모델을 여러개 존재한다. 그중 한개를 다운받는다.ollama pull llama3:8b3. 다운받은 모델을 실행 시키기ollama run llama3:8b4. 테스트 하기test@DESKTOP-BUANL37:~$ ollama run llama3:8b>>> 안녕안녕하세요! 👋>>> 너의 이름은 뭐니나의 이.. 공감수 4 댓글수 4 2024. 9. 15.
  • 분산 트랜잭션 (2) 사이드카 패턴에 대해서 알아보고 이것저것 해보다가 문뜩 분산 트랜잭션에 대해서 궁금증이 생겼다.일단 트랜잭션이란 무엇인지 잠깐 정리하자면, 트랜잭션은 데이터베이스에서 하나의 논리적 작업 단위를 의미하며, 여러 개의 데이터베이스 연산을 하나의 작업으로 묶어 처리하는것을 의미한다. 트랜잭션의 주요 특징은 ACID 속성으로 요약된다.BEGIN TRANSACTION: 트랜잭션의 시작을 알린다. COMMIT: 트랜잭션을 성공적으로 완료하고, 모든 변경 사항을 데이터베이스에 영구적으로 반영을 수행 한다.ROLLBACK: 트랜잭션을 취소하고, 모든 변경 사항을 원래 상태로 되돌리는 작업을 수행한다. SAVEPOINT: 트랜잭션 내에서 특정 지점을 저장하여, 필요 시 해당 지점으로 롤백할 수 있게 한다. 1. 분산 환.. 공감수 2 댓글수 1 2024. 9. 13.
    문의안내
    • 티스토리
    • 로그인
    • 고객센터

    티스토리는 카카오에서 사랑을 담아 만듭니다.

    © Kakao Corp.