LLM (Large Language Models) (2) 썸네일형 리스트형 ollama를 활용한 llm 만들어보기 오픈소스 llm 리소스들이 많이 등장한다.대표적으로 ollama와 llama 시리즈일 것이다.오늘 밤에는 ollama를 활용한 llm을 로컬에서 간단하게 실행 시켜 보고자 한다. 1. ollama 다운로드일단 여기서는 ubuntu 22버전을 사용했다.다운로드 명령어는 아래와 같다.curl -fsSL https://ollama.com/install.sh | sh2. 실행 시킬 모델을 다운받기ollama의 모델을 여러개 존재한다. 그중 한개를 다운받는다.ollama pull llama3:8b3. 다운받은 모델을 실행 시키기ollama run llama3:8b4. 테스트 하기test@DESKTOP-BUANL37:~$ ollama run llama3:8b>>> 안녕안녕하세요! 👋>>> 너의 이름은 뭐니나의 이.. 1. llama SourceCode 다운로드 및 실행 LLM 이 요즘 핫하다. - 그래서 llama를 활용해서 오픈 소스를 가지고 챗프로그램을 실행해 보는 작업을 진행해보자. # Download llamacpp & build git clone https://github.com/ggerganov/llama.cpp GitHub - ggerganov/llama.cpp: LLM inference in C/C++ LLM inference in C/C++. Contribute to ggerganov/llama.cpp development by creating an account on GitHub. github.com # 다운받은 폴더로 이동 cd llama.cpp # make 실행 make # Download sft ckpt from hugging face hub h.. 이전 1 다음
