ollama를 활용한 llm 만들어보기

오픈소스 llm 리소스들이 많이 등장한다.

대표적으로 ollama와 llama 시리즈일 것이다.

오늘 밤에는 ollama를 활용한 llm을 로컬에서 간단하게 실행 시켜 보고자 한다.

 

1. ollama 다운로드

일단 여기서는 ubuntu 22버전을 사용했다.

다운로드 명령어는 아래와 같다.

curl -fsSL https://ollama.com/install.sh | sh

2. 실행 시킬 모델을 다운받기

ollama의 모델을 여러개 존재한다. 그중 한개를 다운받는다.

ollama pull llama3:8b

3. 다운받은 모델을 실행 시키기

ollama run llama3:8b

4. 테스트 하기

test@DESKTOP-BUANL37:~$ ollama run llama3:8b
>>> 안녕
안녕하세요! 👋

>>> 너의 이름은 뭐니
나의 이름은 LLaMA입니다. 🤖 I'm an AI designed to chat with you in a friendly and
helpful way. Nice to meet you! 😊

- 특정 질문을 던져보기

>>> 대한민국의 수도는 어디야?
😊 The capital city of South Korea is Seoul (Hangul:). It is located in the northwest
part of the country and has been the seat of government since 1948. Seoul is also the
largest city in South Korea, with a population of over 10 million people.

- 한글로 번역은 안해준다.

>>> 대한민국의 수도는 어디야? 한글로 번역해서 알려줘
😊 The capital city of South Korea is Seoul ().

API를 제공하는것 같으니, API 연동해서 테스트를 진행 해봐야 겠다.

 

나중에는 모델을 직접 만드는 방법을 알아보고 직접 만든 모델로 테스트까지 해보면 좋을거 같다.

 

- 끝 -