딥시크가 제 역할을 하지 못했다한글을 모르기 때문...지금 내가 구축하려는 것은 '일기에 피드백을 주는 선생님 AI'이기 때문에 한글은 필수이다이번엔 야놀자에서 만든, 성능 괜찮기로 유명한 EEVE 모델을 사용해보겠다오늘 사용할 컴퓨터는 Beelink S12 Pro로 N100으로 유명한 미니 PC이다OS: Ubuntu 22.04.5 LTS x86_64 Kernel: 6.8.0-59-generic CPU: Intel N100 (4) @ 3.400GHz GPU: Intel Device 46d1 Memory: 5724MiB / 15771MiB0. 기본 세팅 환경1) docker-compose.yml ollama: image: ollama/ollama container_name: ollama ..

로컬에서 LLM 쓰기... 포기 모태...아래와 같은 디렉토리 구조로 구성할 것임docker-compose/├── docker-compose.yml├── app/│ ├── Dockerfile.api # FastAPI 서버용│ └── main.py # FastAPI 작성├── ollama/ └── models/ # 모델 저장될 로컬 경로그럼 일단 작성해야할 것들이 3가지- docker-compose.yml- Dockerfile (FastAPI 서버용)- main.py (FastAPI 서버 실행용)빠르게 가봅시다1. 설정 파일 작성컨셉은 일기를 답변해주는 선생님 모드로 세팅해보겠다1) docker-compo..

간단하고 빠르게 간다 일단 서버에 Olllama를 설치해줄 것이다Ollama는 로컬에서 간단히 LLM을 구동시켜주는 아주 유용한 오픈소스이다1. 로컬에 설치하기Ollama 공식 깃허브에 아주 상세히 나와있다https://github.com/ollama/ollama GitHub - ollama/ollama: Get up and running with Llama 3.3, DeepSeek-R1, Phi-4, Gemma 3, Mistral Small 3.1 and other large languaGet up and running with Llama 3.3, DeepSeek-R1, Phi-4, Gemma 3, Mistral Small 3.1 and other large language models. - ollam..

돈 안드는(줄 알았던) 나만의 GPT 만들기요즘 핫한 LLM을 직접 써볼 예정이다 사실 이걸 정리해둔건 24년 8월 1일...그간 정말 바빴고 이것저것 해보느라 늦었당 꽤나 재밌었음+ AI는 돈이 많이 든다는 것을 깨달았다 고스펙 하드웨어 필요...Llama3는 무료지만 이걸 돌리는 하드웨어 스펙과 꽤 나오는 전기세는 공짜가 아니지롱!!(그리고 이걸 네이버 블로그에서 이제서야 옮겨오네...)테스트 환경OS : Window 10 ProCPU : AMD 5600xRAM : 64GBSSD : 1TBGPU : Radeon RX 6900 XTps. AI를 다룰 때 아직까진 AMD 그래픽 카드는 잼병이다... (nvidia 사세요..)1. GPT4ALL 이란?공홈에 적힌 것을 살펴보면 아래와 같이 적혀 있음'GPT..