(침몰한) 프로젝트 몰티저스이번 글은 나의 오픈클로 한달 체험기가 되겠다나는 한달 조금 넘는 시간동안 이것저것 실험해보았고 나만의 결론을 낼 수 있었다그리고 누군가에게 도움이 되고자 이렇게 기록으로 남기고자 한다아 본론에 들어가기 전에 결론부터 말하면 로컬 LLM으로 오픈클로(OpenClaw)를 돌리기 위해 맥미니를 사는 것은 비추천이다 ^^ ps. 프로젝트명이 몰티저스인 이유는 오픈클로 캐릭터가 동글동글 귀여워서...ps. 혹시 제가 사용한 모델 외에 효율이 더 좋거나, 정말 실사용 가능한 정도의 성능을 보여주는 모델이 있다면, 추천해시면 정말 감사합니다! 혹은 세팅법을 알려주셔도.. 감동...ps.- 다른 후기들은 맨 밑의 태그를 눌러 확인하실 수 있습니다26.03.30 업데이트- 오픈클로 돌린 M1..

PII 오픈소스 테스트를 했더랬죠PII(Personally Identifiable Information), 즉 개인 식별 정보를 제거해주는 AI 모델을 테스트 할 일이 있었다여러 모델이 있었는데 각 성능을 비교하거나 정리된 글은 보지 못했다따라서 혹여나 찾으시는 분이 있다면 도움이 되고자 포스팅하게 되었다 ps. 아래 모델들은 Hugging Face에서 찾았다0. 결론- 이 중에서는 seungkukim/korean-pii-masking-v2가 가장 성능이 좋았다- PII 모델간 성능편차와 유형별 인식 안정성 차이가 크다- PII 기능 전체를 위임하기엔 불안정하였다 (커스텀 필수)- 물론 내 테스트가 미흡했거나 잘못됐을 수도 있다는 가능성 역시 무시 못하니 감안해서 참고해주시면 좋을듯..!0. input ..

늘 비용이 문제!!오늘은 GPT나 Gemini같은 것들이 아니라 로컬에 LLM을 띄워서 직접 오픈클로에 연결해보겠다이를 진행할 경우 API 사용요금이 일절 안나오기 때문에 비용절감 측면에서 기대가 된다 (서버 비용은 조상님이 내주시냐?!!)일단 오늘 나는 GPU 서버를 별도로 준비했기 때문에 여기에 LLM을 띄워서 진행해볼 예정이다 ps.- 참고로 오늘 사용한 오픈클로 서버는 M1 맥미니(MacOS)이다- 나처럼 별도의 GPU가 아닌 하나의 맥미니에서 다 해결하시는 경우 3번(오픈클로에 로컬 LLM 연결하기)만 보시면 될듯하다26.03.20 업데이트- 오픈클로 한달 후기이자 나(만)의 결론- 맥미니는 사지 마시라!!! ㅠㅠhttps://ratatou2.tistory.com/358 오픈클로(OpenClaw..

프로젝트 몰트봇 시작합니다오늘은 개인적으로 흥미가 있었던 오픈클로(Openclaw), 구 몰트봇(Moltbot)을 설치해보겠다알아서 내 취향을 파악하고 자동화해주는 AI 비서는 예전부터 꿈이었기 때문...오늘은 아래와 같은 순서로 진행해보겠다로컬 서버에 오픈클로 설치만 필요하신 분은 1번만 보시면 되겠다1. 로컬 서버에 오픈클로 설치2. 오픈클로 세팅하기3. 오픈클로에 텔레그램 연결ps. 아 결론부터 말씀드리면 사실 아무리 외부 LLM API를 쓰는 오픈클로도 최소한의 PC 사양은 챙겨주는 것이 좋다오늘 사용한 PC 성능은 아래와 같았는데 굉장히 버거워했음특히 RAM은 8GB로 늘려줘서 해결했지만 CPU 병목이 대단했다 (걸핏하면 100% 풀로드...)이후엔 맥미니 M1 (16GB)을 구해다가 변경해주었..

토큰이가 비싸요...CLI 버전의 AI를 쓰다보면 토큰을 호로롭 다 써버려서 문제가 생길 때가 있다이게 정확히 뭐고 어떻게 하면 아껴쓸 수 있는지 궁금해져서 나 나름대로 조사하고 정리해보았다토큰이란?- 기본적으로 토큰은 텍스트를 처리하기 위한 단위다- 쉽게 말해 AI 사용 비용을 계산하기 위한 기준이다 - 기업들은 요금별로 이 토큰량을 차등 제한을 두어 서비스를 제공하고 있다 - 좀 더 정확히는 요금제, 모델, API 정책에 따라 서비스가 제공되기는 한다 - 토큰 종류에는 크게 2가지가 있는데 '입력 토큰'과 '출력 토큰'이다- 입력 토큰은 '우리가 AI에게 보내는 텍스트'- 출력 토큰은 'AI가 우리에게 보내는 텍스트'토큰을 아껴쓰는 방법- 그렇다면 어떻게 하면 이 귀한 토큰을 아껴쓸 수 있는지 알아보..

아 네 개인정보 냠냠 하겠다구 ㅋㅋGPT 유료 모델을 쓰면 GPT 모델을 만들 수 있다GPT 모델을 생성하면 하단에 (접혀있는) 추가 설정이 있는데 이 카테고리에 치명적인 내용이 숨겨져 있다바로 내 대화 데이터를 더 나은 모델 개발에 쓴다는 것 ㅋㅋㅋ 내 개인정보를 왜 니들 맘대로 미리 체크하고 시작하냐?장난하냐 진짜?이걸 또 ㅋㅋㅋㅋ 펼쳐놓지 않고 접어두고 시작한다는게 참 다분히 의도적이네요 ㅎㅎ반드시 체크 해제 하십쇼 여러분 ㅠㅠps. 확인해보니 초기부터 안내해주는 게시글이 몇개 존재했고, 나만 이제 본 케이스... ㅠps. 가끔 없는 것도 있는거보니 뭔가 최근에 업데이트 된건가 싶기도 하고요..'지식'을 업로드 하면 추가 설정이 생김!!테스트 해보니 지식을 업로드하면 '추가 설정'이 생기고 자동으로..

딥시크가 제 역할을 하지 못했다한글을 모르기 때문...지금 내가 구축하려는 것은 '일기에 피드백을 주는 선생님 AI'이기 때문에 한글은 필수이다이번엔 야놀자에서 만든, 성능 괜찮기로 유명한 EEVE 모델을 사용해보겠다오늘 사용할 컴퓨터는 Beelink S12 Pro로 N100으로 유명한 미니 PC이다OS: Ubuntu 22.04.5 LTS x86_64 Kernel: 6.8.0-59-generic CPU: Intel N100 (4) @ 3.400GHz GPU: Intel Device 46d1 Memory: 5724MiB / 15771MiB0. 기본 세팅 환경1) docker-compose.yml ollama: image: ollama/ollama container_name: ollama ..

로컬에서 LLM 쓰기... 포기 모태...아래와 같은 디렉토리 구조로 구성할 것임docker-compose/├── docker-compose.yml├── app/│ ├── Dockerfile.api # FastAPI 서버용│ └── main.py # FastAPI 작성├── ollama/ └── models/ # 모델 저장될 로컬 경로그럼 일단 작성해야할 것들이 3가지- docker-compose.yml- Dockerfile (FastAPI 서버용)- main.py (FastAPI 서버 실행용)빠르게 가봅시다1. 설정 파일 작성컨셉은 일기를 답변해주는 선생님 모드로 세팅해보겠다1) docker-compo..

간단하고 빠르게 간다 일단 서버에 Olllama를 설치해줄 것이다Ollama는 로컬에서 간단히 LLM을 구동시켜주는 아주 유용한 오픈소스이다1. 로컬에 설치하기Ollama 공식 깃허브에 아주 상세히 나와있다https://github.com/ollama/ollama GitHub - ollama/ollama: Get up and running with Llama 3.3, DeepSeek-R1, Phi-4, Gemma 3, Mistral Small 3.1 and other large languaGet up and running with Llama 3.3, DeepSeek-R1, Phi-4, Gemma 3, Mistral Small 3.1 and other large language models. - ollam..

돈 안드는(줄 알았던) 나만의 GPT 만들기요즘 핫한 LLM을 직접 써볼 예정이다 사실 이걸 정리해둔건 24년 8월 1일...그간 정말 바빴고 이것저것 해보느라 늦었당 꽤나 재밌었음+ AI는 돈이 많이 든다는 것을 깨달았다 고스펙 하드웨어 필요...Llama3는 무료지만 이걸 돌리는 하드웨어 스펙과 꽤 나오는 전기세는 공짜가 아니지롱!!(그리고 이걸 네이버 블로그에서 이제서야 옮겨오네...)테스트 환경OS : Window 10 ProCPU : AMD 5600xRAM : 64GBSSD : 1TBGPU : Radeon RX 6900 XTps. AI를 다룰 때 아직까진 AMD 그래픽 카드는 잼병이다... (nvidia 사세요..)1. GPT4ALL 이란?공홈에 적힌 것을 살펴보면 아래와 같이 적혀 있음'GPT..