Knowslog(지식저장소)

다음글 : 2023.07.31 - [IT] - Langchain으로 LLaMA2 cpp 버전 사용하기 Langchain으로 LLaMA2 cpp 버전 사용하기 서론 LLAMA 2모델을 GPU가 없는 환경에서도 사용할 수있도록 하는 GGML 프로젝트가 있다. (링크 : https://github.com/ggerganov/ggml) 해당 프로젝트를 통해서 만들어진 코드와 ggml버전 llama2 모델을 Langchain을 knowslog.tistory.com 서론 MetaAI에서 2023.7.18일 LLAMA2를 발표했다. 기존 LLaMA 1 뿐만 아니라 다른 Open LLM들 대비 성능도 좋아졌다고 되어있어 실제 사용한 후기를 남긴다. LLAMA 2 소개 대표적인 특징 연구 및 상업적 용도 사용 가능 마이크..

서론 로컬 환경에서 ChatGPT와 유사하게 오픈소스로 구성된 LLM모델을 챗봇 UI로 사용할 수 있는 GPT4ALL의 사용 방법을 설명하겠습니다. 설치 GPT4ALL은 GPU가 없는 환경에서도 사용 할 수 있다. 또한 초기 오픈소스때는 소스를 내려받고 별도로 실행하여야했는데, 현재는 간단한 설치 프로그램으로 제공하여 유저 친화적인 UI가 적용되고 있다. 링크 : https://gpt4all.io/index.html 본인의 OS에 맞는 버전을 다운로드 후 설치(별도 지정할 필요없이 다음 다음 누르면서 설치를 진행하자) 사용방법 최초 GPT4ALL실행시 사용할 모델을 선택하는 화면이 나오며 해당 화면에서 사용하고 싶은 모델을 선택하여 다운로드한다. 모델 다운로드시 모델의 용량을 확인하고 적정한 다운로드 경..

개요 2012년에 구입한 구형 맥북에어 13인치(2012 mid) 모델을 사용하지 않고 놔두고 있었다. 와이프에게 간단하게 사진 작업용으로 주기위해서 공장초기화를 하고 업데이트가 가능한 최신 OS(카탈리나) 까지 업그레이드후 주려고 했는데.. 생각보다 쉽지 않게 진행하여 다른 사람의 시행 착오를 줄여주기 위해서 글을 남긴다. 장비 : Macbook Air 13인치 2012 mid 모델 공장초기화 방법 - 맥북 재기동 후 부팅시 cmd + r 키 입력 - 아래와 같은 화면이 나오면 디스크 유틸리티를 통해서 현재 디스트 포맷 - 포맷후 두번째에 위치한 macOS 설치(초기화 하려는 맥북버전에 따라 os 버전은 상이하게 보임) - 초기화 끝 OS 업그레이드(해당 기종의 최신 버전까지) ... 중요 - 업그레이..

캠핑을 시작하면서 바베큐 통에서 두세시간씩 정성드려서 구워낸 고기를 먹어보고 싶었다. 그래서 사게된 웨버의 고애니웨어. 구매후 불조절 연습겸 진행했던 통삼겹, 3 cm 티본스테이크 이후 처음으로 두꺼운 소고기로 바베큐를 했다. 준비 - 고기 : 6cm 토마호크(1,350g) ... 구입처 : http://marbleplus.kr/products/5557754710 바베큐 시작 - 먼저 숯을 차콜부스터를 통해 점화를 한다. - 고체연료가 있으면 붙여놓고 기다리고 있으면 알아서 숯이 모두 달궈지는데, 고체연료가 떨어져 장장 뿌스러기에 착화제를 뭍혀서 사용했다. - 고기는 훈연을 하기 전에 겉을 먼저 직화로 익혀주고 진행했다. - 온도계의 침이 고기 중심에 들어갈수 있게 미리 온도계 끝을 잡고 넣어준다. - ..

서론 ChatGPT의 플러그인 중 Noteable 이라는 재밋는 것을 발경하여 사용해보고 사용한 내용을 소개하겠습니다. 해당 플러그인을 이용하면 개인이 가지고 있는 데이터를 이용해서 GPT에게 데이터 분석을 대화로 지시하면서 결과를 도출할 수 있다. Noteable 공개 소개영상 준비사항 먼저 ChatGPT의 플러그인은 현재 유료 서비스에만 제공해주고 있어 유료 사용자 계정이 필요하다. 또한 데이터 분석을 서비스를 제공해주는 Noteable에 회원가입과 작업 공간 생성이 필요하다. 유료 ChatGPT Noteable 회원가입 본론 Noteable 회원가입 및 작업공간 생성 Noteable에 접속하여 회원가입을 한다. 프로젝트 공간 생성 프로젝트 URL 저장(Chat GPT에게 해당 URL을 알려줘야한다...

서론 ChatGPT 서비스 오픈 이후에 대규모 언어모델(이하 LLM)에 대한 관심이 높아졌다. 이러한 관심은 LLM 모델을 활용하는 서비스개발로 이어지고 있다. 현재 서비스 개발을 빠르고 품질이 좋게 LLM 모델을 사용하는 방법은 ChatGPT에서 사용중인 GPT 모델을 API로 사용하는 것이다. 하지만 해당 방법은 서비스를 요청하는 Token수에 따라 비용이 발생하고, 자사의 데이터를 외부로 반출해야한다는 리스크가 있다. 이러한 문제들로 자체적으로 LLM 모델을 구축하여 데이터 유출없이 사용하는 방법이 필요하다. 이번 포스트에서는 Open LLM 모델 현황과 오픈소스 라이선스, 상업적으로 이용이 가능한 모델에 관하여 알아보고자 한다. 본론 MetaAI에서 LLAMA모델을 공개하면서 폭발적으로 OpenL..

ChatGPT로 많은 사람들이 생성형 AI 서비스에 관심이 시작되면서 IT서비스들의 빠른 발전이 일어나고 있는것 같다. Github Copilot은 21년 10월 부터 서비스하고 있었지만 내가 관심을 가지고 사용하게 된 건 생성형 AI를 이용하여 코딩을 좀 더 간편하고 빠르게 할 수 있겠다는 생각을 하고부터다. 현재 Copilot은 GPT3 모델을 사용하고 있지만, 현재 베타 테스트 중인 Copilot X는 GPT4모델을 사용한다고 한다. Copilot X 소개 영상 내가 현재 사용하고 있는 버전은 GPT3를 사용하고있는 Github Copilot과 GPT4를 사용하는 Copilot Chat이며 아래에서 간략히 설치 방법과 사용했던 사례를 소개하며 느낀 점을 남기도록 하겠다. 설치방법 Tool : Vis..

요즘IT라는 오픈형 매거진을 보다가 좋은 글을 읽고 매일 1시간씩 글쓰기를 시작하려고 한다. 글쓰기는 매일 1시간씩 조금이라도 진행하고 일주일에 한번 이상은 어떤 주제로든 블로그에 포스팅을 하는 것을 목표로 하고있다. 왜 시작하는가? 글쓰기를 시작하게된 계기는 관심사는 많은데 해당 내용을 읽기만 하고 넘어가서 그 내용을 온전히 내것으로 못만들고 있다는 생각을 하고 있던 찰라에 요즘 IT 라는 매거진에서 “글쓰기가 어려운 당싱에게(7년재 쓰는 개발자로부터) - 작가 : 유영모” 라는 글을 읽고 내가 배우고 알아가는 모든걸 확실하게 내것으로 만들기 위해서는 글을 쓰고 그리고 단순히 스크랩 짜집기가 아닌 그것을 이해하고 이해한 바탕아로 내 생각으로 적어낼줄 알아야 온전하게 내것으로 만들게 된다는걸 느꼇다. 그..