Knowslog(지식저장소)

다음글 : 2023.07.31 - [IT] - Langchain으로 LLaMA2 cpp 버전 사용하기 Langchain으로 LLaMA2 cpp 버전 사용하기 서론 LLAMA 2모델을 GPU가 없는 환경에서도 사용할 수있도록 하는 GGML 프로젝트가 있다. (링크 : https://github.com/ggerganov/ggml) 해당 프로젝트를 통해서 만들어진 코드와 ggml버전 llama2 모델을 Langchain을 knowslog.tistory.com 서론 MetaAI에서 2023.7.18일 LLAMA2를 발표했다. 기존 LLaMA 1 뿐만 아니라 다른 Open LLM들 대비 성능도 좋아졌다고 되어있어 실제 사용한 후기를 남긴다. LLAMA 2 소개 대표적인 특징 연구 및 상업적 용도 사용 가능 마이크..

서론 로컬 환경에서 ChatGPT와 유사하게 오픈소스로 구성된 LLM모델을 챗봇 UI로 사용할 수 있는 GPT4ALL의 사용 방법을 설명하겠습니다. 설치 GPT4ALL은 GPU가 없는 환경에서도 사용 할 수 있다. 또한 초기 오픈소스때는 소스를 내려받고 별도로 실행하여야했는데, 현재는 간단한 설치 프로그램으로 제공하여 유저 친화적인 UI가 적용되고 있다. 링크 : https://gpt4all.io/index.html 본인의 OS에 맞는 버전을 다운로드 후 설치(별도 지정할 필요없이 다음 다음 누르면서 설치를 진행하자) 사용방법 최초 GPT4ALL실행시 사용할 모델을 선택하는 화면이 나오며 해당 화면에서 사용하고 싶은 모델을 선택하여 다운로드한다. 모델 다운로드시 모델의 용량을 확인하고 적정한 다운로드 경..

개요 2012년에 구입한 구형 맥북에어 13인치(2012 mid) 모델을 사용하지 않고 놔두고 있었다. 와이프에게 간단하게 사진 작업용으로 주기위해서 공장초기화를 하고 업데이트가 가능한 최신 OS(카탈리나) 까지 업그레이드후 주려고 했는데.. 생각보다 쉽지 않게 진행하여 다른 사람의 시행 착오를 줄여주기 위해서 글을 남긴다. 장비 : Macbook Air 13인치 2012 mid 모델 공장초기화 방법 - 맥북 재기동 후 부팅시 cmd + r 키 입력 - 아래와 같은 화면이 나오면 디스크 유틸리티를 통해서 현재 디스트 포맷 - 포맷후 두번째에 위치한 macOS 설치(초기화 하려는 맥북버전에 따라 os 버전은 상이하게 보임) - 초기화 끝 OS 업그레이드(해당 기종의 최신 버전까지) ... 중요 - 업그레이..

서론 ChatGPT의 플러그인 중 Noteable 이라는 재밋는 것을 발경하여 사용해보고 사용한 내용을 소개하겠습니다. 해당 플러그인을 이용하면 개인이 가지고 있는 데이터를 이용해서 GPT에게 데이터 분석을 대화로 지시하면서 결과를 도출할 수 있다. Noteable 공개 소개영상 준비사항 먼저 ChatGPT의 플러그인은 현재 유료 서비스에만 제공해주고 있어 유료 사용자 계정이 필요하다. 또한 데이터 분석을 서비스를 제공해주는 Noteable에 회원가입과 작업 공간 생성이 필요하다. 유료 ChatGPT Noteable 회원가입 본론 Noteable 회원가입 및 작업공간 생성 Noteable에 접속하여 회원가입을 한다. 프로젝트 공간 생성 프로젝트 URL 저장(Chat GPT에게 해당 URL을 알려줘야한다...

서론 ChatGPT 서비스 오픈 이후에 대규모 언어모델(이하 LLM)에 대한 관심이 높아졌다. 이러한 관심은 LLM 모델을 활용하는 서비스개발로 이어지고 있다. 현재 서비스 개발을 빠르고 품질이 좋게 LLM 모델을 사용하는 방법은 ChatGPT에서 사용중인 GPT 모델을 API로 사용하는 것이다. 하지만 해당 방법은 서비스를 요청하는 Token수에 따라 비용이 발생하고, 자사의 데이터를 외부로 반출해야한다는 리스크가 있다. 이러한 문제들로 자체적으로 LLM 모델을 구축하여 데이터 유출없이 사용하는 방법이 필요하다. 이번 포스트에서는 Open LLM 모델 현황과 오픈소스 라이선스, 상업적으로 이용이 가능한 모델에 관하여 알아보고자 한다. 본론 MetaAI에서 LLAMA모델을 공개하면서 폭발적으로 OpenL..

ChatGPT로 많은 사람들이 생성형 AI 서비스에 관심이 시작되면서 IT서비스들의 빠른 발전이 일어나고 있는것 같다. Github Copilot은 21년 10월 부터 서비스하고 있었지만 내가 관심을 가지고 사용하게 된 건 생성형 AI를 이용하여 코딩을 좀 더 간편하고 빠르게 할 수 있겠다는 생각을 하고부터다. 현재 Copilot은 GPT3 모델을 사용하고 있지만, 현재 베타 테스트 중인 Copilot X는 GPT4모델을 사용한다고 한다. Copilot X 소개 영상 내가 현재 사용하고 있는 버전은 GPT3를 사용하고있는 Github Copilot과 GPT4를 사용하는 Copilot Chat이며 아래에서 간략히 설치 방법과 사용했던 사례를 소개하며 느낀 점을 남기도록 하겠다. 설치방법 Tool : Vis..