Knowslog(지식저장소)

서론 로컬 환경에서 ChatGPT와 유사하게 오픈소스로 구성된 LLM모델을 챗봇 UI로 사용할 수 있는 GPT4ALL의 사용 방법을 설명하겠습니다. 설치 GPT4ALL은 GPU가 없는 환경에서도 사용 할 수 있다. 또한 초기 오픈소스때는 소스를 내려받고 별도로 실행하여야했는데, 현재는 간단한 설치 프로그램으로 제공하여 유저 친화적인 UI가 적용되고 있다. 링크 : https://gpt4all.io/index.html 본인의 OS에 맞는 버전을 다운로드 후 설치(별도 지정할 필요없이 다음 다음 누르면서 설치를 진행하자) 사용방법 최초 GPT4ALL실행시 사용할 모델을 선택하는 화면이 나오며 해당 화면에서 사용하고 싶은 모델을 선택하여 다운로드한다. 모델 다운로드시 모델의 용량을 확인하고 적정한 다운로드 경..

서론 ChatGPT 서비스 오픈 이후에 대규모 언어모델(이하 LLM)에 대한 관심이 높아졌다. 이러한 관심은 LLM 모델을 활용하는 서비스개발로 이어지고 있다. 현재 서비스 개발을 빠르고 품질이 좋게 LLM 모델을 사용하는 방법은 ChatGPT에서 사용중인 GPT 모델을 API로 사용하는 것이다. 하지만 해당 방법은 서비스를 요청하는 Token수에 따라 비용이 발생하고, 자사의 데이터를 외부로 반출해야한다는 리스크가 있다. 이러한 문제들로 자체적으로 LLM 모델을 구축하여 데이터 유출없이 사용하는 방법이 필요하다. 이번 포스트에서는 Open LLM 모델 현황과 오픈소스 라이선스, 상업적으로 이용이 가능한 모델에 관하여 알아보고자 한다. 본론 MetaAI에서 LLAMA모델을 공개하면서 폭발적으로 OpenL..