Knowslog(지식저장소)

이전글 : 2023.07.19 - [IT] - LLAMA 2 소개와 데모사용후기 LLAMA 2 소개와 데모사용후기 다음글 : 2023.07.31 - [IT] - Langchain으로 LLaMA2 cpp 버전 사용하기 Langchain으로 LLaMA2 cpp 버전 사용하기 서론 LLAMA 2모델을 GPU가 없는 환경에서도 사용할 수있도록 하는 GGML 프로젝트가 있다. (링크 : https:/ knowslog.tistory.com 서론 LLAMA 2모델을 GPU가 없는 환경에서도 사용할 수있도록 하는 GGML 프로젝트가 있다. (링크 : https://github.com/ggerganov/ggml) 해당 프로젝트를 통해서 만들어진 코드와 ggml버전 llama2 모델을 Langchain을 이용하여 간단하게..

서론 ChatGPT 서비스 오픈 이후에 대규모 언어모델(이하 LLM)에 대한 관심이 높아졌다. 이러한 관심은 LLM 모델을 활용하는 서비스개발로 이어지고 있다. 현재 서비스 개발을 빠르고 품질이 좋게 LLM 모델을 사용하는 방법은 ChatGPT에서 사용중인 GPT 모델을 API로 사용하는 것이다. 하지만 해당 방법은 서비스를 요청하는 Token수에 따라 비용이 발생하고, 자사의 데이터를 외부로 반출해야한다는 리스크가 있다. 이러한 문제들로 자체적으로 LLM 모델을 구축하여 데이터 유출없이 사용하는 방법이 필요하다. 이번 포스트에서는 Open LLM 모델 현황과 오픈소스 라이선스, 상업적으로 이용이 가능한 모델에 관하여 알아보고자 한다. 본론 MetaAI에서 LLAMA모델을 공개하면서 폭발적으로 OpenL..