Knowslog(지식저장소)

서론 LLM 관련 신규 문서들이 Arxiv를 통해서 많이 발표되고 있고 해당 내용들을 자동화하고 LLM을 통해 요약하는 로직을 만들기 위해서는 Langchain에서 만들어논 라이브러리를 사용하는게 편하다 (arxiv와 pymudpf 패키지를 이용해서 좀 더 이용하기 쉽게 구현) 아래 샘플 소스와 함께 설명하겠습니다. Langchain을 이용한 Arxiv 문서 가져오기 필요 패키지 langchain, arxiv, pymupdf pip install langchain arxiv pymupdf 문서 검색 - query로 검색할 키워드를 입력한다. - 해당 키워드가 포함된 문서의 arxid id와 제목, 서론, url 정보를 가져와서 json 형태로 return한다. from langchain.retriever..

서론 ChatGPT 서비스 오픈 이후에 대규모 언어모델(이하 LLM)에 대한 관심이 높아졌다. 이러한 관심은 LLM 모델을 활용하는 서비스개발로 이어지고 있다. 현재 서비스 개발을 빠르고 품질이 좋게 LLM 모델을 사용하는 방법은 ChatGPT에서 사용중인 GPT 모델을 API로 사용하는 것이다. 하지만 해당 방법은 서비스를 요청하는 Token수에 따라 비용이 발생하고, 자사의 데이터를 외부로 반출해야한다는 리스크가 있다. 이러한 문제들로 자체적으로 LLM 모델을 구축하여 데이터 유출없이 사용하는 방법이 필요하다. 이번 포스트에서는 Open LLM 모델 현황과 오픈소스 라이선스, 상업적으로 이용이 가능한 모델에 관하여 알아보고자 한다. 본론 MetaAI에서 LLAMA모델을 공개하면서 폭발적으로 OpenL..