반응형

Langchain 2

Langchain으로 Arxiv 문서 가져오기

서론 LLM 관련 신규 문서들이 Arxiv를 통해서 많이 발표되고 있고 해당 내용들을 자동화하고 LLM을 통해 요약하는 로직을 만들기 위해서는 Langchain에서 만들어논 라이브러리를 사용하는게 편하다 (arxiv와 pymudpf 패키지를 이용해서 좀 더 이용하기 쉽게 구현) 아래 샘플 소스와 함께 설명하겠습니다. Langchain을 이용한 Arxiv 문서 가져오기 필요 패키지 langchain, arxiv, pymupdf pip install langchain arxiv pymupdf 문서 검색 - query로 검색할 키워드를 입력한다. - 해당 키워드가 포함된 문서의 arxid id와 제목, 서론, url 정보를 가져와서 json 형태로 return한다. from langchain.retriever..

IT 2023.08.16

Langchain으로 LLaMA2 cpp 버전 사용하기

이전글 : 2023.07.19 - [IT] - LLAMA 2 소개와 데모사용후기 LLAMA 2 소개와 데모사용후기 다음글 : 2023.07.31 - [IT] - Langchain으로 LLaMA2 cpp 버전 사용하기 Langchain으로 LLaMA2 cpp 버전 사용하기 서론 LLAMA 2모델을 GPU가 없는 환경에서도 사용할 수있도록 하는 GGML 프로젝트가 있다. (링크 : https:/ knowslog.tistory.com 서론 LLAMA 2모델을 GPU가 없는 환경에서도 사용할 수있도록 하는 GGML 프로젝트가 있다. (링크 : https://github.com/ggerganov/ggml) 해당 프로젝트를 통해서 만들어진 코드와 ggml버전 llama2 모델을 Langchain을 이용하여 간단하게..

IT 2023.07.31
반응형