Knowslog(지식저장소)

파이썬의 JayDeBeApi 모듈을 통해서 Sybase에 접속할때 고생을 한게 있어서 해당 내용 기록을 위해 작성합니다. - 패키지 설치#설치pip install JayDeBeApi  - 파이썬 샘플 코드import jaydebeapidef connect(url,user,pw) try: # jconn4.jar 파일의 절대 경로를 사용하세요. jar_file = os.path.abspath("/usr/local/lib/jconn4.jar") print("Using jar file: ", jar_file) self.conn = jaydebeapi.connect(jclassname= "com.sybase.jdbc4.jdbc.SybDriver", ..

2023년 11월 6일 OpenAI의 첫번째 개발자 컨퍼선스(DevDay)에서 발표한 내용중 GPT 스토어와 그안에 들어갈 GPTs(GPT들?)을 간단하게 사용하는 방법과 후기를 남긴다. 먼저 해당 기능은 현재 ChatGPT 유료사용자(Plus)와 기업고객에게만 공개되어있다. 또한 GPT 스토어는 2023.11월 말에 오픈을 한다고 한다, 현재는 SNS를 통한 GPTs URL을 공유하여 사용하고있다. 필자는 GitHub Awesome에 정리된 것으로 여러 모델들을 사용해보고 있다. (링크 : https://github.com/Anil-matcha/Awesome-GPT-Store) 사용방법 모델 생성 화면 - 좌측 상단의 Explore를 선택후 나오는 메뉴중 'Create a GPT'를 선택한다. 화면구성..

딥러닝용 Ubuntu 서버에서 공동으로 작업을 진행하고있다. 각각의 유저를 만들고 해당 유저들을 하나의 그룹으로 지정하였다. (ex) 유저: user01, user02, user03, 그룹 : aigroup, 명령어 : usermod -g aigroup user01 유저 계정으로 파일을 생성하면 생성한 유저와 같은 그룹에 속해있는 유저는 해당 파일에 접근할수 있어야 한다. 문제현상 putty로 접속시에는 정상적으로 작동 VS Code로 원격접속시 파일을 생성하면 파일 속성에 그룹이 포함되어있지 않음 조치방법 서버를 물리적으로 재기동하면 조치될꺼 같지만 이런 작업으로 재기동하기에는 위험부담이 커서 여러 이슈를 찾아 해결방법을 찾았다. vscode 명령창에서 Kill VS Code Server on Host..

서론 엑셀파일을 DB에 넣어서 관리하고 싶을때 Python 의 pandas를 이용하여 간단하게 입력하는 방법을 소개하겠습니다. 먼저 python을 이용하지 않고 DB에 입력을 할때는 Table 생성 > data import의 과정이 필요한데 여기서 엑셀 컬럼별 데이터 형식을 일일이 지정하고 컬럼명을 만들어 주는게 귀찮아서 파이썬으로 한번에 입력하는 방법을 찾게되었다. 준비사항 필요 패키지 pandas oracledb or cx_Oracle sqlalchemy 코드 from sqlalchemy import create_engine,types import pandas as pd import oracledb #sqlalchmy 에서 oracledb를 사용하기 위해서 셋팅값 수정(default는 cx_Oracl..

Nvidia GPU를 이용한 딥러닝 연구시 간혹가다 서버에서 gpu를 못잡고 재기동이 필요한 경우가 있다. 그런데 서버 재기동이 번거러운 환경에서 매번 재기동을 하는 경우 불편함이 있어 재기동 없이 조치하는 방법을 기록으로 남긴다. os : Ubuntu 20 증상 : nvidia-smi시 아래와 같은 오류 발생 Failed to initialize NVML: Driver/library version mismatch NVML library version: 535.104 적용 커맨드 오류 모듈 재설치 sudo apt --fix-broken install nvidia 관련 모둘 재기동 lsmod | grep nvidia sudo rmmod nvidia_drm sudo rmmod nvidia_modeset su..

이번에 Brain MRI를 이용한 AI 모델을 연구 중에 있다. Brain MRI의 경우 기존 이미지 영상에서 Brain에 해당 되는 부분만 추출(Skull Stripping)이 필요한데 여러 이러한 역할을 해주는 여러 툴들이 있지만 최근에 발표된 SynthStrip: Skull-Stripping for Any Brain Image]을 사용하여 Skull Stripping을 진행한 예제 코드를 소개하겠다. (SynthStrip에 대한 자세한 설명은 관련 논문 내용 참조) 설치 방법 해당 알고리즘은 Freesurfer를 통해서 수행되도록 구현되어있다. 따라서 서버에 Freesurfer를 설치하고 해당 Tool을 실행하면 된다. 환경 os : ubuntu 20.04 python : 3.11.4 freesur..

Mac OS와 Window 환경에서 메모 연동을 원한하고 깔끔하게 할 수 있는 툴을 찾고 있었다. Obsidian 이라는 Markdown 형식으로 관리하는 아주 개발자 친화적인 메모 작성툴을 알게되어 사용중 알게 된 간단 사용 팁을 소개한다. Obsidian은 커뮤니티 플러그인이라고 하는 vscode의 extension과 같은 기능이 있다. 유용한 플러그인이 많은 데 그중에 Git연동을 통한 자료 백업 기능을 소개하려고 한다. (해당 기능을 통해 여러 디바이스 간의 자료 연동 가능) 설치 순서 먼저 Github 연동을 위한 설치 순서는 아래와 같다. 특이사항으로는 gitignore을 먼저 추가하고 Obsidian을 연동해 줘야 나중에 .obsidian 내의 workspace.json 파일을 무시할 수 있..

서론 LLM 관련 신규 문서들이 Arxiv를 통해서 많이 발표되고 있고 해당 내용들을 자동화하고 LLM을 통해 요약하는 로직을 만들기 위해서는 Langchain에서 만들어논 라이브러리를 사용하는게 편하다 (arxiv와 pymudpf 패키지를 이용해서 좀 더 이용하기 쉽게 구현) 아래 샘플 소스와 함께 설명하겠습니다. Langchain을 이용한 Arxiv 문서 가져오기 필요 패키지 langchain, arxiv, pymupdf pip install langchain arxiv pymupdf 문서 검색 - query로 검색할 키워드를 입력한다. - 해당 키워드가 포함된 문서의 arxid id와 제목, 서론, url 정보를 가져와서 json 형태로 return한다. from langchain.retriever..

서론 로컬 LLM 모델을 이용한 챗봇 서비스를 만들고 있다. 웹서비스 개발은 처음으로 하고 있어서, copilot과 ChatGPT, 구글링 등 여러군데에서 적당한 개발 방식을 찾아서 적용해 보고있다. 여러시도 중에 백앤드로 Fastapi를 사용해서 별도의 Worker서버에 Celery를 통한 요청으로 LLM response를 받는 방식으로 서비스를 구현하려고 하고있어 그 예제를 정리하여 올린다. 구성도 백앤드에서 redis를 브로커로 이용하여 worker서버에 작업 요청과 결과를받아오는 구성이다. 필요 패키지 fastapi , uvicorn, celery, redis pip install fastapi celery redis "uvicorn[standard]" Redis 사용 Docker를 이용하여 Re..

이전글 : 2023.07.19 - [IT] - LLAMA 2 소개와 데모사용후기 LLAMA 2 소개와 데모사용후기 다음글 : 2023.07.31 - [IT] - Langchain으로 LLaMA2 cpp 버전 사용하기 Langchain으로 LLaMA2 cpp 버전 사용하기 서론 LLAMA 2모델을 GPU가 없는 환경에서도 사용할 수있도록 하는 GGML 프로젝트가 있다. (링크 : https:/ knowslog.tistory.com 서론 LLAMA 2모델을 GPU가 없는 환경에서도 사용할 수있도록 하는 GGML 프로젝트가 있다. (링크 : https://github.com/ggerganov/ggml) 해당 프로젝트를 통해서 만들어진 코드와 ggml버전 llama2 모델을 Langchain을 이용하여 간단하게..