GPT4ALL 설치하기(on Apple Silicon 맥북)

서론

로컬 환경에서 ChatGPT와 유사하게 오픈소스로 구성된 LLM모델을 챗봇 UI로 사용할 수 있는

GPT4ALL의 사용 방법을 설명하겠습니다.

 

설치

GPT4ALL은 GPU가 없는 환경에서도 사용 할 수 있다.

또한 초기 오픈소스때는 소스를 내려받고 별도로 실행하여야했는데, 현재는 간단한 설치 프로그램으로 제공하여

유저 친화적인 UI가 적용되고 있다.

• 링크 : https://gpt4all.io/index.html
• 본인의 OS에 맞는 버전을 다운로드 후 설치(별도 지정할 필요없이 다음 다음 누르면서 설치를 진행하자)

GPT4ALL 사이트 화면

사용방법

최초 GPT4ALL실행시 사용할 모델을 선택하는 화면이 나오며 해당 화면에서 사용하고 싶은 모델을 선택하여 다운로드한다.

모델 다운로드시 모델의 용량을 확인하고 적정한 다운로드 경로를 지정하여 다운 받는 것을 추천한다.

필자는 GPT4ALL Falcon을 다운로드 하였다.

(GPT4ALL사이트 접속시 모델별 벤치마크가 있어 참고하여 다운로드 한다.)

※ 프로그램 버그 사항으로 모델 다운로드 완료시 바로 사용 가능하지는 않고 한번 껏다가 켜야 사용가능하다.

모델 다운로드 화면

간단히 질의 응답을 하고 해당 응답의 결과를 GPT4를 통해 평가해보았다.

Q : Explain the Large Language.

A : A large language model (LLM) is a type of artificial intelligence model that can process and generate human-like text at scale. It uses deep learning techniques to learn from massive amounts of data, allowing it to produce high-quality outputs with minimal supervision.

 

LLMs are trained on vast datasets of text, such as the web or social media platforms, using techniques like natural language processing (NLP) and machine learning. The model's architecture is designed to mimic the human brain's cognitive processes, allowing it to learn from patterns in the data and generate coherent sentences with a high degree of accuracy.

 

LLMs are used for a variety of applications, including language translation, text summarization, and sentiment analysis. They can also be used for creative writing tasks like generating stories or poetry.

 

Overall, LLMs represent a significant advancement in artificial intelligence research, as they enable machines to learn from vast amounts of data and produce high-quality outputs with minimal supervision.

GPT4ALL 채팅화면(Falcon 모델)

GPT4에게 평가를 의뢰(?)해 받은 결과는 8.7/10점이였다. 자세한 내용은 아래 이미지를 참고하기를 바란다.

Gpt4 평가 결과

 

결론

필자의 맥북은 메모리가 8기가인데 16기가가 요구사항인 모델들이 있어 Warning이 발생하고 있다.

하지만 애플 실리콘 맥은 메모리가 부족할시 ssd에서 vram을 만들어 쓴다고 알고 있어 다운로드후 사용해 보았는데...

사용은 가능하나 답변 속도가 너무 느렸다..

 

또한 아직 모델의 한국어 지원은 되지 않고있다.

해당 플랫폼을 통해 추후 한국어지원이 가능한 모델도 공개될 것으로 기대한다.

 

 

참고자료

- GPT4ALL : https://gpt4all.io/index.html