오픈소스란?
오픈 소스란, 간단히 말해, 소프트웨어의 소스 코드가 공개적으로 접근 가능하고, 사용자들이 자유롭게 수정하고 배포할 수 있는 라이선스 조건을 가진 소프트웨어입니다. 이 용어는 더 넓은 의미로, 공동체 중심의 개발 방식과 협업의 문화를 포함하기도 합니다.
오픈소스의 특징은 아래와 같습니다.
사용자는 소스 코드를 열람할 수 있는 접근의 자유가 있습니다.
개발자는 원본 소스 코드를 수정할 수 있습니다. 이렇게 변경사항을 다시 커뮤니티에 공유할 수 있습니다.
수정된 소프트웨어를 자유롭게 배포할 수 있습니다. 때로는 상업적인 목적으로도 사용될 수 있습니다.
전 세계의 다양한 개발자들이 참여하는 공동체 중심으로 운영됩니다. 이는 다양한 아이디어와 기술의 융합을 가능하게 하며, 종종 더 나은 결과를 가져옵니다.
새로운 아이디어와 기술이 지속적으로 통합되면서 진화가 가속화될 수 있고, 코드의 공개성은 보안 취약점을 더욱 빨리 발견하고 해결하는 데 도움을 준다는 장점이 있습니다. 하지만 반대로 기여되는 코드와 알고리즘의 품질이 일정하지 않을 수 있어 신뢰도에 영향을 주거나, 보안 취약점을 찾아 악용할 가능성도 있습니다. 그리고 일부 오픈 소스 라이선스는 상업적 사용에 제한을 둘 수 있다는 단점이 존재합니다.
우리에게 잘 알려져있는 오픈소스 도구로는 이미지 생성 모델인 스테이블 디퓨전(Stable Diffusion), 브라우저 중 하나인 모질라 파이어폭스(Mozilla Firefox), 3D 도구인 블렌더(Blender)등이 있습니다.
오픈소스 인공지능에서 이것만큼 알아두자!
Huggingface
허깅페이스는 쉽게 말해 인공지능 모델을 위한 깃허브와도 같습니다. 다양한 모델을 이곳에 업로드하고 api를 사용할 수 있습니다. 참고로 ChatGPT 역시 모델 중 하나입니다. 그래서 대부분의 오픈소스 인공지능 모델들은 이곳에 올려져있고, 누구든 사용할 수 있습니다.
그렇다보니 허깅페이스에서 리더 보드에 1위를 차지하기 위해 경쟁이 치열합니다. 당연히 빠르고, 가볍고, 성능이 좋은 모델이 항상 이슈가 됩니다. 오픈소스로 공개된 한국어 모델도 적지않게 찾아볼 수 있습니다.
또한 나만의 모델을 만들기 위해 여러 데이터로 학습이 필요합니다. 허깅페이스에는 다양한 데이터(셋)을 쉽게 찾고, 사용할 수 있습니다.
다만 허깅페이스를 제대로 사용하려면 프로그래밍에 익숙한 사용자들에게 좋지만 End User들에게는 어려운 도구일 수 있습니다.
그래서 개발자도 아니고 서버를 활용할 줄 모른다면 허깅페이스에서 제공하는 Chat (https://huggingface.co/chat)을 이용해보는 것도 추천합니다. 인터페이스도 ChatGPT와 유사하게 사용할 수 있습니다.
그리고 모델을 선택하면서 사용할 수 있다는 장점이 있습니다. 현재 지원되는 모델은 최근 핫한 Mistral(미스트랄)과 스테디 모델이자 인공지능의 오픈소스화의 불을 지핀 Meta의 Llama2 등 총 6개 정도를 사용해볼 수 있습니다.
Meta의 라마 (Llama2) 모델
라마 모델은 메타가 연구하고 있던 모델이었는데 2023년 초에 사건이 터집니다. 연구 목적으로 승인받은 사람에게만 제공하려던 계획이 누군가에 의해 토렌트에서 유출되는 사건이 벌어졌습니다. 이미 수습하기에 늦어버렸지만 반대로 오픈소스화가 되면서 폭발적으로 성장해 갑니다. 맥 컴퓨터에서 설치가능한 프로젝트도 나오게 되고, 느리지만 라즈베리파이 소형 컴퓨터에서도 구동이 가능해졌습니다. 여기에 스탠포드의 연구진까지 가세하여 라마 기반으로 경량화된 모델인 '알파카 7B' 등이 소개 되면서 AI 오픈소스의 상징이 되었습니다. 지금도 라마 기반의 모델들이 연구 중에 있습니다.
미스트랄 (Mistral AI) 모델
미스트랄 모델의 경우 적은 메모리 사용에 비해 상당히 만족할 만한 성능을 보여주는 새로운 모델입니다. 일명 '축소된 GPT-4'라는 별명이 있을 정도로 경쟁 모델들과 비교해도 전반적으로 우수하다는 것을 알 수 있습니다. 여기에 뒤에 언급될 도구들과 함께 내 컴퓨터에 설치해서 안전하게 사용할 수 있다는 장점도 있습니다.
출처: https://mistral.ai/news/mixtral-of-experts/
뉴욕타임스에 의하면 미스트랄의 개발자사인 미스트랄 AI는 전 Meta 및 DeepMind 연구원들이 설립한 프랑스 스타트업입니다. 20억달러의 기업가치로 3억8500만유로(약 5500억원) 규모의 투자를 유치하였고, 설립 6개월 만에 유니콘 기업에 등극했다는 점에서 얼마나 유망한 회사인지 알 수 있습니다.
내 컴에 깔아 사용하는 무료 ChatGPT들
위에서 언급했던 허깅페이스는 아무래도 개발자에게 친숙하다보니 일반인들은 잘 활용하기 어렵습니다. 물론 Chat이라는 도구도 지원하지만 내 컴퓨터에서 작동되는 것 보다 빠르고 안전한 것은 없겠죠?
Ollama
Ollama 공식 사이트이자 다운로드 페이지
자신의 컴퓨터에 설치하는 오픈소스 ChatGPT중에 가장 뛰어난 성능을 보여주고 있습니다. 특히 점점 사용자들도 늘고 있다는 장점이 있습니다.
Ollama에서 작동되는 모델들을 라이브러리 (https://ollama.ai/library)에서 다운받아 사용해보실 수 있습니다.
라이브러리에서 모델 목록과 설치할 수 있는 정보들을 확인할 수 있습니다.
참고로 모델에 따라 메모리 요구 사항이 달라집니다.
7b 모델의 경우는 최소 8GB 메모리가 필요합니다.
13b 모델의 경우는 최소 16GB 메모리가 필요합니다.
70b 모델의 경우는 최소 64GB 메모리가 필요합니다.
또한 언제든 모델을 삭제, 추가가 가능하여, 목적에 따라 다르게 활용이 가능합니다. 아직까지는 맥과 리눅스만 지원하고 있으며, 윈도우 버전은 개발중입니다.
맥에서 실행중인 Ollama
설치는 가이드대로 쉽게 따라 할 수 있지만 Ollama의 경우는 별도의 인터페이스를 제공하지 않고 터미널에서 사용이 가능합니다. 터미널에 사용에 익숙하지 않은 분들은 불편하다는 생각이 들 수 있습니다.
Llmafile
https://www.youtube.com/watch?v=_tUDZdlehAk
Llamafile 깃헙 페이지
https://github.com/Mozilla-Ocho/llamafile
라마파일는 이름에서도 알다시피 컴퓨터에서 파일처럼 여러 Llama 기반의 모델들을 사용 및 관리가 쉽습니다.
기본으로 제공되는 모델 3가지가 앞에서도 언급한 미스트랄 모델과 ChatGPT 코딩 성능과 큰 차이를 보이지 않을 정도로 좋은 위자드코더(WizardCoder) 모델을 제공하고 있습니다. 그리고 이미지 업로드가 가능한 모델인 LLaVA도 사용이 가능합니다.
Llamafile 인터페이스 - https://future.mozilla.org/blog/introducing-llamafile/
맥, 윈도우에서 모두 사용이 가능합니다. 설치는 어렵지 않습니다. 윈도의 경우에는 .exe파일처럼 설치가 가능하고, 맥은 터미널로 한 줄만 입력하면 설치가 완료됩니다. 실행은 브라우저에 http://localhost:8080으로 들어가면 사용이 가능합니다.
당연히 GPU 추가 셋팅을 할 경우 좀 더 쾌적하게 사용이 가능해 집니다.
마치면서
최근에 많은 스타트업에서 인공지능 관련된 기술을 이용한 서비스를 적극 활용하고 있습니다. 오픈소스 인공지능을 이용하는 이유는 보안이나 오픈소스의 가치에 동참하는 등 다양합니다.
그 중 MVP 테스트 단계에서는 API를 사용할 때마다 비용을 지불하는 것이 스타트업들에게는 상당한 부담이 될 수 있습니다. 이 부분은 초기 테스트 단계나 기술 검증하는 단계에서 부담없이 무료로 사용해볼 수 있다는 장점이 있습니다. 예를들면 스타트업들이 이미지 생성 관련 서비스나 제품을 만들 때 Midjourney보다 Stable Diffusion을 더 선호하는 것이 여기에 있습니다.
다만 성능은 ChatGPT와 크게 차이가 없다고 하지만 사용자 경험이나 개발 경험이 좋지 않을 수 있기 때문에 제품 제작 시 주의가 필요합니다.
개인적으로는 Ollama의 경우에는 인디 개발자 또는 개발 목적으로 사용하는 분들에게 적합해 보이고, Llamafile은 개인이 ChatGPT처럼 내 컴퓨터에서 안전하게 사용하기에 적합해 보입니다. 여러분의 생각은 어떠신가요? 혹시 사용해보신 다른 모델이나 인공지능 프로젝트가 있으시다면 아래 댓글로 남겨주세요.
