2024년 무료 오픈 소스 LLM 상위 5가지

LLM은 이제 소개할 필요가 없을 정도로 보편화되어 있습니다. 기술 업계에 종사하든 그렇지 않든, 매일 어떤 형태의 LLM을 접했거나 현재 사용하고 있을 가능성이 높습니다. 현재 가장 눈에 띄는 LLM으로는 OpenAI의 GPT, Anthropic의 클로드, Google의 제미니가 있습니다.

그러나 이러한 인기 있는 LLM은 추상적이거나 블랙박스 시스템으로 운영되는 경우가 많아 데이터 프라이버시 및 투명성에 대한 우려가 제기되고 있습니다. 이러한 문제를 해결하기 위해 사용자가 안심하고 개인 컴퓨터나 서버에 배포할 수 있는 여러 오픈 소스 LLM을 사용할 수 있습니다.

오픈 소스란 소스 코드를 자유롭게 검사, 수정 및 배포할 수 있도록 배포된 소프트웨어 또는 제품을 말합니다. 이러한 접근성을 통해 사용자는 소프트웨어를 이해하고, 개선하고, 개발에 기여할 수 있습니다.

현재 사용 가능한 최고의 오픈 소스 LLM을 소개합니다:

라마 2

Llama 2는 Meta에서 개발한 오픈 소스 LLM으로, 상업 및 연구 목적으로 무료로 제공됩니다. 라마 2 모델은 2조 개의 토큰으로 훈련되었으며, 라마 1보다 컨텍스트 길이가 두 배 더 깁니다.

모델의 매개 변수는 텍스트 이해 능력에 직접적인 영향을 미치며, 모델이 클수록 크기와 리소스 요구 사항이 증가하는 대신 더 나은 성능을 제공합니다.

사용 가능한 변형: 7B, 13B 및 70B 파라미터

컨텍스트 창: 4096 토큰

지원 언어: 영어에서 가장 잘 수행

Mixtral 8x7B

미스트랄 AI가 개발한 Mixtral 8x7B는 총 467억 개의 파라미터를 포함하는 LLM입니다. 크기는 작지만 추론 속도와 비용은 3분의 1 크기의 모델과 비슷하게 유지합니다. 이 디코더 전용 MoE(전문가 혼합) 모델은 특정 벤치마크에서 LLama 2 및 GPT-3.5보다 훨씬 뛰어난 성능을 발휘합니다.

사용 가능한 변형: 소형, 소형, 중형, 대형(비용 효율적부터 고성능까지 순위)

컨텍스트 창: 32000 토큰(미스트랄 대형)

지원 언어: 영어, 프랑스어, 스페인어, 독일어, 이탈리아어(미스트랄 라지)

Falcon

아부다비의 기술 혁신 연구소(TII)에서 개발한 Falcon은 또 다른 대표적인 오픈 소스 LLM입니다. 출시 후 Falcon 40B는 두 달 동안 Hugging Face의 오픈 소스 LLM(대규모 언어 모델) 리더보드에서 1위를 차지했습니다. 180B 변형을 통해 TII는 모델의 지식과 데이터 이해 능력을 더욱 향상시킵니다. Falcon 180B는 3조 5천억 개의 토큰으로 학습된 초강력 언어 모델입니다.

사용 가능한 변형: Falcon 40B 및 Falcon 180B

컨텍스트 창: 4096 토큰

지원 언어: 영어, 독일어, 스페인어, 프랑스어, 이탈리아어, 포르투갈어, 폴란드어, 네덜란드어, 루마니아어, 체코어, 스웨덴어는 제한적으로 지원됩니다.

BLOOM

BLOOM은 Big Science에서 개발한 자동 회귀 대규모 언어 모델(LLM)입니다. 176억 개의 파라미터로 학습된 BLOOM은 방대한 양의 텍스트 데이터와 산업 규모의 컴퓨팅 리소스를 사용하여 프롬프트에서 텍스트 연속을 생성하는 데 탁월합니다.

사용 가능한 변형: bloom-560m, bloom-1b1, bloom-1b7, bloom-3b, bloom-7b1, bloom 176B

컨텍스트 창: 2048 토큰

지원 언어: 46개 자연어(영어의 경우 30%에서 치툼부카의 경우 0.00002%까지 데이터 양에 따라 다름)

Gemma

Gemini의 성공을 잇는 Google의 최신 최신 개방형 LLM인 Gemma가 그 뒤를 잇습니다. Gemma는 Gemini 연구 및 기술을 기반으로 구축된 Google 딥마인드의 오픈 가중치 대규모 언어 모델(LLM) 제품군입니다. 모델 가중치는 자유롭게 액세스할 수 있지만, 구체적인 사용 약관, 재배포 및 변형 소유권은 다를 수 있으며 오픈 소스 라이선스를 기반으로 하지 않을 수도 있습니다.

사용 가능한 변형: 젬마 2B 및 젬마 7B

컨텍스트 창: 8192 토큰

지원되는 언어: 영어

결론

코디는 LLM과 관련하여 모델에 구애받지 않는 접근 방식을 우선시하며, 고유한 사용 사례에 맞는 개인화된 봇을 구축할 수 있는 플랫폼을 제공합니다. 다양한 LLM 옵션이 제공되므로 단일 제공업체에 국한되지 않고 요구 사항에 가장 적합한 것을 자유롭게 선택할 수 있습니다.

코디를 통해 기업은 AI를 활용하여 정확한 요구 사항에 맞는 지능형 비서를 개발할 수 있습니다. 이러한 유연성으로 인해 코디는 AI 기반 비즈니스 솔루션 영역에서 유망한 추가 기능이 될 수 있습니다.