LLaMA 2: 메타의 오픈 소스 AI 모델
최신 LLM이 과대 광고할 만한 가치가 있을까요?
며칠 전 Meta는 Microsoft와 협력하여 최신 버전의 LLM인 Llama 2를 출시했습니다. LLM에 대해 관심 있게 지켜보셨다면 이미 들어보셨거나 새로운 기능에 대해 읽어보셨을 수도 있습니다. 간단하게 설명하기 위해 Llama 2가 큰 인기를 끌고 있는 네 가지 이유와 최고의 LLM과 비교하는 방법을 나열해 보겠습니다.
연구 및 상업적 용도로는 무료
사람들이 라마 2에 관심을 갖게 된 중요한 이유 중 하나는 메타가 특정 조건이 있는 일부 대기업을 제외한 거의 모든 사용자에게 전체 모델을 무료로 제공했기 때문입니다. 이러한 움직임은 자신의 사업을 시작하거나 제너레이티브 AI의 세계에 뛰어들려는 개인에게 흥미로운 기회를 열어줍니다. 특히 이 정도 수준의 언어 모델에 자유롭게 액세스할 수 있는 지금이야말로 AI의 세계로 뛰어들기에 완벽한 시기입니다. 이미 여러 오픈소스 모델이 있었지만, 메타의 위상에 걸맞은 회사에서 나온 것이 아니었고, GPT의 직접적인 경쟁자 역할을 할 수 있는 모델도 없었습니다.
“GPT-3(Brown 외., 2020) 및 Chinchilla(Hoffmann 외., 2022)와 같은 폐쇄형 사전 학습 경쟁자의 성능에 필적하는 사전 학습된 LLM(예: BLOOM(Scao 외., 2022), LLaMa-1(Touvron 외., 2023), Falcon(Penedo 외., 2023))의 공개 출시가 있었으나, 이 모델들이 ChatGPT(Brown 외., 2020) 및 친칠라(Hoffmann et al., 2022)와 같은 폐쇄형 “제품” LLM을 대체할 수 있는 모델은 없지만, 이러한 모델 중 어느 것도 ChatGPT, BARD, Claude와 같은 폐쇄형 “제품” LLM을 대체하기에 적합하지 않습니다.” – 메타 연구 논문
안전
메타 연구 논문에 발표된 보고서에 따르면, 라마 2는 유용성 및 안전성 벤치마크에서 다른 오픈소스 모델에 비해 우수한 성능을 입증했습니다. 이러한 측면에서 ChatGPT(7b, 13b, 70b 모델)를 능가하는 성능을 발휘하기도 했습니다. 그러나 연구 논문에서 라마 2에 유리한 편향된 데이터의 가능성을 인정하고 있으므로 결과를 해석할 때 이를 고려해야 한다는 점에 유의해야 합니다. 그럼에도 불구하고 라마 2가 ChatGPT 벤치마크에 근접하더라도 칭찬할 만한 가치가 있습니다.
라마 2의 안전성에 기여하는 가장 중요한 요소 중 하나는 데이터 프라이버시입니다. 일부 모델과 달리 Llama 2는 응답을 가져오기 위해 OpenAI와 같은 외부 서버로 데이터를 전송할 필요가 없습니다. 이 고유한 속성은 사용자의 데이터를 보호하고 개인 정보를 유지하는 데 도움이 되므로 중요하고 민감한 사용 사례에 특히 유용합니다. 사용자는 자신의 데이터가 인프라 내에 포함된 프라이빗 서버에서 모델을 실행할 수 있습니다.
오픈 소스
현재 가장 많이 사용되는 LLM은 블랙박스처럼 작동하며, 사용자는 그 기능에 대한 인사이트가 제한적입니다. 반면 오픈소스 모델은 투명한 접근 방식을 제공하므로 사용자가 내부 작동 방식을 이해할 수 있습니다. 이러한 투명성은 스팸이나 허위 정보 생성 등의 문제에도 불구하고 이러한 모델을 사용할 때 신뢰와 확신을 심어줍니다.
또한 이러한 모델의 오픈 소스 특성은 협업 노력을 장려하여 LLM 분야의 지속적인 개선과 발전으로 이어집니다. 그 결과 오픈 소스 모델은 언어 모델 분야의 발전을 주도하는 데 중요한 역할을 하고 있습니다.
“그리고 더 안전하다고 믿습니다. 오늘날의 AI 모델에 대한 액세스를 개방한다는 것은 여러 세대의 개발자와 연구자가 커뮤니티로서 스트레스 테스트를 통해 문제를 빠르게 식별하고 해결할 수 있다는 것을 의미합니다. 다른 사람들이 이러한 도구를 어떻게 사용하는지 확인함으로써 우리 팀도 이를 통해 배우고 도구를 개선하고 취약점을 수정할 수 있습니다.” – 메타 웹사이트
라마 2는 공개 라이선스이지만, 메타는 여전히 학습된 데이터를 공개하지 않고 있어 메타 사용자의 데이터 프라이버시 측면에서 여전히 문제가 되고 있습니다. 메타는 라마 2 연구 논문에서 “개인에 대한 대량의 개인 정보가 포함된 것으로 알려진 특정 사이트에서 데이터를 제거하기 위해 노력했다”고 밝혔지만, 해당 사이트가 어디인지에 대해서는 언급하지 않았습니다.
성능
라마 2는 네 가지 무게로 제공됩니다: 7B, 13B, 34B, 70B. 가중치는 모델이 학습하는 파라미터의 수를 나타냅니다. 일반적으로 매개변수 크기가 클수록 정확하고 안정적인 응답을 얻을 수 있지만, 더 많은 계산 리소스가 필요합니다. 모델의 인간과 유사한 특성을 개선하기 위해 라마 2는 인스트럭션 튜닝과 GPT에서도 사용하는 RLHF(인간 피드백을 통한 강화 학습) 방법을 사용하여 미세 조정을 거쳤습니다.
70B 매개변수 크기는 상당한 수준이지만, 175B 매개변수 크기인 GPT-3.5에 비하면 여전히 부족합니다. 결과적으로 라마 2의 성능은 GPT-3.5에 미치지 못할 수도 있지만, 벤치마크 테스트 결과 더 작은 파라미터 크기에도 불구하고 접전을 벌이고 있는 것으로 나타났습니다. 이러한 차이에도 불구하고 Llama 2는 현재 사용 가능한 모든 기존 오픈 소스 모델보다 성능이 뛰어납니다.
“RLHF는 세밀하게 조정된 언어 모델에 적용하는 모델 학습 절차로, 이를 통해 인간의 선호도와 지시에 따른 행동을 모델링합니다. 경험적으로 샘플링된 인간의 선호도를 나타내는 데이터를 수집하여 인간 주석가가 두 가지 모델 출력 중 선호하는 것을 선택합니다. 이후 이러한 인간의 피드백은 보상 모델을 훈련하는 데 사용되며, 보상 모델은 인간 주석자의 선호 패턴을 학습한 다음 선호도 결정을 자동화할 수 있습니다.” – 메타 연구 논문
결론
실제로 수많은 오픈소스 모델이 등장하고 있으며, Llama 2가 출시되면서 그 가능성은 무한해 보입니다. 이러한 오픈 소스 모델이 GPT-4와 같은 고급 모델과 직접적으로 경쟁하기까지는 다소 시간이 걸릴 수 있지만, GPT-3.5의 기능에 근접한 모델을 확보할 수 있다는 점에서 기대가 큽니다. 이러한 발전은 그 자체로 정말 놀라운 일입니다.
앞으로 LLM 교육이 더욱 효율적으로 진행됨에 따라 로컬 디바이스의 데이터로 미세 조정된 개인화된 ChatGPT를 사용할 수 있는 잠재력이 더욱 커질 것입니다. 이러한 기능을 제공하는 플랫폼 중 하나는 다양한 측면에서 비즈니스를 지원하기 위해 맞춤화된 지능형 AI 어시스턴트인 Cody입니다. ChatGPT와 마찬가지로 코디는 고유한 지식 기반을 사용하여 비즈니스 데이터, 팀, 프로세스 및 고객에 대한 교육을 받을 수 있습니다.
코디를 통해 기업은 AI의 힘을 활용하여 각자의 필요에 맞는 개인화된 지능형 비서를 만들 수 있으며, 이는 AI 기반 비즈니스 솔루션의 세계를 더욱 확장할 수 있는 유망한 솔루션이 될 것입니다.
