Google의 CALM - OpenAI의 솔루션?

Google의 새로운 기능은 대규모 언어 모델(LLM) 분야에 혁명을 일으킬 잠재력이 있습니다. CALM(Confident Adaptive Language Modeling)이라는 획기적인 기술은 성능 수준을 저하시키지 않으면서 GPT-3 및 LaMDA와 같은 LLM의 속도를 높이도록 설계되었습니다.

CALM이란 무엇입니까?

CALM은 Google이 자연어 쿼리를 이해하고 해석하는 검색 엔진의 기능을 개선하기 위해 개발한 고급 언어 모델 기술입니다. 언어 모델에 대한 지속적인 적응(Continuous Adaptation for Language Model)의 약자로, 본질적으로 기술이 성능을 향상시키기 위해 지속적으로 학습하고 적응한다는 것을 의미합니다.

Google은 수년 동안 언어 모델 기술을 사용해 왔지만 CALM은 자연어 쿼리를 보다 효율적으로 처리할 수 있는 신경망 아키텍처를 기반으로 하기 때문에 중요한 발전입니다. CALM은 쿼리의 컨텍스트를 분석하고 이해할 수 있는 변환기 기반 모델을 사용하므로 더 많은 노력이 필요한 작업을 더 잘 결정할 수 있습니다. 인간의 두뇌가 에너지를 위임하여 회사 차원의 이메일을 작성하는 것과 같은 노력을 커피에 크리머를 붓지 않도록 하는 것처럼 CALM은 AI 언어 모델을 진정시킵니다.

일반적으로 LLM은 언어의 패턴과 엔터티 관계를 배우기 위해 방대한 양의 텍스트 데이터에 대해 교육을 받습니다. 예를 들어 GPT의 초기 버전은 2018년에 9억 8,500만 단어로 구성된 BookCorpus에서 학습되었습니다. 같은 해에 BERT는 총 33억 단어에 달하는 BookCorpus와 English Wikipedia의 조합에 대해 교육을 받았습니다.

GPT-3과 같은 최신 LLM은 훨씬 더 큰 데이터 세트에서 학습되었습니다. GPT-3에는 1,750억 개 이상의 매개변수가 있으며 약 45TB의 텍스트로 학습되었습니다. GPT-3에 사용된 훈련 데이터는 공개되지 않았지만 책, 기사, 웹사이트 등 다양한 출처가 포함된 것으로 추정된다.

이제 라이브러리에 있는 모든 데이터를 상상해 보십시오. 당신은 도서관에 혼자 앉아 있는데 갑자기 사람들이 질문을 하며 문 안으로 걸어 들어옵니다. "남미의 역사에 대해 말해주세요." "어떤 종류의 유제품이 없는 우유가 나에게 가장 좋습니까?" "내 비즈니스가 인플루언서 마케팅을 사용하여 어떤 이점을 얻을 수 있습니까?" “소셜 미디어 문구에 대한 10가지 옵션을 적어주세요” “기자처럼 행동하고 임박한 경기 침체에 대한 문구를 적어주세요.” 당신도 조금 압도당할 거에요, 그렇죠? 이러한 쿼리의 우선 순위를 지정하는 방법을 모르며 질문자에게 제시할 올바른 답변을 찾기 위해 수백만 개의 데이터를 살펴봐야 합니다.

이것은 LLM이 무언가를 생성하도록 요청할 때마다 하는 일이며 플랫폼에서 높은 트래픽으로 인해 나중에 다시 돌아올 것을 요청하는 시점이 있을 수 있는 이유입니다. 그러나 LLM이 데이터를 보다 효율적으로 선별하여 각 쿼리의 어느 부분에 우선 순위를 부여할지, "전적인 노력"과 "부분적인 노력"이 필요한지 파악하는 방법이 있다면 더 효과적일 수 있습니다.

CALM에 대한 학술 논문에서는 다음과 같이 설명합니다.

“최근 Transformer 기반 대규모 언어 모델(LLM)의 발전으로 인해 많은 작업에서 상당한 성능 향상이 이루어졌습니다.

이러한 이득은 모델 크기의 급격한 증가와 함께 제공되며 잠재적으로 추론 시간에 느리고 비용이 많이 드는 사용으로 이어집니다.

그러나 실제로 LLM이 만든 일련의 세대는 다양한 수준의 난이도로 구성됩니다.

특정 예측은 모델의 전체 용량에서 실제로 이점을 얻을 수 있지만 다른 연속은 더 사소하고 컴퓨팅 감소로 해결할 수 있습니다.

…대형 모델이 일반적으로 더 잘 수행되지만 유사한 성능을 달성하기 위해 모든 입력에 대해 동일한 양의 계산이 필요하지 않을 수 있습니다(예: 입력이 쉬운지 어려운지에 따라 다름).”

빨간색 = 전체 용량/녹색 = 절반 미만 용량

위의 이미지는 이 아이디어가 실행되는 모습을 보여줍니다. 연구자들은 다음과 같이 썼습니다.

'색상은 각 토큰에 사용되는 디코딩 레이어의 수를 나타냅니다. 밝은 녹색 음영은 전체 레이어의 절반 미만을 나타냅니다. 선택한 소수의 토큰만 모델의 전체 용량(빨간색)을 사용하는 반면 대부분의 토큰의 경우 모델은 하나 또는 몇 개의 디코딩 레이어(녹색) 후에 종료됩니다.”

연구원들은 또한 LLM에서 CALM을 구현하면 언어 모델의 속도를 높이는 데 최소한의 수정만 필요하다는 결론을 내렸습니다. 본질적으로 이것은 LLM이 더 빠르고 효율적으로 훈련될 수 있도록 하여 더 많은 정보를 처리하고 더 짧은 시간에 더 정확한 결과를 생성할 수 있음을 의미합니다.

이는 통찰력을 수집하고 더 빠르고 정확하게 의사 결정을 내릴 수 있다는 것을 의미하므로 모든 산업의 비즈니스에 분명한 영향을 미칩니다. 그러나 이 모든 것이 B2B 마케터에게 의미하는 바는 무엇입니까?

B2B 마케터를 위한 CALM의 의미

콘텐츠 마케팅

CALM 기능은 마케팅 담당자가 실시간 데이터 및 통찰력을 기반으로 보다 정확하고 관련성 높은 콘텐츠를 생성하는 데 도움이 되므로 B2B 콘텐츠 마케팅 전략에 상당한 영향을 미칠 수 있습니다. 더 많고 더 나은 데이터에 액세스할 수 있는 LLM은 마케터가 새로운 트렌드와 기회를 더 빨리 식별하여 더 빠르게 대응하고 경쟁에서 앞서 나갈 수 있도록 도울 수 있습니다. 이것은 빠르게 진화하고 있거나 혼란에 직면한 산업에서 특히 중요할 수 있습니다.

고객 참여 및 개인화

B2B 마케터는 대상 고객에게 공감하는 개인화된 콘텐츠를 제공하여 고객 참여 전략을 개선할 수 있습니다. LLM은 고객 행동 및 선호도의 패턴을 식별하여 마케터가 메시징 및 콘텐츠를 보다 효과적으로 맞춤화할 수 있도록 합니다. 이것은 표적 메시지가 큰 차이를 만들 수 있는 복잡하거나 기술적인 제품이 있는 산업에서 특히 중요할 수 있습니다. 또한 마케터는 이 기술을 활용하여 고객 문의에 정확하고 적절한 응답을 제공함으로써 고객 서비스를 개선할 수 있습니다.

번역

CALM 기술은 자동 번역 도구의 정확성과 효율성을 향상시킬 수 있으며 이는 글로벌 시장에서 운영되는 B2B 회사에 매우 유용할 수 있습니다. CALM은 번역 정확도를 향상시켜 B2B 회사가 국제 고객 및 파트너와 보다 효과적으로 커뮤니케이션할 수 있도록 합니다.

물론 CALM은 B2B 마케팅의 퍼즐 조각 중 하나일 뿐입니다. 마케팅 담당자는 변화하는 소비자 행동에서 새로운 마케팅 채널 및 마케팅 전술에 이르기까지 해당 분야의 모든 최신 개발 정보를 따라가는 것이 중요합니다. 마케팅 전략에서 이러한 최신 AI 개발을 마스터하는 데 도움이 필요하면 연락하세요.