오늘날 대형 언어 모델과 챗GPT와 같은 이들이 지원하는 애플리케이션은 뉴스와 소셜 미디어에서 가장 뜨거운 주제가 되었습니다. 그럼 LLM은 정확히 어떤 역할을 할까요? LLM에서는 어떤 지원이 이루어지나요? 이 글에서는 대형 언어 모델(LLM)이 무엇인지, LLM의 7가지 주요 기능과 해당 응용 프로그램을 소개하고 대규모 언어 모델의 과제와 솔루션에 대해 다뤄보겠습니다.
대형 언어 모델이란?
대형 언어 모델은 언어를 잘 이해하고 이러한 이해를 사용하여 특정 작업을 수행하는 소프트웨어입니다. 가장 일반적인 애플리케이션의 기능은 콘텐츠 생성, 정보 찾기, 질문에 답하기, 데이터 정리 지원 등이 있습니다. 대형 언어 모델은 주로 인간 언어를 대상으로 하지만 코드와 같은 다양한 기계어도 포함하고 DNA와 같은 유전 언어까지 다루기 시작했습니다.
LLM이 더 나은 서비스를 제공할 수 있도록 많은 응용 프로그램은 질문 및 답변 형식을 사용합니다. 즉, 사용자는 하나 이상의 프롬프트를 제공하고 이를 LLM에 입력하며 LLM은 프롬프트 내용을 기반으로 고객에게 특정 정보를 반환합습니다. 이때, 프롬프트는 질문, 설명 또는 기타 텍스트 시퀀스일 수 있습니다.
LLM을 더 잘 이해하기 위해 대형 언어 모델의 이름을 구조화해 보겠습니다.
- 대형: 이는 대형 언어 모델이 엄청난 양의 데이터셋에 대해 학습되었음을 의미합니다. 예를 들어, GPT-3(Generative Pretrained Transformer 버전 3)의 교육 데이터셋에는 1,750억 개가 넘는 매개변수와 45TB의 텍스트 데이터 세트가 포함되어 있습니다.
- 언어: 언어를 기반으로 운영된다는 의미입니다.
- 모델: LLM이 데이터에서 정보를 찾거나 정보를 기반으로 예측하는 데 사용됨을 의미합니다.
이제 챗GPT나 DALL-E와 같은 많은 대형 언어 모델 애플리케이션과 많은 LLM 응용 프로그램이 시장에 나와있습니다. 그중 일부는 오픈 소스이나 일부는 공유되지 않는 것도 있습니다. 또한 API를 통해 사용되는 서비스도 있고 특정 소프트웨어를 다운로드해야 하는 애플리케이션도 있습니다.
대형 언어 모델 주요 기능
1. 생성
LLM의 가장 일반적인 기능 중 하나는 사용자의 하나 이상의 프롬프트를 기반으로 콘텐츠를 생성하는 것입니다. 주요 목표는 지식 근로자의 효율성을 향상하거나 대화형 인공지능, 챗봇, 마케팅 콘텐츠 작성, 코드 도우미 등과 같은 초보 수준의 수동 작업을 대체하는 것입니다.
관련 애플리케이션
- GPT-3(챗GPT), LaMDA, ai, Megatron-Turing NLG: 인간과의 대화는 물론 카피라이팅, 번역 및 기타 작업에 특히 유용한 텍스트 생성 프로그램입니다.
- DALL-E, Stable Diffusion, MidJourney: 텍스트 설명 기반 이미지 생성 프로그램입니다.
- ai – 챗봇 및 기타 LLM 기반 도구를 통해 판매 프로세스를 최적화하는 데 중점을 둡니다.
2. 요약 및 정리
데이터 양이 폭발적으로 증가하고 특히 컴퓨터 시스템 자체가 점점 더 많은 콘텐츠를 생성함에 따라 인간이 모든 콘텐츠(기사, 팟캐스트, 동영상, 회의 내용 등)를 이해할 수 있도록 요약 및 정리하는 것이 점점 더 중요해지고 있습니다. 이때, LLM은 다양한 종류의 콘텐츠를 요약 정리 해줄 수 있습니다.
요약 및 정리의 한 가지 형태는 긴 내용에 포함된 정보를 새로운 텍스트로 생성하는 추상 요약입니다. 다른 하나는 프롬프트를 기반으로 검색된 관련 사실을 추출하여 간결한 답변으로 요약하는 추출적 요약입니다.
관련 애플리케이션
- Assembly AI: 음성과 동영상을 기록 및 요약합니다.
- CohereGenerate: 텍스트를 해석하고 긴 단락을 주요 요점으로 추출할 수 있는 LLM 기반 제품입니다.
3. 고쳐 쓰기
대형 언어 모델은 텍스트를 한 형식에서 다른 형식으로 변환할 수 있으며 이는 Transformer 기반 기능입니다. 이 기능은 맞춤법 및 문법 오류를 수정하거나 콘텐츠를 편집할 때 유용하게 사용됩니다. 번역도 고쳐 쓰기에 포함됩니다.
관련 앱플리케이션
4. 검색
기존 제품 검색 방법은 일반적으로 키워드 기반 알고리즘을 사용하며 일부는 지식 그래프 또는 페이지 랭킹 스타일 방법을 사용하여 사용자에게 필요한 콘텐츠를 제공합니다. 이러한 기술은 점차 “신경 검색”과도 같은 대형 언어 모델 기술로 대체되고 있습니다. 즉, 언어를 더 깊이 이해하고 관련 결과를 찾아줄 수 있게 됐죠. 긴 단어나 짧은 문장, 명확한 질문 및 다양한 검색 방법이 늘어나면서 LLM 기술은 검색 기능에서 특히 중요합니다.
이제 키워드 검색뿐만 아니라, 고객 상담 로봇이나 기능 추천 등 보다 정확한 맞춤형 추천 기능을 위해 LLM을 활용하는 사례가 늘어나고 있습니다.
관련 애플리케이션
- Vectara: 검색어나 문장의 의도와 의미를 기반으로 결과를 일치시키는 LLM 기반 검색 플랫폼입니다.
- Neeva: 인터넷에서 스크랩한 데이터를 통해 광고 없는 결과를 제공하는 검색 엔진입니다.
5. Q&A
질문에 대한 답변은 검색과 요약의 결합으로 생각할 수 있습니다. 먼저 사용자의 쿼리 의도를 파악하고 관련 데이터를 검색한 후 요약하여 단일 답변을 제공합니다. LLM의 이러한 데이지 체인 방식, 즉 한 모델의 출력이 다른 모델의 입력으로 사용되는 것은 일반적인 설계입니다. 개발자는 다양한 모델의 조합을 고려하고 더 많은 애플리케이션에 대한 가능성을 창출하게 될 것입니다. Q&A는 고객 서비스를 개선하고 작업 요약을 돕거나 영업 팀의 효율성을 높일 수 있습니다.
관련 애플리케이션
- Google Search, Bing Search: 정기적으로 검색 결과 목록 상단에 집계된 답변을 제공합니다.
- Contriever: 정보 검색 및 질문 답변 교육을 받은 Facebook Research의 LLM 응용 프로그램입니다.
6. 클러스터링
클러스터링은 내용 특성에 따라 문서를 분류하는 기능입니다. 이 기능은 특정 분류를 객관적으로 설정할 필요가 없습니다. LLM은 콘텐츠의 특성과 이해도에 따라 분류하여 사람들이 콘텐츠를 빠르게 이해할 수 있도록 도와줍니다. 대용량 데이터의 전처리 및 분석에 큰 도움이 됩니다.
관련 애플리케이션
- Cohere Embed, Azure Embeddings 모델, OpenAI Embeddings 모델: 사용자 지정 클러스터링 애플리케이션의 기초로 사용할 수 있는 텍스트 임베딩을 생성합니다.
7. 분류
분류는 기존 분류 시스템에 따라 대량의 데이터를 배포를 가능하게 합니다. 단, 분류 기능은 클러스터링과 달리 미리 설정된 분류가 필요합니다. 분류 사용 사례에는 의도 분류, 감정 감지, 위험한 행동 식별이 포함됩니다.
관련 애플리케이션
- Azure Embeddings 모델, OpenAI Embeddings 모델: 사용자 지정 분류 시스템의 기초로 사용할 수 있는 텍스트 임베딩을 생성합니다.
대형 언어 모델의 문제점
대규모 언어 모델이 할 수 있는 일과 그 장점은 무한하지만 아직은 초기 개발 단계입니다. 이에 따라 발생하는 문제점들이 존재하는데요, 성공적 LLM 개발을 위해 극복해야 할 주요 과제에 대해 알아보겠습니다.
할루시네이션
대형 언어 모델은 생성형 AI의 한 유형이기 때문에 할루시네이션이 발생할 수 있습니다. 할루시네이션은 답변에 합리적으로 보이지만 결과적으로 잘못된 내용을 제공하는 것을 말합니다. 이는 많은 사람들이 대형 언어 모델의 질문과 답변에 악의적으로 잘못된 내용을 추가함에 따라 각 대화에서 학습된 모델이 잘못된 사실을 “믿게” 되기 때문에 발생합니다.
개발 비용
LLM에서 사용하는 매개변수와 데이터셋은 매우 크기 때문에 이를 학습하고 사용하는 데 큰 비용이 듭니다. 특히 대규모로 단시간에 개발을 시도하거나 높은 동시성이 요구될 때에 더 큰 비용이 발생합니다.
LLM 기반 응용 프로그램 비용
현재 시장에는 서로 연결된 하나 이상의 LLM POC를 사용하여 생성된 많은 애플리케이션이 있습니다. 하지만 지연 시간이 짧고 확장 가능하며 비용 효율적인 프로덕션급 애플리케이션은 거의 없습니다. 또한 고급 머신러닝 인재가 부족하고 교육 및 유지 관리를 위한 데이터셋과 컴퓨팅 성능의 높은 비용으로 인해 대형 언어 모델 애플리케이션을 직접 개발하는 데 드는 비용과 위험이 매우 높습니다. 따라서 기성 LLM 솔루션을 구매하거나 데이터 전문 팀에 의뢰하여 맞춤형 개발을 수행하는 것이 좋은 대안이 될 수 있습니다.
일반 모델의 한계
오늘날의 오픈 소스 대형 언어 모델은 “너무 일반적”이라는 문제를 안고 있습니다. 즉, 특정 산업 및 사용 사례의 내용과 정보를 이해하고, 추출하고, 요약하는 능력이 부족하다고 할 수 있죠. 특히, 한국은 오픈 소스 모델이 적기 때문에 한국 기업의 경우 LLM 사용자 정의는 관련 애플리케이션을 만드는 데 필수입니다.
에펜의 대형 언어 모델 솔루션
저희 에펜은 대형 언어 모델 개발을 위한 맞춤형 솔루션을 제공합니다.
- 데이터 클리닝, 데이터셋, 데이터 소싱 표준 사용자 정의: 에펜은 인공지능 데이터 업계에서의 26년 경력을 지닌 글로벌 리더로 235개 이상의 언어와 방언에 대한 심층적인 연구와 광범위한 데이터 경험을 보유하고 있습니다. 현장에 필요한 다국어 데이터, 맞춤형 컬렉션 어노테이션, 다단계 상세 어노테이션을 통해 LLM 학습을 위한 고품질 데이터 솔루션을 제공합니다.
- 파인튜닝/ RLHF: 100만 명 이상의 글로벌 크라우드와 전문 어노테이션 팀, 숙련된 관리 팀을 통해 할루시네이션의 간섭을 최소화하면서 모델 파인 튜닝을 위한 대규모 RLHF 솔루션을 제공합니다.
- LLM 지능형 개발 플랫폼: 대형 언어 모델의 애플리케이션 개발을 위한 교육 및 파인튜닝 외에도 개발 효율성을 높이고 개발 장애물을 줄이기 위해 다각적인 개발 프로세스를 지원합니다. 저희 에펜이 독립적으로 개발한 LLM 지능형 개발 플랫폼은 LLM 프로그램을 신속하게 교육하고 배포할 수 있는 다단계 개발자 툴을 제공합니다.
- LLM 애플리케이션 맞춤 서비스: 개발 역량이 부족한 기업을 위해 에펜의 전문 데이터 팀과 알고리즘 팀이 포괄적인 맞춤 솔루션을 제공합니다. 사용 사례와 요구 사항에 따라 적절한 기본 모델을 선택하고 가장 적절한 데이터로 파인튜닝한 후 최종적으로 원하는 LLM 애플리케이션을 배포할 수 있도록 지원합니다.
에펜의 LLM 솔루션에 대해 궁금하신 점이 있으시다면 지금 바로 문의주세요!
