LLM Training Data & Services

에펜은 25년 이상의 경력을 바탕으로 고품질 LLM 솔루션 및 학습 데이터를 제공합니다. 성공적 LLM 도입, 파운데이션 모델 개발부터 기업용 맞춤형 솔루션까지 모두 지원하는 에펜과 함께 하세요.

강력한 퍼포먼스

5000만+
작업 시간
2만+
AI 프로젝트 성공
1억
LLM 데이터 보유
100억
데이터 유닛 보유

LLM 작업자의 80% 이상이 사용합니다

강력한 퍼포먼스

5000만+
작업 시간
2만+
AI 프로젝트 성공
1억
LLM 데이터 보유
100억
데이터 유닛 보유

LLM 작업자의 80% 이상이 사용합니다

고성능 LLM을 위한 데이터 라이프사이클

에펜은 290개 이상의 언어와 도메인을 기반으로 최적화된 LLM 데이터셋 큐레이션부터 모델 학습 및 최적화까지 LLM 라이프사이클 전반을 지원합니다.

LLM 파인튜닝

파운데이션 모델이 구축되면 LLM을 파인튜닝하기 위한 추가 학습이 필요합니다. 이 단계에서는 라벨링 된 데이터셋과 애플리케이션에 맞춰 설계된 프롬프트를 도입하고 Use case 및 특정 작업에 대한 모델 성능을 최적화합니다.

LLM 벤치마킹 & 평가

LLM의 정확성을 개선하고 AI 할루시네이션을 최소화하기 위해서는 지속적인 평가가 필요합니다. 저희 에펜은 LLM에 대한 품질 보증 기준을 만들고 전문성을 활용하여 해당 지침에 따라 모델을 평가합니다.

Industry Perspectives

글로벌 기업이 전하는 LLM 개선 방법을 소개합니다.

LLM 솔루션

데이터 품질은 대규모 언어 모델을 차별화하는 가장 중요한 요소입니다. AI 학습 데이터 공급과 LLM 구축 전문 기업인 에펜은 고품질 데이터셋을 기반으로 다양한 사용 사례, 언어 및 도메인 전문 지식에 걸쳐 모델을 훈련하고 평가합니다.

Supervised Fine Tuning (SFT)

Human preference ranking (RLHF / DPO)

LLM 평가 & A/B 테스트

LLM 레드팀 & 모델 안전성

검색 증강 생성(RAG)

Supervised Fine Tuning (SFT)

데이터 니즈에 맞게 사용자 지정 프롬프트와 응답을 만들어 다양한 사용 사례와 전문 도메인에 대한 모델의 성능을 향상합니다.

지원 가능한 데이터

다양한 Use case: Open QA, 요약, 재작성, 사고의 사슬 추론 등
전문 도메인: 수학, 금융, 코딩, 의료와 같은 분야의 전문 지식
다양한 언어: 영어, 스페인어, 일본어를 포함한 235개 이상의 언어

휴먼 인 더 루프(HITL)

에펜의 AI Chat Feedback 도구를 활용하여 인간 피드백(RLHF) 및 Direct Preference Optimization(DPO)을 통한 강화 학습으로 모델을 개선합니다.

주요 기능:

사용자 정의 워크플로우와 학습 니즈 지원
단일/멀티턴 대화
사용자 정의 가능한 어노테이션 필드
실시간 인간 상호 작용

LLM 평가 & A/B 테스트

관련성, 정확성, 유용성, 일관성과 같이 다양한 LLM 평가 지표를 기반으로 모델 성과를 평가합니다.

LLM 솔루션

모델의 강점과 개선 영역에 대한 인사이트 제공
개발 주기를 통해 다양한 모델과 비교할 수 있는 A/B 테스트 제공
경쟁 모델 및 다른 LLM에 대한 벤치마킹 제공

LLM 레드팀 & 모델 안전성

에펜의 레드 팀은 크라우드를 활용하여 모델의 취약점을 빠르게 식별하고 다양한 애플리케이션에서 LLM의 안전과 보안을 보장합니다.

레드팀 서비스

적대적 공격(Adversarial attacks)
Harms 카테고리(독성, 편견, 개인 정보 보호 등)
멀티턴 시나리오 기반 테스트
가드레일 테스트
생성된 콘텐츠의 조정 및 어노테이션

검색 증강 생성(RAG)

특정 도메인에 맞게 모델을 조정하고 방대한 외부 지식 기반 도입을 통해 더 정확한 응답을 생성합니다.

검색 증강 생성(RAG) 서비스

데이터 준비: 각각의 Use case에 대한 데이터셋을 수집, 가공 및 큐레이션 합니다.
프롬프트 데이터셋 생성: 효과적인 모델 교육을 위한 고품질 프롬프트를 생성합니다.
평가 및 A/B 테스트: 모델 간 성과를 비교하고 출력을 개선합니다.
레드팀: 스트레스 테스트를 실시하여 모델의 취약성을 사전에 식별하고 해결합니다.

FAQ

LLM 데이터 서비스에 관한 자주 묻는 질문과 답변을 지금 확인해보세요.

LLM 모델 학습에 필요한 데이터는 어디에서 수집하나요?

LLM 데이터 수집은 활용 목적과 요구 조건에 따라 다양한 방식으로 진행됩니다. 저희 에펜은 사람에 의한 데이터 생성과 AI 기반 생성 데이터를 모두 제공하고 있으며, 프로젝트 특성에 따라 가장 적합한 방식을 제안드립니다. 사람이 생성한 데이터는 보안이 강화된 환경에서 기밀 유지 계약(NDA) 하에 철저히 관리되며, 고품질이 요구되는 프로젝트에 적합합니다. 반면, 생성형 AI를 활용한 데이터는 비용 효율성과 속도 측면에서 강점을 가지며, 반복적이거나 대량의 데이터가 필요한 경우 효과적으로 활용됩니다.

특정 산업에 맞춘 LLM 데이터셋을 만들 수 있나요?

네, 가능합니다. 저희는 법률, 교육, 의료, 자율주행, 이커머스, 스마트 디바이스, 로컬라이제이션, 온라인 AI 등 다양한 산업 분야에서 풍부한 전문 지식을 갖춘 전문가들을 보유하고 있으며, 각 분야에서의 다수 프로젝트 수행 경험을 기반으로 맞춤형 LLM 데이터셋을 제공합니다. 고객사 산업이 요구하는에 최적화된 데이터셋을 구축하여, 높은 품질의 AI 모델 학습을 지원합니다.

LLM 데이터에 대해 어떤 유형의 언어를 지원하나요?

저희 에펜은 전 세계 280개 이상의 지역과 국가의 언어를 지원합니다. 이를 통해, 고객의 LLM 데이터셋 니즈에 맞춰 전 세계 다양한 언어를 포괄하는 맞춤형 데이터를 제공할 수 있습니다. 글로벌 기업으로서의 풍부한 경험을 바탕으로, 다양한 언어적 특성에 맞춘 고품질의 데이터 지원이 가능합니다.

멀티모달 데이터 서비스 지원이 가능한가요?

네, 가능합니다. 저희는 동영상-텍스트, 이미지-텍스트, 에이전트 AI 데이터 등 다양한 유형의 멀티모달 데이터 서비스를 지원합니다. 고객의 니즈에 맞춰, 텍스트 및 이미지, 음성, 동영상 등 여러 형태의 데이터를 융합하여 고도화된 AI 모델 학습에 최적화된 데이터셋을 제공합니다.

Resources

LLM 도입 에펜과 함께 시작하세요

기업의 니즈에 딱 맞는 맞춤형 LLM 솔루션과 프로젝트 라이프사이클 전반에 걸친 심층적인 지원을 제공합니다.