LLM Training Data & Services

에펜은 25년 이상의 경력을 바탕으로 고품질 LLM 솔루션 및 학습 데이터를 제공합니다. 성공적 LLM 도입, 파운데이션 모델 개발부터 기업용 맞춤형 솔루션까지 모두 지원하는 에펜과 함께 하세요.

강력한 퍼포먼스

  • 5000만+

    작업 시간

  • 2만+

    AI 프로젝트 성공

  • 1억

    LLM 데이터 보유

  • 100억

    데이터 유닛 보유

LLM 작업자의 80% 이상이 사용합니다

LLM 학습

LLM 라이프사이클은 다양한 데이터셋을 큐레이팅하여 관련 언어 및 도메인 전문 지식을 제공하는 것으로 시작합니다. 그 후 멀티모달 애플리케이션을 위한 파운데이션 모델을 개발하고 텍스트, 이미지, 동영상, 오디오를 포함한 방대한 양의 원시 데이터로 LLM을 훈련합니다. 이를 기반으로 만들어진 모델은 인간의 언어와 다양한 미디어 유형을 효과적으로 이해할 수 있게 됩니다.

LLM 파인튜닝

파운데이션 모델이 구축되면 LLM을 파인튜닝하기 위한 추가 학습이 필요합니다. 이 단계에서는 라벨링 된 데이터셋과 애플리케이션에 맞춰 설계된 프롬프트를 도입하고 Use case 및 특정 작업에 대한 모델 성능을 최적화합니다.

LLM 벤치마킹 & 평가

LLM의 정확성을 개선하고 AI 할루시네이션을 최소화하기 위해서는 지속적인 평가가 필요합니다. 저희 에펜은 LLM에 대한 품질 보증 기준을 만들고 전문성을 활용하여 해당 지침에 따라 모델을 평가합니다.

Industry Perspectives

글로벌 기업이 전하는 LLM 개선 방법을 소개합니다.

LLM 솔루션

데이터 품질은 대규모 언어 모델을 차별화하는 가장 중요한 요소입니다. AI 학습 데이터 공급과 LLM 구축 전문 기업인 에펜은 고품질 데이터셋을 기반으로 다양한 사용 사례, 언어 및 도메인 전문 지식에 걸쳐 모델을 훈련하고 평가합니다.

Supervised Fine Tuning (SFT)
Human preference ranking (RLHF / DPO)
LLM 평가 & A/B 테스트
LLM 레드팀 & 모델 안전성
검색 증강 생성(RAG)

Supervised Fine Tuning (SFT)

데이터 니즈에 맞게 사용자 지정 프롬프트와 응답을 만들어 다양한 사용 사례와 전문 도메인에 대한 모델의 성능을 향상합니다.


지원 가능한 데이터

  • 다양한 Use case: Open QA, 요약, 재작성, 사고의 사슬 추론 등
  • 전문 도메인: 수학, 금융, 코딩, 의료와 같은 분야의 전문 지식
  • 다양한 언어: 영어, 스페인어, 일본어를 포함한 235개 이상의 언어

휴먼 인 더 루프(HITL)

에펜의 AI Chat Feedback 도구를 활용하여 인간 피드백(RLHF) 및 Direct Preference Optimization(DPO)을 통한 강화 학습으로 모델을 개선합니다.


주요 기능:

  • 사용자 정의 워크플로우와 학습 니즈 지원
  • 단일/멀티턴 대화
  • 사용자 정의 가능한 어노테이션 필드
  • 실시간 인간 상호 작용

LLM 평가 & A/B 테스트

관련성, 정확성, 유용성, 일관성과 같이 다양한 LLM 평가 지표를 기반으로 모델 성과를 평가합니다.


LLM 솔루션

  • 모델의 강점과 개선 영역에 대한 인사이트 제공
  • 개발 주기를 통해 다양한 모델과 비교할 수 있는 A/B 테스트 제공
  • 경쟁 모델 및 다른 LLM에 대한 벤치마킹 제공

LLM 레드팀 & 모델 안전성

에펜의 레드 팀은 크라우드를 활용하여 모델의 취약점을 빠르게 식별하고 다양한 애플리케이션에서 LLM의 안전과 보안을 보장합니다.


레드팀 서비스

  • 적대적 공격(Adversarial attacks)
  • Harms 카테고리(독성, 편견, 개인 정보 보호 등)
  • 멀티턴 시나리오 기반 테스트
  • 가드레일 테스트
  • 생성된 콘텐츠의 조정 및 어노테이션

검색 증강 생성(RAG)

특정 도메인에 맞게 모델을 조정하고 방대한 외부 지식 기반 도입을 통해 더 정확한 응답을 생성합니다.


검색 증강 생성(RAG) 서비스

  • 데이터 준비: 각각의 Use case에 대한 데이터셋을 수집, 가공 및 큐레이션 합니다.
  • 프롬프트 데이터셋 생성: 효과적인 모델 교육을 위한 고품질 프롬프트를 생성합니다.
  • 평가 및 A/B 테스트: 모델 간 성과를 비교하고 출력을 개선합니다.
  • 레드팀: 스트레스 테스트를 실시하여 모델의 취약성을 사전에 식별하고 해결합니다.

Resources

LLM 도입 에펜과 함께 시작하세요

기업의 니즈에 딱 맞는 맞춤형 LLM 솔루션과 프로젝트 라이프사이클 전반에 걸친 심층적인 지원을 제공합니다.

투자사

Headquarter

Level 6/9 Help St Chatswood

NSW 2067 Australia

+61-2-9468-6300

@ 2024 APPEN LIMITED
개인정보처리방침