멀티모달 생성형 AI란? 정의, 성능 개선 방법

멀티모달 생성형 AI란?

멀티모달 생성형 AI(Multimodal Generative AI)는 텍스트, 이미지, 오디오, 동영상 등 다양한 데이터 형식을 동시에 이해하고 처리할 수 있는 인공지능입니다. 이때 멀티모달은 다양한 형태의 데이터를 처리하고 통합해 하나의 통합된 결과물로 만드는 기술을, 생성형 AI는 LLM을 활용해 텍스트, 이미지, 동영상 등 새로운 콘텐츠를 생성하는 인공지능을 의미합니다. 이 두가지가 결합된 형태가 바로 멀티모달 생성형 AI입니다.

멀티모달 생성형 AI의 등장

멀티모달 생성형 AI는 지난 몇 년간 빠르게 발전하며 이미지, 영상, 오디오까지 사람의 결과물과 유사한 수준의 콘텐츠를 만들어내고 있습니다. 최신 AI 모델들은 SNS 콘텐츠 제작이나 간단한 프레젠테이션 영상처럼 일상에서 활용하기에 충분한 성능을 보여주고 있습니다. 그러나 실제 전문가 수준의 작업 환경에서는 아직 해결해야 할 과제가 많습니다.

ICE-Bench, VBench-2.0, VideoPhy-2, T2VPhysBench와 같은 주요 벤치마크는 현재 멀티모달 생성형 AI 모델이 전문 제작 환경에서 요구되는 품질 기준에 얼마나 미치지 못하는지를 수치상으로 보여주고 있습니다. 이제 이러한 성능 격차를 줄이는 문제는 단순한 연구 과제가 아니라, 실제 산업 현장에서 반드시 해결해야 하는 핵심 과제가 되었습니다. 생성형 AI가 디자인 툴, 영상 편집 플랫폼, 음악 제작 솔루션 등에 본격적으로 적용되면서, 결과물의 품질 기준은 결국 이를 실제로 사용하는 전문가들에 의해 결정되기 때문입니다.

멀티모달 생성형 AI 성능 개선 방법

Appen은 멀티모달 생성형 AI 모델의 품질을 향상시키기 위해 전문가의 판단과 작업 방식을 AI 개발 과정 전체에 반영하는 4단계로 구성된 성능 개선 방법론을 운영하고 있습니다. 이 과정은 파인튜닝 데이터 구축부터 평가 체계 설계까지 이어지며, 모델이 실제 전문가 수준의 결과물을 생성할 수 있도록 합니다.

1. 전문가 모집 및 검증

멀티모달 생성형 AI는 단순 데이터 작업만으로 성능을 끌어올리기 어렵습니다. 이미지, 영상, 음악 등 각 분야의 전문성이 직접적으로 모델 품질에 영향을 미치기 때문입니다. 이에 따라 에펜은 그래픽 디자이너, 사진작가, 영상 편집자, 애니메이터, 뮤지션 등 다양한 분야의 전문가 풀을 글로벌 단위로 운영합니다. 프로젝트의 참여자는 단순 경력 검토만으로 선정되는 것이 아니라 실제 업무 기반의 도메인 테스트와 캘리브레이션 과정을 거칩니다. 이 과정은 각 분야의 전문가 리드와 함께 설계되며, 참여자가 실제로 산업 수준의 결과물을 만들어낼 수 있는지를 검증합니다.

2. 전문가 기반 파인튜닝 데이터 구축

검증된 전문가들은 모델이 학습해야 할 ‘전문가 수준의 기준’을 직접 데이터로 구축합니다. 여기에는 단순한 프롬프트 작성이 아니라, 전문가가 직접 제작한 원본 콘텐츠, 디자인 의도를 설명하는 어노테이션 데이터, 그리고 AI가 생성한 결과물을 전문가가 수정·보완한 비포/애프터 데이터까지 포함됩니다. 예를 들어 영상 편집 전문가는 AI가 생성한 결과물의 컷 구성이나 색 보정을 수정하고, 디자이너는 구도와 시각적 균형을 개선하는 방식으로 데이터를 제작합니다. 이러한 데이터는 단순 정답 데이터가 아니라, 모델이 어떤 방향으로 결과물을 개선해야 하는지를 학습시키는 핵심 역할을 합니다.

3. 전문가 정렬 기반 선호도 데이터

생성형 AI는 단순히 콘텐츠를 만드는 것을 넘어, 어떤 결과물이 더 좋은 결과물인지 판단할 수 있어야 합니다. 이를 위해 Appen은 전문가 기반 선호도 데이터를 활용합니다. 전문가들은 여러 개의 모델 결과물을 비교 평가하고, 왜 특정 결과물이 더 우수한지에 대한 근거를 함께 작성합니다. 이 과정에서는 단순 선호 선택이 아니라, 구성, 자연스러움, 스타일 일관성, 물리적 표현 정확도 등 다양한 전문 기준이 반영됩니다. 이러한 설명 데이터는 품질 검증뿐 아니라 리워드 모델 학습에도 활용됩니다. 결과적으로 AI는 전문가의 판단 기준 자체를 학습하게 되며, 실제 현업에서 요구되는 품질 방향으로 정렬됩니다.

4. 루브릭 기반 평가 체계

멀티모달 생성형 AI의 품질은 단일 점수만으로는 평가하기가 어렵습니다. 실제로는 영상의 움직임 자연스러움, 이미지 구성, 오디오 품질, 물리적 일관성 등 다양한 요소가 함께 작용하기 때문입니다. Appen은 주요 학술 벤치마크를 기반으로 하면서도, 실제 배포 환경에 필요한 평가 요소를 추가한 다차원 루브릭 기반 평가 체계를 운영합니다. 전문가들은 품질을 세부 항목 단위로 나누어 평가하며, 이를 통해 어떤 기능이 개선되었고 어떤 부분이 여전히 부족한지를 정밀하게 분석할 수 있습니다. 예를 들어 특정 모델의 이미지 구성 능력은 향상되었지만 움직임 표현은 여전히 불안정하다는 식의 정확한 진단이 가능해집니다. 이러한 방식은 단순히 평균 성능을 확인하는 것이 아니라, 실제 품질 문제의 원인을 추적하고 먼저 개선해야 할 영역을 빠르게 파악할 수 있도록 돕습니다.

멀티모달 생성형 AI의 경쟁력은 데이터 품질에서 결정된다

멀티모달 생성형 AI는 빠르게 발전하고 있지만, 전문가 수준의 결과물을 안정적으로 생성하기 위해서는 여전히 해결해야 할 과제가 많습니다. 특히 실제 산업 환경에서는 멀티모달 생성형 AI의 단순 생성 능력보다는 얼마나 전문적인 기준을 이해하고 반영할 수 있는지가 더 중요해지고 있습니다. 이 과정의 핵심은 데이터의 양보다는 얼마나 전문성이 검증된 데이터와 평가 체계를 구축하느냐입니다. 전문가가 직접 참여해 만든 데이터와 평가 기준은 모델의 품질 방향 자체를 결정하며, 이는 곧 실제 서비스 경쟁력으로 이어집니다. 앞으로 멀티모달 생성형 AI의 경쟁력은 단순히 더 큰 모델을 만드는 것이 아니라, 누가 더 높은 수준의 전문 데이터와 정교한 평가 체계를 확보하느냐에 의해 결정될 것입니다.