인공지능 모델의 데이터 편향성이란?
인공지능 모델의 데이터 편향은 최근 이슈가 되고 있습니다. 데이터 편향성은 대명사 “hers”를 식별하지 못하는 음성 인식이 “his”는 식별할 수 있다거나, 안면 인식 소프트웨어가 유색인종 인식을 잘하지 못하는 것 등을 예로 들 수 있습니다. 인공지능 모델의 데이터 편향성을 완전히 제거하는 것은 불가능하지만, 데이터 편향성을 줄이기 위해 노력하는 것은 꼭 필요합니다. AI 시스템의 데이터 편향성은 인공지능 모델을 위해 사용되는 학습 데이터셋을 통해 완화할 수 있습니다.
에펜의 2020년 AI 및 머신러닝 현황 보고서에 따르면 데이터 다양성이나 데이터 편향성 감소, AI의 글로벌 규모를 “중요하지 않다”라고 답한 기업은 전체의 15%에 불과했습니다. 반면 24%는 편향되지 않고 다양한 글로벌 AI가 프로젝트 수행에 필수적이라고 답한 것으로 나타났습니다. 이것은 수많은 기업이 데이터 편향성 극복을 성공 지표의 하나로 삼고 있음을 의미합니다. 그와 동시에 우리는 데이터 편향성을 극복하기 위해 여전히 큰 노력을 기울여야 한다는 것도 의미하죠.
데이터 편향성 줄이는 방법
머신러닝 모델은 결과적으로 사람이 만든 데이터를 통해 훈련된다는 점을 기억해야 합니다. 이는 인간의 편견이 모델에 도입될 수 있고 AI가 편향성을 가질 수 있다는 것을 의미하기도 하죠.
책임 있고 성공적인 기업은 인공지능 모델의 데이터 편향성을 줄이기 위해 학습 데이터를 통해 이를 예방해야 합니다. 데이터 편향성을 최소화하기 위해서는 통계 및 데이터 탐색을 통해 특잇값을 모니터링해야 합니다. 또한 다양한 학습 데이터 비교를 통해 인공지능 모델의 데이터 편향성을 줄이고 방지할 수 있죠. 이러한 데이터 편향성 관리 없이는 어떠한 AI 이니셔티브도 궁극적으로 흔들릴 수 있습니다.
인공지능의 모델의 데이터 편향성을 줄이는 8가지 방법
- 비즈니스 문제 정의하기
한 번에 너무 많은 문제를 한꺼번에 해결하려고 하면 관리 불가능한 수의 클래스에 걸쳐 수많은 라벨이 필요할 수 있습니다. 먼저 비즈니스 문제를 좁혀 정의하면 모델을 만든 정확한 이유와 모델이 잘 작동하는지 확인할 수 있습니다. - 다양한 의견을 허용하는 구조 데이터 수집
단일 데이터 포인트에 대해 여러 유효한 의견이나 라벨이 있는 경우가 많은데요, 이러한 의견을 수집하고, 합법적이고 주관적인 불일치를 설명하면 모델이 더 유연해집니다. - 학습 데이터 이해
학술 및 상업용 데이터셋에는 인공지능 알고리즘 편향성을 도입하는 클래스와 라벨이 있을 수 있습니다. 따라서 더 많은 학습 데이터를 소유할수록 데이터 편향성을 예방할 수 있습니다. - 다양한 머신러닝 팀 모으기
인종과 성별, 연령, 경험, 문화 등 다양한 배경을 가진 사람들은 본질적으로 다른 질문을 하고 다른 방식으로 인공지능 모델과 상호 작용합니다. 다수의 작업자와의 협업을 통해 인공지능 모델 제작을 시작하기 전에 다양한 문제를 미리 파악할 수 있습니다. - 최종 유저 고려하기
인공지능 모델 구축에는 최종 유저에 대한 공감 능력이 필수적입니다. 최종 유저가 여러분의 기술과 어떻게 상호작용하는지, 그렇게 할 때 어떤 문제가 발생할 수 있을지 학습하여 인공지능 모델의 데이터 편향을 피할 수 있습니다. - 다양성 데이터 라벨링 처리
인간 어노테이터 풀이 확대될수록 관점도 더 다양해집니다. 이는 인공지능 모델을 초기에 출시하는 경우나 모델을 재교육할 때, 데이터 편향성을 줄이는 데 실제로 도움이 됩니다. - 인공지능 모델 배포 전 피드백 받기
최종 유저의 모델에 대한 피드백 없이 인공지능 모델을 배포하는 것은 좋지 않습니다. 따라서 배포 전 인공지능 모델 피드백을 위한 토론과 포럼을 열어 모델이 모든 사람에게 최적의 성능 수준을 유지하도록 보장해야 합니다. - 피드백 기반으로 모델 개선하기
고객 피드백뿐만 아니라 변경 사항이나 예외 사례, 놓칠 수 있는 데이터 편향성 사례 등을 감사하는 독립적 작업자를 통해 모델을 지속해서 검토해야 합니다. 인공지능 모델로부터 받은 피드백과 자체 피드백을 통해 성능을 향상하면서 지속적으로 모델을 개선하세요.
에펜과 함께 AI 모델의 데이터 편향성을 줄여보세요
Appen은 지난 20여 년간 데이터 라벨링을 처리하고 다양한 크라우드소싱을 활용해 최적화된 인공지능 모델을 배포해왔습니다. 에펜은 130개국에서 온 100만 명이 넘는 크라우드소싱을 보유한 플랫폼을 제공함으로써 편향된 인공지능 알고리즘을 개선합니다. 또한 AI 모델에 맞는 최고의 학습 데이터를 생성하기 위해 전문가로 구성된 관리 서비스 팀을 구성합니다.
