콘텐츠 필터링이란?

콘텐츠 필터링의 정의

콘텐츠 필터링은 인터넷 사용자가 소셜 미디어 플랫폼이나 온라인 쇼핑몰에서 안전하고 긍정적인 경험할 수 있도록 하는 콘텐츠 규제 방법을 의미합니다. 콘텐츠 필터링은 선정적, 모욕적이거나, 가짜 뉴스 혹은 사기성이 있는 것들, 사용자들에게 유해하거나, 비즈니스 친화적이지 않은 모든 데이터를 제거합니다.

전통적인 콘텐츠 필터링은 작업을 사람에게 의존해왔지만, 인터넷 사용량과 콘텐츠가 증가함에 따라 사람에 의한 콘텐츠 필터링은 더 이상 비용 효율적이거나 효과적이지 않습니다. 이에 따라 기업에서는 자동으로 콘텐츠를 필터링하는 알고리즘을 만들기 위해 머신러닝(ML) 전략에 투자하고 있습니다.

인공지능(AI)으로 구동되는 콘텐츠 필터링을 통해 일관된 방식으로 콘텐츠 필터링을 더 빠르게 확장하고 최적화할 수 있습니다. 아직 콘텐츠 필터링은 정확한 실측 정보 모니터링과 미묘한 콘텐츠 문제 처리를 위해 콘텐츠 모니터링 담당자(휴먼 인 더 루프)를 필요로 하지만 콘텐츠 모니터링 담당자가 검토해야 하는 콘텐츠의 양을 줄일 수 있다는 큰 장점이 있습니다. 또한 콘텐츠 모니터링 담당자가 정신 건강에 좋지 않은 유해한 콘텐츠를 직접 접하는 것을 방지할 수 있습니다. 따라서 콘텐츠 필터링을 기계에 맡김으로써 회사, 직원과 사용자 모두에게 이점을 제공할 수 있죠.

콘텐츠 필터링 활용 사례

회사는 비디오 게임에서 챗봇 및 채팅방에 이르기까지 다양한 디지털 미디어에서 ML 기반 콘텐츠 필터링 기능을 사용합니다. 그중 가장 일반적인 적용 분야인 소셜 미디어와 온라인 쇼핑몰에 대한 활용 방법을 알아보겠습니다.

소셜 미디어(SNS)

페이스북에서는 20억 명이 넘는 사용자가 하루 평균 1억 시간 분량의 동영상을 시청하고 3억 5천만 개 이상의 사진을 업로드합니다. 이 많은 양의 콘텐츠를 모두 수동으로 검토하려면 셀 수 없는 인력이 필요함은 물론 엄청난 비용과 시간이 소요될 것입니다. AI는 혐오 표현, 선정적이거나 유해한 콘텐츠, 가짜 뉴스 및 스팸에 대해 텍스트, 사용자 이름, 이미지 및 동영상을 자동으로 확인하여 콘텐츠를 필터링합니다. 또한 콘텐츠 필터링 알고리즘은 회사의 이용 약관을 준수하지 않는 콘텐츠나 사용자를 삭제할 수 있습니다.

온라인 쇼핑몰

콘텐츠 필터링은 소셜 미디어에만 국한되지 않습니다. 온라인 소매업체는 콘텐츠 필터링 도구를 사용하여 고품질의 비즈니스 친화적인 콘텐츠만 소비자에게 노출합니다. 예를 들어 호텔 예약 웹사이트는 AI를 활용하여 모든 호텔 객실 이미지를 스캔하고 사이트 규칙을 위반하는 이미지를 제거할 수 있습니다(예: 사진에 사람이 보이지 않아야 함). 쇼핑몰은 또한 ML 기술을 활용하여 비즈니스에 필요한 맞춤화 서비스를 제공할 수 있습니다.

콘텐츠 필터링하는 방법

1. 사전 조정: AI는 게시하기 전에 사용자 콘텐츠를 조정합니다. 이를 통해 유해하지 않은 것으로 분류된 콘텐츠만 사용자에게 표시됩니다. 유해하거나 비즈니스 친화적이지 않을 가능성이 크다고 판단되는 콘텐츠는 제거됩니다. 단, AI 모델의 예측 신뢰도가 낮은 경우, 사람이 검토할 수 있도록 콘텐츠에 플래그를 지정합니다.
2. 사후 조정: 사용자가 유해 콘텐츠를 신고하면 인공지능 또는 사람이 이를 검토합니다. AI가 검토를 완료하면 1단계에서 설명한 것과 같은 워크플로우를 통해 유해한 것으로 판단되는 모든 콘텐츠를 자동으로 삭제합니다.

인공지능은 미디어 유형에 따라 다양한 머신러닝 기술을 사용하여 콘텐츠를 예측합니다.

텍스트 콘텐츠 필터링

• 자연어 처리(NLP):컴퓨터는 인간의 언어를 이해하기 위해 NLP에 의존합니다. 이들은 키워드 필터링과 같은 기술을 통해 바람직하지 않은 언어를 식별하여 제거할 수 있습니다.
• 감성 분석:감성 분석은 컴퓨터가 풍자나 분노와 같은 어조를 식별하는 데 도움이 됩니다.
• 지식 기반:컴퓨터는 알려진 정보의 데이터베이스에 의존하여 어떤 기사가 가짜 뉴스인지 예측하거나 일반적인 사기를 식별할 수 있습니다.

이미지 및 동영상 콘텐츠 필터링

• 객체 감지:이미지 분석은 플랫폼 표준을 충족하지 않는 이미지 및 동영상에서 누드와 같은 대상 객체를 식별할 수 있습니다.
• 장면 이해:컴퓨터는 장면에서 일어나는 일의 맥락을 이해하는 법을 학습함으로써 더 정확한 의사 결정을 내릴 수 있습니다.

다양한 데이터 유형의 콘텐츠 필터링

데이터 유형과 관계없이 사용자 평판 기술을 사용하여 콘텐츠를 식별할 수 있습니다. 컴퓨터는 스팸 또는 선정적인 콘텐츠를 게시한 이력이 있는 사용자를 “신뢰할 수 없음”으로 분류하고 향후 게시할 콘텐츠에 대해 더 많은 조사를 적용합니다. 평판 기술은 가짜 뉴스를 방지하기도 합니다. 컴퓨터는 신뢰할 수 없는 뉴스 출처의 콘텐츠를 거짓으로 분류할 수 있습니다.

콘텐츠 필터링은 지속해서 새로운 학습 데이터를 생성합니다. 컴퓨터가 콘텐츠를 검토자에게 전달하면 사람은 콘텐츠의 유해 여부에 따라 라벨링 한 다음 라벨링 된 데이터를 알고리즘에 다시 제공하여 향후 정확도를 향상합니다.

콘텐츠 필터링의 문제점과 해결 방법

콘텐츠 필터링은 엄청난 양의 콘텐츠 정확성을 유지하면서도 빠른 모델을 만들어야 합니다. 정확한 모델 개발에서 가장 중요한 것은 바로 데이터입니다. 하지만 대부분의 데이터는 수집하는 회사에서 자산으로 보유하고 있으므로 디지털 플랫폼에 대한 공개 콘텐츠 데이터셋의 양이 제한되어 있습니다.

언어의 문제도 있습니다. 콘텐츠 필터링 인공지능은 인터넷에서 사용되는 수십 가지 언어와 해당 언어를 사용하는 문화의 사회적 맥락을 정확하게 인식해야 합니다. 또한 언어는 시간이 지남에 따라 변화하기 때문에 정기적으로 새 데이터를 통해 모델을 업데이트하는 것이 중요합니다.

단어의 정의에 대한 불일치도 있습니다. 악플은 무엇을 의미할까요? 노출이 많은 그림은 예술로 보아야 할까요? 아니면 선정적이라고 할 수 있을까요? 콘텐츠 필터링 프로세스에서 사용자의 신뢰를 유지하기 위해서는 플랫폼 내에서 단어의 정의를 일관되게 유지하는 것이 중요합니다. 이를 위해서는 최신 사기 또는 가짜 뉴스와 같은 문제를 제거할 수 있도록 모델을 지속해서 재교육해야 합니다.

마지막으로, 콘텐츠 필터링의 편향성을 인지해야 합니다. 언어나 사용자 특성이 관련된 경우 차별의 가능성이 생길 수 있습니다. 이를 방지하기 위해 학습 데이터를 다양화하고 맥락을 이해하도록 모델을 교육하는 것은 편향성 감소를 위해 매우 중요합니다.

이러한 모든 문제로 인해 효과적인 콘텐츠 필터링 플랫폼을 만드는 것은 다소 어려워 보일 수 있습니다. 그러나 성공할 수 있습니다. 많은 기업에서 저희 에펜과 같은 데이터 공급업체의 도움으로 충분한 학습 데이터와 라벨링을 위해 다양한 언어를 구사하는 글로벌 크라우드를 제공받았습니다. 또한 데이터 공급업체는 확장 가능하고 효율적인 모델을 제공하기 위해 ML 지원 콘텐츠 조정 도구에 필요한 전문 지식을 제공하여 콘텐츠 필터링 프로젝트를 성공으로 이끕니다.

콘텐츠 필터링 모델 개발 시 주의사항

에펜은 성공적인 콘텐츠 필터링을 실현하기 위해 최첨단 모델을 구축하고 있으며, 이를 지원하는 전문 인력으로 구성된 팀을 보유하고 있습니다. 에펜에서 콘텐츠 필터링 프로젝트를 총괄하는 프로그램 관리자 저스틴 아담은 머신러닝을 활용해 고객이 효과적으로 콘텐츠를 필터링할 수 있도록 돕는 핵심 전문가 중 한 명입니다. 저스틴이 들려주는 성공적인 콘텐츠 필터링 프로젝트를 위한 세 가지 핵심 인사이트를 소개합니다.

• 실제 환경에 맞춘 유연한 정책 업데이트: 콘텐츠 필터링은 명확하게 정의된 정책을 기반으로 이뤄져야 하지만, 민감한 주제나 회색 지대, 또는 예외적인 사례가 등장할 경우 신속한 정책 개선이 필요합니다. 이를 위해 시장별 콘텐츠 동향을 지속적으로 모니터링하고, 정책의 빈틈을 파악한 뒤, 권장 사항을 제시하고 정책을 업데이트해 나가야 합니다. 이렇게 조정된 정책은 모더레이터의 판단 기준이 되며, 최종적으로는 더 정밀하고 포괄적인 필터링이 가능해집니다.

• 인구통계학적 편향 최소화: 콘텐츠 필터링의 신뢰성과 효과는 해당 모더레이터가 타겟 시장의 대중을 얼마나 잘 대표하는지에 크게 달려 있습니다. 다양한 인구통계학적 특성을 고려해 필요한 기준을 정의하고, 편향 없는 데이터를 모델에 제공하는 것이 중요합니다. 이를 통해 다양한 배경의 사용자들에게 공정하게 작동하는 필터링 시스템을 구축할 수 있습니다.

• 품질 관리 전략 및 전문가 리소스 확보: 오늘날의 정치적·사회적 환경은 콘텐츠 필터링에 큰 영향을 미칠 수 있습니다. 오류를 사전에 방지하고, 발생 시 신속하게 수정하려면 체계적인 품질 관리 전략이 필요합니다. 에펜은 정책 분야의 전문가로 구성된 전담팀 구축, 다층적인 품질 검토 체계, 맞춤형 분석 및 보고 시스템을 통해 고객의 니즈에 맞는 전략을 설계하고 실행할 수 있도록 지원합니다.

에펜의 콘텐츠 필터링 솔루션

에펜은 25년 이상의 AI 모델 구축 지원 경력을 바탕으로 콘텐츠 필터링에 대한 포괄적인 데이터 분류 파이프라인을 제공합니다. 에펜의 독점적인 품질 관리 기술은 전문 지식과 플랫폼 기능에 따라 높은 정확도와 정밀도를 제공하여 빠른 배송과 확장성을 달성하는 데 도움을 드립니다.

지금 바로 에펜의 전문성과 콘텐츠 필터링 지원 방법에 대해 직접 상담을 받아보세요.