비정형 데이터는 미리 정의된 형식이 없습니다. 텍스트 문서, 이메일, 비디오, 오디오 녹음, 이미지, 소셜 미디어 게시물 등이 모두 여기에 해당합니다. 이러한 데이터는 행과 열로 정렬되지 않으며, 특정 스키마를 따르지도 않습니다. 기업에서 생성하는 데이터의 대부분이 비정형 데이터이며, 전체 기업 데이터의 80~90%를 차지하는 것으로 추산됩니다. 대부분의 비정형 데이터는 기존 도구로는 쉽게 처리할 수 없기 때문에 활용되지 않고 방치되어 있습니다.

핵심 과제는 추출입니다. 비정형 데이터를 분석하려면 먼저 데이터에 구조를 부여해야 합니다. 자연어 처리(NLP)는 텍스트에서 개체, 감정, 주제를 추출하고, 컴퓨터 비전은 이미지에서 객체와 장면을 식별하며, 음성 인식은 오디오를 텍스트로 변환합니다. 각 기술은 비정형 데이터를 분석 가능한 구조화된 표현으로 변환합니다. 하지만 이러한 변환은 완벽하지 않습니다. NLP 모델은 뉘앙스나 풍자를 놓치고, 비전 모델은 유사한 객체를 혼동하며, 텍스트 변환 오류는 누적됩니다. 구조화된 출력물은 완벽한 반영이 아니라 근사치일 뿐입니다. 이러한 어려움에도 불구하고 비정형 데이터는 엄청난 가치를 지니고 있습니다. 고객 이메일은 불만과 요청을 드러내고, 고객 지원 티켓은 제품 문제에서 나타나는 패턴을 보여주며, 통화 녹음은 텍스트로는 포착할 수 없는 어조와 감정을 담아냅니다. 비정형 데이터를 효과적으로 활용할 수 있는 기업은 경쟁사가 놓치는 통찰력을 얻을 수 있습니다. 관련 도구는 계속 발전하고 있지만, 해결해야 할 과제는 여전히 남아 있습니다.

비정형 데이터 유형

• 텍스트 — 문서, 이메일, 소셜 미디어 게시물
• 이미지 — 사진, 도표, 스캔
• 오디오 - 녹음, 통화, 음악
• 비디오 - 영상, 스트리밍, 프레젠테이션
• 바이너리 — 텍스트 형식이 정의되지 않은 파일

비정형 데이터는 현대 분석의 원자재입니다. 여기서 가치를 추출하려면 구조가 없는 부분에 구조를 부여해야 합니다.