‘21세기의 원유, 빅데이터’ 기업의 데이터 활용, 어떻게 하면 성공할 수 있을까?

전 세계를 요란하게 휩쓸고 지나간 코로나19.

 

2008년, 이미 전염병 예측 서비스가 세상에 등장했으나 곧 자취를 감추었다는 사실을 알고 있나요? 그 서비스는 바로 구글에서 2008년 공개한 전염병 예측 서비스 GFT(Google Flu Trends).

 

< 출처 : 픽사베이, https://pixabay.com/ko >

GFT 서비스는 심각한 성능 저하로 2015년 중단할 수밖에 없었는데요, 예측 알고리즘 변수가 광범위하고 검색어 기반으로 수집된 학습데이터 품질이 낮아 예측성능 저하를 야기한 것입니다.

 

09년 A형독감 대유행 예측에 실패하고, 11년~13년 108주 중 100주에 대한 독감 유병률 예측도 실패하는 등 기존 모형보다 늦은 성능을 보였다고 하는데요. 단순히 구글 검색어를 활용한 데이터 분석에 의존하여 독감을 예측하려 한 것이 실패 원인입니다.

 

이에 한 데이터과학 전문가는 빅데이터를 이용한 예측과 실제 결과는 인과관계가 아니라 상관관계를 갖으며, 정확한 예측보다는 경향성을 확인하는 데 만족해야 한다고 의견을 밝힌 바 있죠.

< 출처 : 픽사베이, https://pixabay.com/ko >

'빅데이터'는 오랫동안 '21세기 원유, 미래를 읽는 열쇠'라고 불리는 만큼 인터넷 등에 쌓여있는 방대한 정보를 잘 분석하면 고객서비스 향상, 생산성 제고뿐 아니라 신규 비즈니스 포착 등 혁신적 패러다임으로 주목받았습니다.

 

다양한 산업에서 기업들은 이미 빅데이터를 확보하고 분석 수준 우위를 점하기 위해 고가의 빅데이터 툴을 도입하거나 데이터 분석 전문인력을 꾸준히 채용해왔는데요.

 

최근 챗GPT 등의 생성형 AI플랫폼의 활약은 경영진의 빅데이터 기대 수준을 제고하기에 충분했습니다.

 

하지만, 위 GFT 사례에서 본 것과 같이 다수 기업은 고가의 빅데이터 분석 인프라 구축 등 투자하는 것에 비해 만족할만한 성과를 거두지 못하는 경우도 많은데요. 기업들의 성공적인 빅데이터 활용을 위해 구체적으로 어떠한 노력이 필요할까요?

 

- 조직 내 데이터 컨트롤타워 마련

첫 째, 기업 내 데이터 의사결정권자 중심의 컨트롤타워를 확보하고, 데이터 조직에 대한 경영진의 심층적 지원과 업무 추진력 확보가 우선되어야 합니다.

 

< 출처 : 픽사베이, https://pixabay.com/ko >

기업내 데이터 조직은 데이터 컨트럴타워로 부서간 데이터 정합성을 확보하고, 분석 결과의 상호 불일치 발생 시 재확인 작업 등으로 인한 비효율을 방지할 수 있어야 합니다.

 

- 실패 데이터 문서화

둘째, 데이터 분석 과제가 성공적이면 분석 과정 등 다양한 산출물이 저장되지만, 그렇지 못할 경우 대부분 문서화 없이 종료되어 추후 다른 분석가는 동일 과제의 실패를 반복할 수 있는데요.

 

< 출처 : 픽사베이, https://pixabay.com/ko >

실패 사례 리뷰를 위해서는 활용된 데이터에 대한 정확한 정보 기재가 필요하며 상시조회 가능하도록 메타정보의 저장이 필수적입니다.

 

- 전담인력 양성 및 활용도 제고

셋째, 많은 기업이 디지털전환(DT)를 시도하는 시점에서 데이터 직무 관련 광범위한 전문 인력 확보가 필요합니다. 특히, 빅데이터 분석역량 강화를 위해 정형데이터 뿐 아니라 비정형 기반 새로운 전문인력의 선제 영입을 위한 조치가 있어야 합니다.

 

< 출처 : 픽사베이, https://pixabay.com/ko >

실제로 많은 기업이 외주용역사 의뢰후 분석역량 내재화에 실패하며 수년전 외주 용역사가 구현한 이미 성능이 저하된 예측모형을 업데이트 없이 그대로 사용 중인 경우가 비일비재합니다.

 

< 출처 : 픽사베이, https://pixabay.com/ko >

빅데이터 트렌드를 쫓아 분석 인프라 구축에만 몰두하는 것이 아닌 장기적인 전문 인력 양성, 데이터 품질 관리, 명확한 목표 설정 등 기업 내 빅데이터 활용을 위한 구체적이고 고도화된 전략 구축이 선제되어야 할 시점입니다.

 

 

[출처]

- <기업은 왜 데이터 분석에 성공하기 어려울까?>, 하나금융경영연구소, 2023

- "빅데이터의 배신?", <중앙일보>, 2014.03.14