Big Data의 특징과 중요성

빅 데이터(big data)란 기존 데이터베이스 관리 도구로 데이터를 수집, 저장, 관리, 분석할 수 있는 역량을 뛰어 넘어서는 대량의 정형 데이터뿐만 아니라 비정형 데이터 집합을 포함한 데이터로부터 가치를 추출하고 결과를 분석하는 기술입니다. 즉 기존 데이터베이스의 기술로는 처리하기 어려운 매우 방대한 데이터를 처리하는 기술을 의미합니다.

 

출처: https://pixabay.com

 

흔히 빅데이터의 특징을 3V라고 합니다. 여기서 3V는 Variety, Volume, Velocity로 빅데이터의 개념을 한마디로 다양하고(variety) 방대한(volume) 데이터를 빠르게(velocity) 처리하는 기술이라고 설명하는 것에서 유추한 것입니다.

 

그리고 3V는 META Group(현재 Gartner)의 analyst인 Doug Laney가 2001년 데이터 관리 방안으로 처음 언급한 이후 빅데이터의 특징으로 많이 인용되고 있습니다. 

 

 

Data Management Solution

 

빅데이터가 중요한 이유는 무엇일까요? 그것은 바로 엄청나게 많은 데이터에 있습니다. 데이터가 많다는 얘기는 그만큼 정확하다는 것을 의미하기 때문입니다. 예를 들면 같은 50%라도 표본(sample)이 2개일때와 100개일때 1000개일때의 50%는 의미가 다르게 느껴질 것입니다. 즉 표본이 작을 때의 값은 표본이 커질수록 값이 변동할 가능성이 커집니다. 따라서 표본이 작다는 것은 그만큼 신뢰하기가 힘들다는 것과 같습니다.

 

그럼 빅데이터는 언제 어디서 사용을 할까요? 아마존닷컴 같은 쇼핑몰에서의 추천 상품 표시나 구글 애드샌스의 자동 광고, 그리고 각종 마케팅이나 홍보 등에 활용됩니다. 뿐만 아니라 상품을 개발할 때나 기획할 때도 활용합니다. 그 외에도 실시간 교통 상황이나 선거 등 우리 생활에서 거의 모든 분야에서 다양하게 사용하고 있습니다.

 

출처: https://pixabay.com

 

하지만 이러한 빅데이터에서 안 좋은 점이 있습니다. 그것은 바로 빅데이터의 결괏값을 맹신할 수 있다는 것과 빅데이터를 확보하기 위해 개인의 사생활을 침해하는 등 불법을 저지를 수 있다는 것입니다.

  

우리의 온라인 활동에서 나오는 데이터가 그냥 사라지진 않는다. 우리의 디지털 흔적들을 모으고 분석하면 매년 1조 달러 규모의 산업이 된다. 우린 이제 원자재가 된 것이다. 그럼에도 불구하고, 누구도 이용 조건을 읽어보려고 하지 않는다. 우리의 모든 교류 내역과 신용카드 결제, 웹 검색, 위치 정보, ‘좋아요’까지 우리의 신원과 결부되어 실시간으로 수집된다. 그 데이터를 구매하는 누구든, 우리의 감정의 고동에 곧바로 접속할 수 있다. 그들은 이런 지식으로 무장하고 우리의 관심을 끌기 위해 경쟁한다. 개인 맞춤형으로 각자 혼자만 보는 콘텐츠를 지속적으로 제공하면서. 이것은 우리 모두에게 해당되는 진실이다.

《거대한 해킹》 내용 중, 출처: 위키백과

 

2019년 7월에 넷플릭스에서 개봉된 오리지널 다큐멘터리 <거대한 해킹(The Great Hack)>에서 파슨스 디자인 스쿨의 부교수 데이비드 캐롤(David Carroll)이 한 말입니다.

 

 

2020/07/05 - [배움의 즐거움] - 인공지능을 배웁시다. #1

인공지능을 배웁시다. #1

2020/07/04 - [우리의 자세] - 인공지능을 대하는 자세

인공지능을 대하는 자세