빅 데이터와 AI의 관계는 어떻게 될 것인가(Big Data and AI)

빅 데이터와 AI의 관계는 어떻게 될 것인가(Big Data and AI)

데이터는 데이터인데 빅데이터는 무엇일까요? 우리들은 언제부터인가 데이터 앞에 빅을 붙여 빅데이터라는 표현을 사용하고 있습니다. 정의를 검색해 보면 기존의 데이터베이스로는 수집, 저장, 분석 등을 수행하기가 어려울 만큼의 방대한 데이터라고 합니다.

 

 

예로는 네이버에서 검색 또는 사용되는 데이터들, 구글이나 유튜브에서 사용되고 있는 전 세계의 데이터들입니다. 이러한 데이터들은 규칙이 일정하지 않고, 양이 방대하기에 분석을 어떻게 하냐에 따라 결과값이 달라집니다. 

 

데이터와 AI

 

AI와 빅데이터는 어떻게 작용하고 있을까요?

AI는 빅데이터에서 새로운 데이터 분석방법을 만들 수 있습니다. 빅데이터의 기술력은 이거 하나로 이야기할 수 있습니다. 데이터는 계속 쌓이고 있는데 Insight를 찾아내지 못한다면 아무 의미가 없습니다. 데이터 저장공간 사용 비용만 발생하는 것입니다. 지금까지는 전문가들이 데이터의 일정한 패턴을 분석하거나 본인의 경험을 바탕으로 데이터에서 유용한 정보를 뽑아내었다면 이제는 AI가 새로운 방법들을 스스로 만들어내면서 쉽고 빠르게 Insight를 만들어내고 있습니다. AI가 기계학습을 하면서 기하급수적인 발전을 하고 있습니다. 

 

애플맥

데이터 분석은 어떤 인공지능을 가지고 있는지에 따라 모든 결과가 달라집니다. 

데이터 관리 및 분석은 AI의 등장으로 시간이 많이 걸리는 수동 노력, 즉 인간의 의존도가 낮아졌습니다. 아직도 전문가들이 데이터 관리에 중요한 역할을 담당하고 있지만 AI가 대체되고 있거나 일정 부분을 담당함으로써 프로세스가 간소화되고 시간은 대폭 줄어들고 있습니다. AI는 지시받은 입력을 기반으로 반자동 또는 자동으로 결정을 내릴 수 있는 완전히 새로운 기능으로 분석의 세계를 향상시키고 있습니다. 경험과 노하우 없이 규칙, 결정 및 예측을 바로 얻을 수 있습니다. 우리나라에서는 빅데이터의 분야 중 CCTV가 중요한 부분입니다. 지금 감시센터가 있지만 결국은 AI로 다 대체가 될 것입니다. 예를 들어 수천 대의 CCTV에서 나오는 정보는 24시간이기에 수십만 시간의 정보들과 이미지, 동영상이 있습니다. 이것을 정밀하게 분석하기 위해서는 수십 명의 사람들이 동원되지만 지능이 우수한 AI가 있다면 아마 몇 분 만에 원하는 정보를 찾아낼 것입니다. AI의 알고리즘으로 효율을 극대화하는 것이죠. 

 

 

출처: GS건설

 

AI와 빅데이터는 아주 좋은 협업관계입니다.

이제는 데이터가 곧 파워입니다. AI는 무제한 두뇌를 갖고 있기에 데이터의 양이 많으면 많을수록 좋아합니다. 인간은 데이터의 양이 많으면 피곤하지만 AI는 열정지수가 더 폭발합니다. AI는 이상감지를 통해 비정상적으로 발생하는 데이터들을 감지하여 위험을 미리 예측할 수 있습니다. 데이터들의 추세를 분석하여 미래 결과값 정확도를 높일 수 있습니다. 패턴 분석은 이미 유명한 기법 중 하나입니다. 그래도 인공지능들을 컨트롤하는 인간이 필요하기에 데이터 분석 전문가들의 몸값은 계속 올라가고 있습니다. 수요 또한 폭발적으로 증가하고 있습니다. 빅데이터와 연결되는 것 중 하나는 스토리지입니다. 최근 GS건설도 데이터 스토리지 시장에 진출한다고 비전을 발표하였습니다. 데이터의 양이 많아진다는 것은 그만큼 저장할 공간도 필요하다는 의미이기에 이 시장 또한 증갈 할 것입니다. 수 많은 글로벌 기업들이 앞다투어 인공지능과 빅데이터에 아낌없이 투자하고 있습니다. 개인들도 이제는 미래를 준비할 때입니다.