빅데이터 대기업 전유물? ‘서비스’ 中企 강세

프린트

기술미래 ㅣ 기술로드맵 빅데이터 대기업 전유물? ‘서비스’ 中企 강세 선도국가와 2~4년 기술격차…개인정보 범위 명확하게 규정해야

기사입력2017-06-26 20:20

최근 ICT기술의 발전으로 데이터 발생량이 급격하게 늘고 있다. 글로벌 시장조사기관 고글러브(go-Globe)에 따르면 트위터에서는 1분간 9만8000개의 트윗이 만들어지고, 페이스북에서는 69만5000개의 글과 사진이 게시되며, 1억6800여만개의 이메일이 송수신된다. 이는 고화질영화 2000억개 정도의 분량으로, 한 사람이 4700만년동안 봐야 다 볼 수 있는 어마어마한 양이다. 유의미하고 실질적으로 활용할 수 있는 데이터만 골라내는 빅데이터기술이 필요한 이유다.

빅데이터 솔루션은 방대한 양의 데이터를 수집해 의미있는 결과를 이끌어 내는 데이터관리 기술을 말한다. 고객 신상정보나 매출·회계 데이터 등 고정된 필드에 저장된 정형데이터뿐만 아니라 동영상·음악·소셜미디어 등 실시간으로 생성되는 비정형데이터를 포함한다. 빅데이터의 80%이상이 형태가 정해지지 않은 비정형데이터이거나 반정형데이터로, 복잡하고 수준높은 처리기술을 필요로 한다. 최근 경제적 가치창출, 범죄 예방 및 수사 등 빅데이터를 활용하는 비중이 높아지면서 새로운 경제적 가치의 원천으로 떠올랐다.

빅데이터 솔루션시장…연평균 성장률 세계 26%, 국내 27%

중소기업청이 발간한 ‘중소기업 기술로드맵 2016~2018’에 따르면, 2013년 130억달러였던 세계 빅데이터솔루션 시장은 2018년에 415억달러로 성장한다. 연평균 성장률이 26%를 상회하는 이른바 ‘뜨는’ 시장이다. 국내시장 또한 2013년 1908억원에서 2018년 6258억원으로, 연평균 약 27%의 성장률을 보일 것으로 전망하고 있다.

<그래픽=이가영 기자> ©중기이코노미

빅데이터 솔루션은 데이터 수집→데이터 저장 및 관리 기술→데이터 전처리→데이터 분석 및 활용→시각화 단계로 나눠진다. 빅데이터 분석을 위해 가장 먼저 선행돼야 할 것은 데이터 수집이다. 수집절차를 설계해 충분한 테스트를 거쳐 수집을 진행해야 한다. 데이터 수집은 서비스의 품질을 좌우하기 때문에 수집시 심각한 문제가 발생한다면, 프로젝트를 다시 설계해야하는 불상사가 발생할 수 있다. 따라서 수집할 데이터에 따라 다양한 수집기술을 선택하는 것이 중요하다. 수집 데이터의 형태와 종류에 따라 크롤링, ETL, 로그수집, FTP 등이 대표적이다.

저장단계에서는 웹 데이터, 소셜 미디어 데이터, 비즈니스 데이터 등 다양한 형식의 데이터를 실시간으로 저장하고 관리할 수 있는 분산 컴퓨팅 기술이 필요하다. 분산 파일 시스템, NoSQL, 병렬 DBMS 등이 여기에 해당한다. 분석단계는 데이터를 효율적이고, 정확하게 분석해 비즈니스 등의 영역에 적용하기 위한 것이다.

빅데이터 전처리 단계에서는 앞서 수집·저장된 방대한 양의 데이터와 다양한 형태의 데이터중 실질적으로 필요한 데이터를 걸러내고 적당한 형태로 변형하는 것이다. 데이터의 시각화는 빅데이터 분석을 통해 도출된 결과를 쉽게 이해할 수 있도록 표현해 전달하는 것을 말한다. 최소한으로 편집된 데이터를 사용해 데이터의 최초형태보다 접근하기 편하게 가공하고, 직관적으로 분석해 쉽게 결과를 도출할 수 있도록 하는게 핵심이다.

빅데이터 분석은 여러 첨단 기술을 통합 적용해야 하는 매우 복잡하고 섬세한 작업이다. 분석해야할 데이터양이 방대하고 비정형 데이터의 비중도 높은 탓이다. 정확한 정보를 추출하기 위해서는 기술력 확보가 무엇보다도 중요하다. 아울러 대용량 데이터를 실시간으로 처리하기 위해서 클라우드 컴퓨팅기술은 물론 자연어처리, 텍스트 마이닝, 기계학습, 시멘틱 기술과 같은 인공지능 기술도 요구한다. 이를 관리할 전문인력도 필요하다.

선도국가와 2~4년의 기술격차…개인정보법 관건

이에따라 빅데이터 솔루션은 대기업의 전유물로 알려져왔다. 전문업체가 기존 기술과 비즈니스를 바탕으로 시장을 확장하는 식이었다. 빅데이터 분석을 성공적으로 활용한 사례가 적다는 점도 중소기업의 진입장벽이었다. 그러나 2013년부터 정부가 나서 ‘빅데이터산업 발전 전략’을 수립·추진하고, 공공데이터를 대폭 개방함에 따라 중소기업의 빅데이터 활용은 꾸준히 늘고 있다. 정부는 2015년부터 2020년까지 총 4869억원을 투자해 빅데이터산업을 집중 육성한다는 계획이다.

그러나 아직 데이터 분석과 활용은 전통적 방식에 의존하고 있다. 또 핵심기술의 경우 선도국가와 2~4년의 기술격차가 존재해 IBM, Oracle 등의 외국 솔루션과 오픈소스 솔루션에 의존하고 있는 것도 문제다. 빅테이터 분석 전문가와 데이터 관리자 등 고급인력, 빅데이터 산업을 체계적으로 지원할 수 있는 정책안이나 법·제도적 근거 등도 미흡하다. 국내의 경우 통신, 제조업이 발달해 있어 성장 잠재력이 매우 크기 때문에 적극적인 촉진책과 산업육성 정책이 필요하다는 게 전문가들의 지적이다.

<그래픽=이가영 기자> ©중기이코노미

특히 모호한 개인정보 관련법이 빅데이터산업의 걸림돌로 꼽힌다. 개인정보보호 법제가 산재돼있는데다, 개인정보 범위 또한 매우 포괄적이어서 데이터 활용시 과도한 제약을 받고 있다는 게 업계의 주장이다. 다양한 산업데이터의 원활한 융합을 위해서는 명확한 개인정보법과 유연한 데이터 공유환경이 필수적이라는 설명이다. 물론 이에대한 반론도 적지 않아 풀어야 할 과제다.

빅데이터산업의 가장 선도국가인 미국은 산업분야별로 개인정보범위가 확립돼 모호한 해석에 따른 문제가 적고, 성과를 내기도 쉽다. EU나 일본의 경우에도 개인정보범위가 한국에 비해 비교적 명확히 규정돼있고, 개인정보이용에 대한 사전(死前)동의 뿐 아니라 사후(死後)동의도 허용하는 등 빅데이터 활용 여건이 우수하다.

출원건수 한국 세계 2위…中企, 서비스부문 강세

한편 빅데이터 솔루션의 대상특허 4860건에 대한 각 국가의 연도별 출원동향을 살펴보면, 2010년도를 시작으로 꾸준히 증가하는 양상을 보이고 있다. 전체 출원건수의 64%(3125건)를 차지한 최대 출원국인 미국이 빅데이터 기반 소프트웨어 기술을 리드하고 있다. 그 뒤는 한국 25%(1203건), 일본 6%(289건), 유럽 5%(243건)순으로 나타났다.

한국의 경우 2010년이후 꾸준히 증가추세를 보였고, 특히 2013년 이후 급증하고 있다. 출원주체도 70%이상이 내국인으로 기술자립도가 높은 편이다. 특히 중소기업의 경우 빅데이터산업에서 가장 큰 시장, 오픈소스를 주로 활용해서 새로운 제품 및 서비스를 제공하는 서비스부문에 강세를 보이고 있다.

특허청에 따르면 최근 5년간(2011~2015년 상반기) 빅데이터 관련 중소기업 출원중 서비스부문 비중은 72.8%(377건)를 차지했다. 시장변화에 따른 신속한 의사결정이 가능한데다, 창의성을 갖추고 있어 가능했다는 평가다. 로드맵은 빅데이터 플랫폼(인프라) 개발 기술, 스토리지 통합기술, 분석결과에 대한 표현 기술, 실시간 데이터 모니터링 구현 기술 등을 핵심 요소기술로 꼽았다.