내 스마트폰이 작은 인공지능…온디바이스 AI

프린트

기술미래 ㅣ HIT! 이 기술 내 스마트폰이 작은 인공지능…온디바이스 AI 초개인화 서비스 초석…사용자 친화적인 AI가 열어갈 미래㊤

기사입력2024-06-20 11:30

애플은 지난 6월10일 미국 캘리포니아주에서 ‘세계 개발자회의(WWDC 2024)’를 열고, 자사의 운영체제에 인공지능(AI)를 본격적으로 도입한다고 밝혔다. 이날 애플은 자사의 AI 시스템 ‘애플 인텔리전스’를 공개했는데, 이는 온디바이스(On-Device) AI 형태로 작동한다. ‘온디바이스 AI’는 대체 무엇일까? 온디바이스 AI가 바꿀 미래는 어떨까?

내 스마트폰이 작은 인공지능이 된다…온디바이스 AI

온디바이스(On-Device)는 ‘기기 자체에서 작동하는 것’이라는 뜻이다. 즉 온디바이스 AI는 중앙 서버나 클라우드를 거치지 않고 개인용 기기인 스마트폰, PC 등에서 AI 서비스를 구동할 수 있는 기술을 일컫는다.

클라우드나 서버를 거치지 않는다는 것은 무슨 의미일까? AI는 수많은 데이터를 끊임없이 학습해 성능을 고도화하는 ‘훈련’을 거쳐야 하며, 사용자의 질문에 적합한 답변을 생성하기 위해 학습 데이터를 바탕으로 ‘추론(논리적인 결론을 내리는 과정)’을 한다. 그런데 데이터 학습과 추론 작업에는 엄청난 연산이 필요하다. 이를 위해서는 방대한 크기의 데이터센터를 구축해야 하며 고성능의 GPU와 반도체가 필요하다.

그렇다 보니 일반 사용자가 쓰는 스마트폰과 PC 등에서 AI가 직접 연산을 하는 것은 현실적으로 어려웠다. 이 때문에 우리가 챗GPT와 같은 AI를 사용할 때는 다음과 같은 과정을 거친다. 사용자가 질문을 하면 질의한 내용을 수집해 오픈AI(챗GPT의 개발사)의 중앙 클라우드 서버에 전송하고, 서버에서 사용자의 질문을 분석해 적절한 답을 생성한 다음, 다시 사용자의 기기에 전송하는 방식으로 이루어진다. 즉 챗GPT와 같은 AI를 이용하려면 인터넷에 연결해야 하며, 인터넷 연결 상태나 데이터의 분량에 따라 서비스의 품질이 좌우될 수 있다.

반면, 온디바이스 AI는 중앙 서버나 클라우드를 거치지 않고 스마트폰과 PC 등 사용자가 쓰는 기기 자체에서 데이터를 처리해 직접 AI 서비스를 제공할 수 있다. 기존에는 AI를 구동하려면 고성능·고전력 인프라가 뒷받침돼야 해서 중앙 서버나 클라우드를 거쳐야 했다. 그러나 이제는 반도체 기술이 크게 발전하면서 사용자가 쓰는 스마트폰이나 PC에도 고성능·초저전력으로 작동하는 초소형 반도체를 탑재할 수 있게 됐다. 반도체 기술의 향상이 온디바이스 AI 시장을 태동하게 한 중요한 배경이 된 셈이다.

다만 온디바이스 AI 개념에 관해 이해했더라도, 사용자 입장에서는 이러한 의문이 들 수 있다. 요즘에는 언제 어디서나 인터넷에 연결할 수 있는데 왜 굳이 온디바이스 AI를 개발해야 할까? 사용자 입장에서 체감할 수 있는 장점은 또 없을까?

온디바이스 AI는 중앙 서버나 클라우드를 거치지 않고 개인용 기기인 스마트폰, PC 등에서 AI 서비스를 구동할 수 있는 기술을 말한다. <이미지=이미지투데이>

온디바이스 AI가 필요한 이유는…‘비용, 속도, 보안’

온디바이스AI를 개발하는 이유는 크게 ‘비용, 속도, 보안’으로 나눠볼 수 있다.

첫째, 비용이다. 챗GPT와 같이 대규모 언어 모델(LLM, 대규모의 텍스트 데이터를 학습해 언어 생성능력을 갖춘 AI 모델)을 기반으로 삼는 AI는 학습과 추론 작업에 막대한 비용이 든다. 학습을 위해서는 방대한 양의 데이터를 수집하고 정제해야 하며, 데이터 학습과정에서는 고성능 GPU와 반도체, 데이터센터가 반드시 필요하다. 추론을 할 때도 마찬가지다. 고성능 AI는 파라미터(AI가 학습, 추론할 때 사용하는 매개변수의 단위)의 규모가 크다. 파라미터의 규모가 클수록 AI가 추론한 결과물은 보다 정교해지지만, 추론 시 필요한 계산량이 늘어나 더욱 많은 컴퓨팅 자원이 필요하고, 운영비용도 상승한다.

그런데 일반 사용자 입장에서 AI를 통해 얻고자 하는 기능이나 서비스는 간단한 경우가 많고, 이럴 때마다 반드시 대규모 언어 모델이 필요한 것은 아니다. 비교적 간단한 추론은 스마트폰이나 PC 등의 자원을 활용하는 게 효율적이므로 온디바이스 AI가 각광받는 것이다.

둘째, 속도다. 기존의 AI는 사용자의 기기에서 수집한 정보를 중앙의 클라우드 서버로 전송하고, 서버에서 답변을 생성해 다시 사용자의 기기로 전송하는 방식을 취하고 있다. 그런데 수많은 사용자들이 동시에 AI 서비스를 이용할 경우 응답속도가 느려지기도 한다. AI가 처리하는 데이터의 양이 방대할 경우, 데이터 병목현상(시스템의 성능이 저하되는 현상)이 일어나며 서비스 품질이 떨어질 수도 있다.

반면 온디바이스 AI는 기기 내부에서 데이터를 처리하기 때문에 정보를 처리하는 속도가 빠르다.

셋째, 보안은 온디바이스 AI를 개발하는 가장 중요한 이유로 손꼽힌다. 지금도 기업에서는 사내 보안문제로 챗GPT와 같은 대규모 언어 모델(LLM) 기반의 AI 사용을 금지하고 있다. 기업 입장에서는 회사의 기밀정보가 외부 서버로 전송되는 것에 민감할 수밖에 없기 때문이다. 개인 역시 마찬가지다. 개인정보나 사생활을 담은 데이터가 외부 서버로 전송되는 것이 부담스러울 수 있다.