글, 그림, 음성, 영상…다양한 데이터 처리 OK

프린트

기술미래 ㅣ HIT! 이 기술 글, 그림, 음성, 영상…다양한 데이터 처리 OK 영화 ‘Her’ 현실로?…멀티모달, 인공지능 기술 표준이 되다㊤

기사입력2024-07-16 00:00

2025년, 주인공 테오도르는 아내와 별거한 채 외롭고 무료한 나날을 보내고 있었다. 그러던 중 테오도르는 사람처럼 생각하고 대화할 줄 아는 인공지능 운영체제 ‘사만다’를 만난다. 테오도르는 자신의 이야기에 귀를 기울이며 이해해 주는 사만다에게 조금씩 마음을 열고, 어느덧 그녀에게 사랑의 감정을 느낀다.

영화 ‘Her(그녀)’의 줄거리다. 그런데 영화에서 인공지능(AI)인 사만다는 어떻게 사람과 교감할 수 있었을까? 물론 영화 속 사만다는 자아와 의식을 가진 인격체라는 영화적 상상력을 더한 것이지만, 멀티모달 AI였기 때문에 인간과 깊이 소통할 수 있었다.

최근 AI 기술의 최대 쟁점으로 ‘멀티모달(Multi modal)’이 주목받고 있다. 멀티모달 AI는 무엇이고, 이는 우리의 삶에 어떤 영향을 미칠 것인가.

글, 그림, 음성, 영상…다양한 데이터 처리 OK

멀티모달(Multi modal)은 텍스트, 이미지, 음성, 비디오 등 다양한 데이터 양식(Modality)을 동시에 처리하는 것을 뜻한다.

기존의 AI가 텍스트 등 하나의 모달리티만을 활용했다면, 멀티모달 AI는 보다 다양한 작업을 수행할 수 있다. 예를 들면 이미지로 텍스트를 검색하거나, 이미지나 동영상을 분석하고 텍스트로 설명하거나, 텍스트와 음성 입력을 동시에 처리할 수 있다.

텍스트, 이미지, 동영상, 음성 등 다양한 형태의 데이터를 학습해 사용자에게 다양한 편의 기능을 제공하는 AI가 바로 ‘멀티모달 AI’다. <이미지=이미지투데이>

그동안에는 방대한 텍스트 데이터를 학습한 AI가 텍스트 생성, 번역, 요약 등의 작업을 수행해 왔다. 그런데 AI 기업들이 텍스트뿐만 아니라 음성, 이미지, 동영상 데이터도 방대하게 확보하면서 AI가 보다 다양한 형태의 데이터를 학습할 수 있게 됐다.

텍스트, 이미지, 동영상, 음성 등 다양한 형태의 데이터를 학습해 사용자에게 다양한 편의 기능을 제공하는 AI가 바로 ‘멀티모달 AI’다.

본격적으로 인간을 닮아가고 있는 인공지능(AI)

기존에 텍스트 데이터만을 학습한 AI의 경우, 텍스트 외 다른 데이터가 포함된 상황을 인식하는 데 한계가 있었다. 현실세계는 텍스트로는 완벽하게 표현할 수 없는 수많은 정보와 맥락을 내포하고 있기 때문이다. 일상에서도 문자 메시지만 주고받을 경우 때때로 오해가 생길 수 있는데 이와 비슷하다고 볼 수 있다.

텍스트 기반 AI는 ‘고양이가 창 밖을 바라보고 있다’라는 텍스트는 이해할 수 있지만, 실제로 어떻게 생긴 고양이가 어떤 자세를 취하고 어떤 상황에서 어떻게 생긴 창문과 어떤 풍경을 바라보고 있는지는 알지 못한다.

반면, 멀티모달 AI는 다양한 유형의 데이터를 통합적으로 처리하고 이해하면서 사용자의 현재 ‘상황을 인지’할 수 있다는 차별점을 지닌다.

한 가지 유형의 데이터에서 얻은 정보를 다른 유형의 데이터와 결합하면 더욱 심도 깊은 이해가 가능하다. 예를 들어 카메라와 마이크로 입력된 영상과 음성 데이터를 결합해 현재 상황을 파악하는 것이다. 이미지와 동영상 등의 데이터는 시각적·공간적 정보를 포함하고 음성 데이터는 청각적 정보를 포함한다. 이를 통해 사용자가 처한 상황을 정교하게 인지하고 보다 효과적인 해결책을 제공할 수 있다.

멀티모달 AI는 AI가 본격적으로 인간의 소통방식을 닮아간다는 것을 시사한다.

인간은 누군가와 대화를 나누거나 설명을 할 때 텍스트로만 말하지 않으며, 텍스트만으로 답하지도 않는다. 그림을 그리며 설명하기도 하고, 동영상과 같은 자료를 보여주기도 하고, 음악을 듣고 이를 바탕으로 감상문을 쓰며, 사진이나 그림을 보고 느낌을 표현하기도 한다. AI가 인간과 보다 자연스럽게 소통하려면 인간과 유사한 방식으로 학습하고 추론할 수 있어야 한다.

멀티모달 AI는 인간과 비슷한 방식으로 정보를 다룬다는 점에서 사용자와 자연스럽게 상호 작용할 수 있다. 더욱 복잡하고 창의적인 작업을 수행할 수 있다는 것도 기대되는 바다. 중기이코노미 안수영 기자