온디바이스 AI란 무엇일까, 인터넷으로 쓰는 기존 AI와 무엇이 다른가
온디바이스 AI라는 표현이 스마트폰 신제품 발표에서 빠지지 않고 등장하고 있습니다. 최근에는 단순한 사진 보정이나 음성인식을 넘어 AI 에이전트까지 스마트폰 자체에서 실행하려는 방향으로 기술이 발전하고 있습니다.
퀄컴도 9월 Snapdragon Summit을 전후해 차세대 모바일 AI의 방향을 공개했습니다. 새 Hexagon NPU는 생성형 AI와 에이전트 AI를 스마트폰에서 직접 처리하기 위한 구조를 강화했으며, 퀄컴은 스마트폰뿐 아니라 PC와 자동차, 이어폰 등 개인기기 전반에서 AI 에이전트를 활용하는 방향을 제시하고 있습니다. 퀄컴
그런데 스마트폰 안에서 AI가 돌아간다는 것은 우리가 사용하는 챗봇과 정확히 무엇이 다른 걸까요?
지금 사용하는 AI는 어디에서 계산할까
우리가 스마트폰에서 AI 서비스를 사용한다고 해서 모든 계산을 스마트폰이 하는 것은 아닙니다.
사용자가 질문을 입력하면 인터넷을 통해 데이터센터의 서버로 전달되고 서버에서 AI 모델이 처리한 결과가 다시 스마트폰으로 오는 방식이 널리 사용됩니다.
이런 클라우드 방식의 장점은 스마트폰에 거대한 AI 모델 전체를 넣지 않아도 된다는 것입니다.
강력한 서버를 이용할 수 있기 때문에 복잡하고 큰 모델을 실행하기에도 유리합니다.
반면 인터넷 연결이 필요하고 요청과 응답이 네트워크를 오가야 합니다.
온디바이스 AI는 무엇이 다른가
온디바이스 AI는 말 그대로 AI 작업의 전부 또는 일부를 사용자의 기기 안에서 직접 처리하는 방식입니다.
스마트폰이라면 CPU와 GPU뿐 아니라 AI 연산에 특화된 NPU가 중요한 역할을 합니다.
사진에서 특정 물체를 인식하거나 음성을 텍스트로 바꾸고 문장을 요약하는 등의 작업을 서버에 보내지 않고 스마트폰에서 처리할 수 있습니다.
최근에는 생성형 AI 모델도 스마트폰에서 직접 실행할 수 있도록 칩과 메모리 구조가 발전하고 있습니다.
퀄컴은 차세대 Hexagon NPU에서 공유 메모리를 50% 확대하고 Transformer 연산을 위한 전용 가속기 등을 적용했다고 설명합니다. 퀄컴
가장 큰 장점 중 하나는 응답속도다
AI 요청을 서버로 보내면 네트워크 상태의 영향을 받습니다.
인터넷이 느리거나 서버가 멀리 있으면 지연이 생길 수 있습니다.
기기 안에서 처리하면 이 왕복 과정이 줄어듭니다.
카메라로 촬영하는 장면을 실시간 분석하거나 음성을 즉시 번역하는 기능처럼 반응속도가 중요한 작업에서는 특히 유리할 수 있습니다.
AI가 스마트폰을 계속 관찰하면서 사용자의 명령에 반응해야 하는 에이전트 형태로 발전하면 지연시간의 중요성은 더 커집니다.
인터넷이 없어도 사용할 수 있는 기능이 늘어난다
비행기나 지하, 해외여행 중처럼 인터넷 연결이 불안정한 상황에서도 기기 자체에서 실행되는 AI 기능은 사용할 수 있습니다.
물론 모든 AI 기능이 완전한 오프라인 방식으로 제공되는 것은 아닙니다.
어떤 기능은 기기에서 처리하고 더 복잡한 질문은 클라우드로 보내는 하이브리드 방식도 가능합니다.
그래서 스마트폰 광고에서 ‘온디바이스 AI’를 강조한다고 해서 해당 기기의 모든 AI 기능이 인터넷 없이 작동한다고 생각해서는 안 됩니다.
실제 제품에서는 어떤 기능이 기기에서 실행되고 어떤 기능이 서버 연결을 요구하는지 확인해야 합니다.
개인정보 측면에서는 어떤 장점이 있을까
개인정보 보호도 온디바이스 AI가 주목받는 이유입니다.
사진이나 음성, 문서 같은 데이터를 서버로 전송하지 않고 기기에서 처리할 수 있다면 민감한 정보가 외부로 이동하는 범위를 줄일 수 있습니다.
하지만 여기에도 조건이 있습니다.
온디바이스 AI를 사용하는 앱이 어떤 데이터를 수집하는지, 처리 결과가 이후 클라우드와 동기화되는지 등에 따라 실제 개인정보 흐름은 달라질 수 있습니다.
그래서 ‘온디바이스 AI = 개인정보가 절대로 외부로 나가지 않는다’고 단순하게 생각해서는 안 됩니다.
각 서비스의 개인정보 처리방식과 설정을 함께 확인해야 합니다.
스마트폰 성능은 왜 더 중요해질까
기기에서 AI를 실행하려면 계산능력뿐 아니라 메모리와 전력효율도 중요합니다.
AI를 실행할 때마다 배터리가 빠르게 줄어든다면 편리한 기능이라도 실제 사용하기 어렵습니다.
스마트폰 안에는 앱과 운영체제도 함께 실행되고 있기 때문에 AI가 메모리를 지나치게 많이 사용해서도 안 됩니다.
퀄컴이 새로운 NPU에서 메모리 구조와 AI 모델 처리효율을 함께 강조하는 이유입니다.
새 구조는 Mixture-of-Experts 같은 모델에서 필요한 부분을 선택적으로 활성화해 기기 안에서 더 큰 모델을 효율적으로 실행하는 방향을 지원합니다. 퀄컴
앞으로는 ‘AI 에이전트’가 핵심이 될 수 있다
지금의 AI는 사용자가 질문을 하면 답을 주는 방식이 익숙합니다.
앞으로는 사용자의 의도를 파악하고 여러 앱과 기능을 연결해 실제 행동까지 수행하는 에이전트 형태가 확대될 가능성이 있습니다.
예를 들어 일정과 메시지, 위치와 개인 설정을 종합해 필요한 작업을 처리하는 방식입니다.
이런 AI는 사용자와 오랜 시간 함께 작동하기 때문에 매번 모든 데이터를 서버에 보내는 것보다 기기에서 일부 작업을 처리하는 방식의 중요성이 커집니다.
퀄컴 역시 현재 모바일 AI의 방향을 단순 생성형 AI에서 개인화된 에이전트 AI로 이동하는 과정으로 설명하고 있습니다. 퀄컴
스마트폰을 바꿀 만큼 중요한 기능일까
새 스마트폰을 고를 때 ‘AI폰’이라는 문구 하나만 보고 결정할 필요는 없습니다.
자신이 실제로 사용하는 기능을 확인해야 합니다.
사진 편집을 자주 하는지, 실시간 번역이 필요한지, 음성 녹음과 요약을 많이 사용하는지에 따라 AI 기능의 가치가 달라집니다.
또 동일한 기능이라도 오래된 스마트폰에서 클라우드 방식으로 제공될 수 있습니다.
따라서 신형 칩이 탑재됐다는 사실보다 어떤 AI 기능을 기기에서 실행할 수 있고 그 기능이 자신의 사용습관에 실제로 도움이 되는지가 더 중요합니다.
온디바이스와 클라우드는 경쟁보다 역할분담에 가깝다
온디바이스 AI가 발전한다고 데이터센터의 AI가 사라지는 것은 아닙니다.
스마트폰의 크기와 배터리에는 한계가 있기 때문에 거대한 AI 모델과 복잡한 계산은 여전히 클라우드가 유리합니다.
반대로 빠른 반응과 개인화, 오프라인 사용이 중요한 작업은 기기 안에서 처리하는 것이 유리할 수 있습니다.
그래서 앞으로의 스마트폰 AI는 둘 중 하나를 선택하기보다 빠르고 개인적인 작업은 기기에서, 더 큰 계산이 필요한 작업은 클라우드에서 처리하는 형태로 발전할 가능성이 큽니다.
소비자 입장에서 중요한 것은 ‘AI가 있다’는 광고문구가 아니라 내 데이터가 어디에서 처리되고, 인터넷이 없을 때 무엇이 작동하며, 그 기능을 쓰기 위해 어느 정도의 스마트폰 성능이 필요한가를 구분하는 것입니다.
해시태그
#온디바이스AI #스마트폰AI #AI스마트폰 #생성형AI #AI에이전트 #NPU #스냅드래곤