애플은 이번에 M5 아이패드 프로를 발표하면서 그래픽 성능을 대거 끌어올렸습니다. 아이패드 프로에서 그래픽을 강화한게 게임 때문은 아닐테고(이미 아이패드 게임에서는 M4도 충분히 오버 스펙이니) 그래픽 성능을 대폭 강화하게 된 배경에는 모두 AI가 있습니다. 특히 온디바이스 AI 성능을 끌어올리기 위한 포석으로 보입니다.
온디바이스 AI란 ChatGPT 같은 챗봇 서비스와 달리 디바이스 내에서 실행되는 AI로, 대표적으로 Apple Intelligence 같은 서비스가 있습니다. 모든 AI 처리를 기기 내에서 처리하므로 보안적으로 안전하고 또 무제한 무료로 사용할 수 있으며, 심지어 인터넷이 연결되어있지 않아도 쓸 수 있다는 장점이 있습니다.
다만 Apple Intelligence는 ChatGPT 같은 채팅 형태의 챗봇 서비스로 이용할 수 없습니다. 기기 내에 보이지 않게 통합되어있어서 기사를 요약하거나 글을 다듬는데만 사용할 수 있죠. 단축어를 이용하면 방법이 아예 없는건 아니지만 이것도 어쨌든 좀 손이 많이 가고 불편합니다.
이번에 웹 서핑을 하다가 새로 알게된 Locally AI는 아이패드와 아이폰에서 온디바이스 AI를 쉽게 사용할 수 있도록 해주는 앱입니다. Apple Intelligence의 Foundation 모델을 채팅 형태로 쓸 수 있을 뿐 아니라 구글이나 메타에서 나온 로컬 AI 모델을 아이패드에서 쉽게 다운 받아서 돌려볼 수 있습니다.
Locally AI를 처음 실행하면 우리에게 익숙한 ChatGPT 같은 UI가 나옵니다. 다만 차이가 있다면 가입이나 로그인할 필요 없이 사용할 수 있다는 점입니다. 인터넷 연결 없이 기기 내에서 모든 데이터가 처리됩니다.
다만 초반에는 한글로 대화를 걸면 똑같은 이야기만하는데, 뭔가 애플이나 앱의 기본 프롬프트가 한글 대화에서 엄격하게 제한을 걸어놓은 것처럼 보입니다. 한글로 쓰기 위해서는 프롬프트 설정을 해줘야 합니다.
위와 같이 한국어로 이야기하라는 프롬프트를 기본으로 주면 이후부터는 한글로 대화를 할 수 있습니다.
애플 온디바이스 AI의 성능은 생각보다 나쁘지 않습니다. 일단 기기 내에서 연산하는 것 치고 속도가 엄청 빠르고 대화의 맥락 기억, 번역 처리, 요약 처리 등 현대 LLM이 하는 작업 대부분을 수행할 수 있었습니다. 딱 GPT-3.5와 GPT-4 사이의 느낌입니다.
파일 첨부를 통해 PDF 파일의 내용을 요약하거나 번역하는 것도 가능합니다. 다만 토큰 사이즈 때문인지 5MB 이하의 PDF만 사용할 수 있어서 좀 아쉬웠습니다.
Apple Intelligence가 아무리 뒤처져있니 뭐니 해도 모바일 기기 내에서 실행되는 AI 치고는 이 정도면 생각보다 나쁘진 않아 보입니다.(애초에 기대가 별로 없어서 그런가?)
하지만 Apple Intelligence만 실행할거라면 M4, M5의 오버 스펙이 좀 억울하겠죠. Locally AI의 가장 큰 장점은 애플 기본 모델 외에도 여러 회사에서 만든 Local AI 모델에 쉽게 접근할 수 있다는 점입니다.
저 같은 경우 구글의 Gemma 3n 을 다운받아 테스트해봤습니다. 모델은 복잡한 설정 없이 클릭 한번이면 받을 수 있습니다.
애플 기본 모델보다 속도가 좀 오래걸리고 아이패드 프로가 무리한다(거의 처음 느껴보는 버벅거림)는 느낌이 약간 들었지만 그래도 생각보다 준수한 속도로 거의 현대 LLM 같은 수준의 응답이 나오는걸 볼 수 있습니다. DeepSeek R1 같은 추론 모델을 쓰면 좀 더 나은 성능이 나올지도 모르겠네요. 이건 좀 더 테스트해보고 후기 남기겠습니다.
개인적으로 온디바이스 AI에 관심이 있는데, iOS 환경에서도 쉽게 테스트해볼만한 앱이 생겨서 개인적으로 반갑습니다. 클라우드 모델보다 당연히 성능은 다소 떨어지겠지만, 민감한 데이터나 보안적으로 문제가 있는 데이터는 기기 내에서 처리하는게 안전해서 온디바이스 AI는 나름대로 장점이 있습니다. 개인적으로는 환경측면, 보안 측면에서 이쪽 분야가 좀 더 대중화되었으면 하는 바람이 있습니다.
덧. 참고로 M4 아이패드 프로에 비해 M5 아이패드 프로는 고용량 AI 모델의 실행 속도가 두배 가까이 빨랐다고 합니다. 아이패드 프로가 하는 일에 비해 너무 고스펙을 갖고 있다는 지적이 많았는데 어쩌면 이런 온디바이스 AI가 좀 더 일반화된다면 그 남아도는 성능을 다 써먹을 기회가 생각보다 빨리 찾아올지도 모르겠습니다.
덧2. Deepseek R1은 M4 아이패드 프로 이상에서 사용하길 권장한다는군요.
댓글을 달려면 로그인해야 합니다.