아이패드 프로에서 Locally AI를 쓰면서 느낀 점

작성일자 글쓴이 떠돌이

요즘 지난 번에 올린 Locally AI를 좀 갖고 놀아보고 있습니다. 아이패드 프로에서 할 수 있는 대부분의 작업이 스펙에 비해 너무 약한 것들 뿐이었는데 처음으로 기기의 한계를 마주하고 있습니다.

앱에서 현재 사용하고 있는 모델은 구글의 Genma 3 4b 모델인데, 애플 인텔리전스에 사용되는 Foundation 모델에 비해 꽤 준수한 성능을 보여주는 모델입니다. 노트북이나 태블릿에 사용하기 위해 만든 모델이라고 들었는데 생각보다 클라우드 기반의 AI와 큰 차이가 느껴지지 않았습니다. (Locally AI에 의하면 GPT-4o 모델 수준은 된다고)

80억 파라메터 기반의 Deepseek R1 추론 모델도 다운 받을 수 있어서 써봤지만 M4 아이패드 프로 기준으로 답변 하나 나오는데 10분 정도 걸려서 실제로 쓰기는 어려운 성능이었습니다. 메모리를 다 끌어다 쓰기 때문에 다른 작업을 할 수 있는 것도 아니었구요.

아이패드 프로에서 Genma 3를 써보니 태블릿 하드웨어에서 돌리는 LLM도 꽤 많이 발전했구나 하는 생각을 했습니다. GPT-4o 수준만되어도 일상적인 목적으로 쓰기엔 확실히 나쁘지 않으니까요.

다만 애초에 모델 크기가 작아서 그런지 몰라도 클라우드 기반의 모델에 비해 환각이 꽤 심각하다는 느낌이 들었습니다.

위 사례만 봐도 Google 의 Gemini Code라는 모델은 없고, Gemini가 저런 이야기를 했다는 기사도 없습니다. 참고 자료에 있는 Verge나 로이터의 링크도 그럴듯 해보이지만 없는 링크입니다. 요즘 AI가 어느정도는 환각 기능 제어를 하는걸 생각하면 2~3년 전 모델을 보는 느낌입니다.

Locally AI를 이용해 이렇게 로컬 AI를 써보니 애플이 왜 Apple Intelligence를 챗봇 형태로 만들지 않았는지 알 것 같은 느낌이었습니다. 로컬 AI처럼 연산 능력이 제한되어있고 모델 크기도 작은 모델에서는 LLM의 특성이 더 잘 부각되는 것 같은 느낌이었거든요. 만약 현재의 파운데이션 모델이 시리 같은 챗봇 형태였다면 사람들은 시리에 온갖 질문을 했을 거고, 현재의 기술로는 이걸 제대로 제어할 수는 없었을 겁니다. 그래서 시리의 기능 강화도 늦어지는거겠죠.

모델 크기가 커지고 필요 성능도 높아지면 더 성능 좋은 모델을 사용하는 것도 가능했겠지만 Genma 3 4B나 Deepseek R1 8B 모델(80억개 파라메터)를 아이패드 프로에서 테스트해보니 현재 실행중인 앱 외의 다른 작업은 거의 하지 못할 정도였습니다. 그 이상을 하기엔 현재 M4 프로세서 정도도 성능이 부족한 편이라는 이야기죠. 그리고 위에 Genma 3 모델의 환각을 보면 그 이상의 성능을 필요로 하는 모델이라고 성능이 훨씬 더 좋은 것도 아니구요.

2026년 상반기 쯤 시리가 LLM 기반으로 강화된다고 하는 루머가 있는데, 현재 로컬 AI의 성능을 보면 시리가 강화된다고 해도 챗봇 대부분의 기능은 외부 모델(ChatGPT, Gemini 등)이 담당하고 내부의 로컬 모델은 문자, 메일 요약이나 일정 요약 등의 제한적인 기능만 담당하지 않을까 싶습니다. 아마 애플 눈 높이에 맞는 로컬 AI 모델이 나오려면 좀 더 시간이 걸리겠죠.

덧. 이렇듯 괜찮은 것 같으면서도 클라우드 AI를 대체해서 쓰기엔 좀 부족하다보니 본격적인 챗봇 보다는 제가 사용하고 있는 AI 기반의 단축어들에 쓸 수 있지 않을까 해서 테스트해봤습니다.

Locally AI도 단축어를 지원하기는 하나 Genma 3만 올려도 다른 작업이 다 뻗을 지경으로 램을 쓰다보니(제 아이패드 프로는 8기가 모델입니다) 단축어 실행이 제대로 되지 않더군요. 애플 인텔리전스 파운데이션 모델을 쓸거면 그냥 단축어에서 실행하는게 더 낫기 때문에 단축어 기능 지원은 별로 의미가 없게 느껴졌습니다.

덧2. 그래도 개인정보에 민감한 데이터로 작업을 할 때는 로컬 AI가 안심되는 측면이 분명 있습니다. 제 작업이 학습에 사용될 일도 없고 말이죠.

덧3. 정해진 일을 잘 수행한다는 관점에서 애플의 파운데이션 모델 성능이 나쁘지 않은 것 같습니다. 다른 모델은 M4 아이패드 프로의 자원을 다 끌어다 써서 겨우 실행하는데 애플 인텔리전스는 아이폰 15 프로 수준의 하드웨어에서도 생각보다 가볍게(?) 실행되니까요.