S24 에 탑재된 갤럭시 AI 중 일부가 온디바이스 로 구동된다고 해서 화제이다. 좋다곤 하지만 온디바이스 가 뭔지 잘모르는 분들을 위해 간단히 설명해보겠다. 또, 실시간 번역은 구글, 애플 앱이 제공하는 기능과 어떤부분이 달라졌는지 알아보자.
어떤 AI 기능들이 생겼어?
온디바이스 단독 사용이 가능한 앱
S24의 AI 기능들은 향상된 인텔리전스라는 이름으로 탑재 되어있다. 전화앱은 실시간 통역과 텍스트 통화 기능을 제공한다. 업무중, 대중교통 탑승과 같은 때 텍스트통화 기능이 유용할것이다. 실시간 통역 기능은 해외 숙박할때 예약하거나 문의시에 활용한 기사가 있으니 참고하길 바란다.1
삼성키보드에서는 번역, 문장스타일 및 문법 수정 기능을 제공한다. 현재는 삼성키보드에서만 해당 기능을 쓸 수 있으니 참고바란다. 철자 및 문법 오류 수정은 설정에 따라 Grammarly 라는 별도 앱과 자체LLM 둘 중 하나를 사용하는것으로 보인다.
통역앱은 기사 링크에도 예시가 나오니 속도 및 정확도는 기사를 참고하길 바란다. 유튜버나 기자들에 따르면 GPT 보다 정확도가 떨어지지만 쓸만하다고 평가된다. 우선 음성인식 파트를 평가하면 한국어는 상당히 빠르고 정확하게 인식되나 외국어는 정확도,속도가 약간 떨어진다. 이미 구글과 애플에 유사 앱이 존재하는데 LLM을 사용한다는 점에서 속도 및 인식 정확도에서 차이가 난다. 예를 들어 영어권 방송에 구글어시스턴트를 이용해 통역기능을 써보면 구글어시스턴트는 전혀 인식을 못하고 갤럭시AI는 적당한 인식율을 보인다. 물론 갤럭시 AI도 원어민이 빠르게 말하면 인식 정확도가 떨어지니 참고하길 바란다. 번역 정확도 자체는 구글 번역기와 큰 차이 없어 보인다. 통역 음성은 언어당 2종류밖에 제공되지 않아 조금 아쉽다.
일부기능이 온디바이스에서 제한되는 앱
노트, 녹음, 인터넷은 번역 외에 요약 기능도 제공한다. 해당 앱들의 AI 기능들 역시 기본 앱에서만 적용 된다. 노트는 요약, 번역 외에 자동 서식, 오탈자 수정 등의 기능을 추가로 제공한다. 줄글 형태로 기록된 회의록 등에 알맞은 서식을 적용해준다. 음성녹음은 화자가 여러명일 경우 화자를 구분해주고 해당 대화를 클릭해 구간을 이동할 수 있다. 물론, 인식정확도가 높진 않지만 대화 구간을 구분해주는것만으로도 유용해 보인다. 삼성인터넷에서 사용해본 요약 기능은 영어 기사, 포스트 등을 읽는데 상당히 쓸만하다. 요약 후 번역하면 빠르게 글의 요지를 파악할 수 있다. 인터넷의 경우 유료사이트의 글은 요약할 수 없다. 유료사이트의 글이 학습에 사용되면 안되기때문이다.
갤러리,포토에디터에서 사용 가능한 Generative Edit 은 특정 물체를 이동시키거나 삭제 시킬 수 있다. 성능 자체는 기존의 포토샵 등과 큰 차이 없는데 촬영시의 그림자나 빛반사를 편하고 빠르게 지울 수 있어서 좋았다. 이외에도 사진에서 텍스트를 버튼하나로 추출(OCR)하고 번역할 수 있다.
이외 기능의 상세한 작동에 대해서는 공식사이트와 공식유튜브를 참고하길 바란다.
저게 다 온디바이스 라고?
온디바이스 란 기기 내부에서 돌아간다는 의미이다. 당연하지만 위의 기능 모두가 온디바이스 는 아니다. 각 항목을 눌러보면 어떤게 온디바이스로 동작하는지 알 수 있는데 전체적으로 켜고 끌 수도 있다.
해당 옵션을 켤 경우 기기 내부에서만 기능이 동작하되 정확도가 떨어질 수 있다. 직접 확인해보니 음성인식, 번역, OCR 기능은 온디바이스로 동작하고 요약, 이미지 관련 AI는 온디바이스에서 구동되지 않는다. 현재 이미지 관련 AI는 구글의 imagen2 모델을 요약에는 제미니 프로 모델을 사용하기 때문이다.2 온디바이스 모델은 자체 AI인 가우스 와 구글 제미니 나노가 사용되었다고 알려져 있다.
온디바이스 모델은 서버와의 데이터 송수신 과정이 없기때문에 응답성이 빠르고 서버비를 절약할 수 있다. 사용해보니 구글,애플의 기본앱보다 음성인식 속도,정확도가 훨씬 개선되었다. 이러한 성능 개선은 해당 작업들에 NPU가 사용되기때문에 가능했고 다른 온디바이스 LLM과 차별성을 가진다. 그리고 공식앱들로 출시된만큼 완성도, 편의성, 유지보수 측면에서 비교하기 힘들다.
NPU의 성능은 MLperf V2.1 기준 S23 대비 Exynos2400에서 평균 30%정도 성능이 향상되었다. 아직 울트라 모델의 성능은 공개되지 않았지만 선공개된 V3.1 벤치를기준 8gen3은 Exynos2400 대비 평균 약 6% 정도 성능이 좋다. 엑시노스에는 NNAPI 이외에 학습에 사용가능한 NN툴킷이 따로 존재하고 성능을 더 개선하기 위한 프로젝트들을 진행중이다.
한가지 단점은 25년 이후 부분유료화가 될 가능성이다. 제미니 API 자체가 구글클라우드에서 동작하고 유료이기때문에 사용료 계약을 맺었을 것이다. 자체모델이나 온디바이스 모델을 사용하더라도 서버비, 유지보수비는 피할 수 없다. 소비자 측면에서 아쉽지만 GPT, 코파일럿 등 대부분 AI 제품들은 구독, 부분유료화 모델을 사용중이다. 번역,음성인식, OCR 기능은 인터넷이 없어도 동작하기때문에 유료화 대상에서 빠질 것으로 보인다.
결론
- 갤럭시 AI는 음성인식,번역,요약,OCR,생성형 편집이가능함
- 온디바이스는 음성인식,번역,OCR에 사용됨
- 구글/애플 기본앱보다 편의성,속도,정확도 측면에서 향상됨
여담
온디바이스 모델들은 양자화 등 각종 기법으로 모델의 효율성을 증대시켰다. 제미니 나노도 3.2B에 불과하지만 7B 모델 이상의 성능을 낼 수 있다. 제미니 나노까지는 S24 노말 모델에도 적용 가능하나 추후 만들어질 더 높은 성능의 서드파티 앱들은 8GB 안에 넣기어려울 수 있다.
함께보면 좋은 글
