단말형 인공지능, 端末形人工知能, 

on-device Artificial Intelligence, on-device AI

 

 

중앙 서버를 거치지 않고 사용자 단말(device)에서 인공지능(AI) 알고리즘을 실행하고 결과를 획득하는 기술. 

 

클라우드(cloud)와 같은 중앙 서버에서 인공지능(AI) 알고리즘이 동작하는 기술과 대비된다. 

 

중앙 서버로 데이터를 전달하지 않아 데이터 보안성이 높고 빠른 응답 속도와 저전력, 저비용의 장점이 있다.

AI 알고리즘은 고성능 학습과 추론을 하기 위하여 대규모 학습 데이터와 고성능 컴퓨팅 자원이 필요하다.

 

클라우드(cloud)와 같은 중앙 서버에서 AI 알고리즘을 수행하면 사용자의 단말에는 학습 결과물만을 올린다.

 

반면에, 단말형 인공지능(on-device AI)은 AI 알고리즘 처리가 사용자 단말에서 이루어진다. 

 

이 경우 효율적인 처리를 위하여 신경망 처리 장치(NPU: Neural Processing Unit)와 같은 

 

하드웨어와 경량화된 소프트웨어 최적화 솔루션 등이 이용된다. 예를 들어, 단말형 인공지능에서는 

 

AI 스피커가 자체적으로 사용자의 음성 데이터를 학습하고 음성 인식 성능과 대응 성능을 개선하여 대응 결과를 사용자에게 제공한다.

단말형 인공지능의 가장 큰 장점은 보안성과 실시간성이다. 중앙 서버를 거치지 않고 정보를 

 

처리하기 때문에 사용자의 개인정보가 중앙 서버로 전송되는 과정에서 해킹을 당하거나 

 

중앙 서버가 디도스 공격을 당하는 등과 같은 보안 위협을 방지할 수 있다. 

 

또한 네트워크가 불안정하여 중앙 서버를 이용할 수 없는 상황과 같은 등 

 

오프라인 환경에서도 사용자의 데이터를 학습하여 실시간으로 빠른 서비스를 제공할 수 있다.

반면 데이터가 중앙 서버로 모이지 않기 때문에 학습 알고리즘의 성능을 개선하는 데에는 한계가 있다. 

 

또한 사용자에 따른 편향된 데이터로 인하여 AI가 대응(판단)한 결과는 그 신뢰성을 보장하기 어렵다. 

 

이러한 단점을 극복하기 위하여 전이 학습(transfer learning), 연합 학습(federated learning) 등의 알고리즘을 사용한다. 

 

전이 학습은 충분한 데이터 세트로 이미 잘 훈련된 AI를 사용자 단말에서 재사용하는 알고리즘으로 

 

사용자 단말은 훈련된 AI로 사용자 데이터를 최종 학습하고 사용한다. 

 

연합 학습은 다수의 개별 디바이스에서 학습한 결과를 중앙 서버로 취합하여 중앙 서버에서 단말의 AI 성능을 개선하는 알고리즘이다.

단말형 인공지능의 대표 사례로 스마트폰과 자율 주행 자동차가 있다. 사물 인터넷(IoT)에서 

 

사용하는 소형의 IoT 기기에 단말형 인공지능 기술을 구현하려면 AI 알고리즘이 동작할 수 있는 저전력, 

 

저비용인 반도체와 경량화 알고리즘 등이 필요하다.

 

 

 

출처:TTA 정보통신 용어사전