[펌]메타러닝

1) 메트릭 기반 메타학습

메트릭 기반 메타학습은 데이터 간 유사도를 측정하는 '메트릭(metric)'을 학습해 퓨샷 문제를 해결한다. 퓨샷(few-shot)은 적은 데이터만으로 학습하는 것을 의미한다.
예를 들어, 두 이미지의 종류 일치 여부를 판단하는 모델을 여러 번 학습시키면 하나의 훈련 이미지와 여러 이미지 종류가 같은지에 대해 한 번만에 비교가 가능해지는 식(원샷 문제 해결).


두 개의 이미지가 같은지 판단하는 모델을 학습시켜 원샷 문제를 해결하는 모델 예시 (사진=IITP)
 

2) 그래디언트 기반 메타학습

학습 알고리즘을 학습하기 위해 그래디언트 알고리즘의 초깃값을 메타학습하는 방법이다. 보통 초깃값은 임의의 값으로, 이는 사전 지식 없는 학습(Learning from scratch)에 해당한다.
2017년 ICML에 발표된 MAML(model-agnostic meta-learning) 모델이 그래디언트 기반 메타학습에 큰 영향을 줬다. 국내에서는 전 POSTECH 교수이자 현 BARO AI CTO인 최승진 교수 연구팀이 2016년부터 관련 연구를 선도하고 있다.
 

3) 확률모델 메타학습

MAML과 같은 그래디언트 기반 메타학습 모델을 확장한 기술이다. 태스크의 모호함을 해결하고자 파라미터 불확실성을 다루는 능력과 같은 확률모델의 장점이 메타학습에 적용된 것이다.
베이지안 모델을 기본으로 변분 추론(Variational Inference), 분할상환 추론(Amortized Inference) 방법이 주로 적용되는 추세.
 

4) 온라인 메타학습

온라인 메타학습이란 실제 상황을 고려해 시간에 따라 순차적으로 학습이 진행되는 것을 말한다.
기존 연구에서는 관련된 수많은 태스크가 한번에 주어진 상태에서 메타학습을 진행했다. 하지만 실제 적용 시 태스크는 하나씩 주어지기 때문에 학습이 연속적으로 진행돼야 한다. 이를 위해 온라인 메타학습에 대한 연구가 진행되고 있다.
대표적으로는 Online MAML이 있다. 이는 MAML을 연구개발한 Chelsea Finn 팀이 기존 MAML 모델을 온라인 학습 방식으로 확장한 것.


온라인 메타학습의 예시(사진=인공지능 기술청사진 2030)
 

◆시장동향

메타학습은 아직 초기 연구 단계에 있어 상용화까진 시간이 수 년 소요될 것으로 예상된다.
현재는 학습과정에서 사용자의 개입을 최소화하는 역할을 하는 만큼 오토ML, 하이퍼변수 최적화(Hyperparameter Optimization), 신경 구조망 탐색(Neural Architecture Search; 인공 신경 구조망 설계를 자동화하는 기술)에 가장 많이 응용되고 있다.

특히 오토ML(자동 기계학습)을 적용한 ML 자동화 플랫폼이 대표적이다.
오토ML은 데이터 전처리 과정, 데이터로 특징 추출 방법, 알고리즘 선택, 하이퍼파라미터 최적화 등과 같이 사용자 개입을 없애고 오직 데이터만으로 ML을 자동화 하는 기술이다. 구글 클라우드 오토ML(Cloud AutoML), 아마존 세이지메이커(SageMaker)가 대표적이다.

출처 : AI타임스(https://www.aitimes.com)