머신러닝 기본 개념 Machine Learning Basics

인공지능, 머신러닝, 딥러닝 

인공지능 Artificial Intelligence 

• 사람의 지능(intelligence)인 이해하고 학습하는 능력 모방하여 지능을 가진 기계를 만드는 분야
• 1943년에 뉴런모델이 제시되면서 최초로 인공신경망이라는 개념이 등장 
• 예시) IBM Deep Blue 체스 프로그램 

 

머신러닝 (=기계학습) Machine Learning 

• 사람이 가진 학습 능력을 기계를 통해 구현하는 방법을 연구하는 분야
• 주어진 데이터를 분석해서 일반적인 규칙이나 새로운 지식을 기계 스스로가 자동으로 추출하는 방법을 개발하는 연구 분야 
• 예시) 이메일 스팸필터, 구글 검색 알고리즘, 아마존 상품 추천

 

딥러닝 Deep Learning 

• 심층 신경망 기반의 머신러닝 분야
• 심층 신경망을 이용해서 데이터를 분석하는 학습에 초점을 둔 머신러닝 분야 
• 예시) 알파고, 음성인식, 자율주행 시스템 

 

인공지능, 머신러닝, 딥러닝의 포함관계 

AI가 가장 포괄적인 개념이고, 하위에 머신러닝(기계학습), 그리고 더 하위에 딥러닝이라는 기술이 있다. 

 

머신러닝 개념

개념

기계가 학습한다.

인간이 학습한다는 것은 모르는 것을 배우는 것이다. 기계가 학습한다는 것도 마찬가지이다.

컴퓨터가 데이터를 처리하기 위해서는 해당 영역에 대한 지식이나 처리 규칙이 필요하다. 이런 데이터 처리를 위한 방법을 컴퓨터에게 일일이 알고리즘적으로 설명해주는 대신에, 충분히 수집된 데이터로부터 스스로 데이터 처리에 필요한 지식을 획득하고 체계화해서 표현하게 한다. 

데이터로부터 특징(feature)을 추출하고, 목적에 맞게 분류하는 훈련을 통해 데이터를 가장 잘 설명할 수 있는 함수를 디자인하는 것이다.

특징 feature이란 과일 데이터를 예로 들면 크기, 색깔, 모양과 같이 경험적으로 학습된 데이터의 휴리스틱한 속성들을  뜻한다.

 

머신이란?

인간이 제공한 데이터를 표현할 수 있는 모델(=함수) 

 

학습이란?

데이터를 가장 잘 표현할 수 있는 모델(=함수)를 찾는 것 

 

아래 그래프 예시처럼 데이터를 표현할 수 있는 함수 중에 기본적인 이차함수가 있다고 하자

 

y=ax²+b 라는 이차함수가 주어져있다.

이 이차함수는 a와 b라는 파라미터에 따라 함수의 모양이 변한다. 

여기서 데이터를 가장 잘 표현할 수 있는 이차함수를 찾는다는 말은 즉, 함수의 파라미터(이 예제에서는  a, b값)의 최적값을 찾겠다는 말과 같다. 

a, b값중 어떤 값이 들어와야 가장 데이터를 잘 표현할 수 있을지? 함수(모델)의 최적의 파라미터를 찾는 것을 학습이라고 한다. 

 

어떻게 학습하는가?

어떻게 최적의 파라미터를 찾는가? 

수학적/통계적인 방법 or 경사하강법을 이용해 모델의 최적의 파라미터를 찾음 

 

머신러닝과 딥러닝의 차이? 

모델(=함수)에 차이가 있다. 머신러닝에서는 수학/통계적인 (e.g. 2차, 3차 함수) 모델을 사용하는데, 딥러닝은 신경망 (neural networks) 모델 구조를 사용해 신경망 함수를 기반으로 한다.

 

머신러닝의 유형

기계는 인간이 준 데이터를 학습한다.

그 데이터가 어떤 형태의 데이터냐에 따라 세부적인 분야로 분류된다.

 

 

지도학습 Supervised Learning

지도학습에는 데이터에 label 라벨(=레이블(영어식 발음) =클래스)가 제공된다. 

즉, 인간이 데이터에 대한 라벨(=클래스) 정보를 함께 준다.

머신이 데이터를 학습할때 학습을 어떤 방향으로 진행할지 교사처럼 지도해준다고 이해하면 된다. 

but 인간이 모든 데이터에 대한 라벨을 제공하는 건 시간과 돈이 많이 드는 작업이다. 

입출력이 정해진 분류, 회귀 문제에 적합하다.

예시) 과일 데이터를 학습시킬 때 feature(특징)와 라벨 정보를 함께 준다. 이때 라벨은 곧 데이터에 대한 정답(=목표 출력값)이 된다. 

 

 

비지도학습 Unsupervised

비지도학습에는 라벨(클래스) 정보 즉, 정답이나 지도해주는 교사가 없다. 

데이터의 특징 feature 정보만을 가지고 학습한다. 

데이터의 각 특징 정보를 가지고 Clustering 그룹화(군집화)하는 문제에 적합하다. 

예시) 과일 데이터를 학습시킬 때 크기, 색깔, 모양이라는 특징 정보만 데이터 입력으로 준다. 머신은 라벨이라는 정답없이 학습을 진행한다. 

 

즉, 지도학습과 비지도학습의 차이는 데이터에 대한 라벨(클래스)의 존재 유무이다. 

 

강화학습 Reinforcement Learning

상태(state)라는 데이터와 보상(reward)이라는 데이터를 준다.

어떤 상태에서 어떤 상태로 상태가 변이될 때 보상을 얼마만큼 준다라는 정보를 모델한테 준다.

예시로 바둑돌을 1번에 두었다가 2번으로 옮길 때 보상을 1만큼 받는다. 

모델은 어떤 action을 해야 가장 큰 보상을 받을까를 학습한다.  

 

머신러닝의 처리 과정

머신러닝은 크게 모델을 학습하는 Training단계와 예측/추론 단계의 두 가지 형태의 처리 단계를 거친다. 

 

학습단계

주어진 데이터에 대해 모델이 추측한 예측 값과 실제 값의 차이를 가지고 입력과 출력 관계를 매핑시켜주는 결정함수(decision function)와 결정규칙(decision rule)을 만든다. 데이터를 입력하면 머신은 연산을 거쳐 예측 값을 내놓고, 이 예측 값과 실제 정답 값이랑 비교해서 어느정도 맞았는지 Error(=Loss)값을 계산한다. 계산한 Error값을 기반으로 모델을 조금씩 수정하고 다음 연산에 반영될 수 있게 한다. 이 과정이 머신러닝이 학습하는 과정이다. 

 

추론단계

학습이 결정된 모델(결정 함수)을 이용해서 학습에 사용되지 않은 새로운 데이터, 즉 테스트 데이터를 대상으로 시스템에 적용해서 최종적인 처리 결과를 얻는다. 

 

머신러닝의 주제

머신러닝이 다루는 주제는 데이터 분석(분류, 회귀, 군집화)과 데이터 표현(특징추출)으로 구분할 수 있다.

 

분류 Classification

• 학습시 입력 데이터와 함께 클래스(라벨) 정보를 함께 준다
• 입력 데이터가 어떤 부류에 속하는지 판단하는 문제
• 입력값: 연속값(실수형), 이산값(범주형) 모두 가능 
• 출력값: 이산값(e.g. 과일이 썩었다/썩지 않았다) 

예시

문자인식, 생체인식, 얼굴인식, 음성인식, 객체인식 

분류 방법

베이즈 분류기, KNN (K 최근접이웃방법), SVM(Support Vector Machine), 결정트리, 랜덤 포레스트, 신경망(MLP, CNN, LSTM)

모델 형태

이진 분류라면 sigmoid 시그모이드 함수, 다중 분류라면 softmax 소프트맥스 함수를 꼭 포함 

 

회귀 Regression

• 분류 문제와 동일하게 입력데이터의 특성을 통해 어떤 클래스(라벨)에 속하는지 예측한다
• but, 분류처럼 비연속적인 분리된 답이 결과가 아니라 연속된 값을 결과로 가지는 문제 
• 입력값: 연속값(실수형), 이산값(범주형) 모두 가능
• 출력값: 연속값(실수형)

예시

주가 예측, 환율 예측, 생산량 예측 등 시간에 따라 데이터의 변화를 분석하는 시계열 예측

회귀 방법

선형회귀, 비선형회귀, 로지스틱회귀, SVM, 신경망(MLP, RBF, CNN, LSTM)

모델 형태

일반적인 함수 형태 

 

 

군집화 Clustering

• 주어지는 클래스(라벨) 정보 없이 단순히 한 덩어리로 이루어진 데이터를 받아 데이터의 특성을 분석하여 여러 개의 그룹(cluster 군집)으로 나누는 것

예시

데이터 그룹화, 영상분할

군집화 방법

K-평균 군집화, 계층적 군집화, 가우시안 혼합 모델, 신경망(SOM)

모델 형태

해당 클러스터를 대표하는 벡터 또는 확률밀도함수

 

특징추출

• 데이터의 효율적인 표현을 위한 것
• 원래 데이터로부터 데이터 분석(분류, 회귀, 군집화 등)에 적용하기 좋은 특징을 찾는 문제

예시

영상 데이터 차원 축소, 데이터 시각화

방법

주성분분석(PCA), 선형판별분석(LDA), MDS 

 

 

Refs

한국방송통신대학교 머신러닝 강의 및 교재

https://www.youtube.com/watch?v=CgSvahZkJmc&list=PL7SDcmtbDTTzmNj_pygsOYUcB0gMmFUoE

https://www.youtube.com/watch?v=r2eHNwdjXVA

https://kr.mathworks.com/discovery/reinforcement-learning.html

https://thebook.io/080246/0041/

https://wikidocs.net/32012