[딥러닝_002] 퍼셉트론

퍼셉트론 알고리즘 : 퍼셉트론은 프랑크 로젠블라트가 1957년에 고안한 알고리즘입니다. 이 알고리즘은 신경망(딥러닝)의 기원이 되기 때문에 중요합니다. 퍼셉트론은 다수의 신호를 입력으로 받아 하나의 신호를 출력합니다. 여기서 퍼셉트론 신호는 0(흐르지 않음)과 1(흐름)의 두 가지 값을 가진다는 점에서 디지털 신호라고 할 수 있습니다.

가중치와 임계값

가중치(weight) : 전류에서 말하는 저항에 해당합니다. 퍼셉트론의 가중치는 그 값이 클수록 강한 신호를 흘려보냅니다.

임계값(theta) :  뉴런(혹은 노드)에서 보내온 신호의 총합이 정해진 한계를 넘어설 때만 활성화하는데, 이 한계를 임계값이라고 합니다.

 

퍼셉트론 구현하기

AND 게이트를 구현해 봅시다. 가중치 w1, w2와 임계치 theta를 설정합니다. 가중치를 적용하고 임계치를 넘으면 1, 그렇지 않으면 0을 리턴합니다.

 

가중치와 편향 구현하기

이번에는 편향을 넣어서 AND 게이트를 구현해보겠습니다.

구체적으로 말하면 w1, w2는 각 입력 신호가 결과에 주는 영향력(중요도)을 조절하는 매개변수고, 편향(b)은 뉴런이 얼마나 쉽게 활성화하느냐를 조정하는 매개변수입니다. 편향이라는 용어는 '한쪽으로 치우쳐 균형을 깬다'라는 의미를 담고 있습니다.

 

퍼셉트론의 한계

XOR 게이트

XOR 게이트는 배타적 논리합이라는 논리 회로입니다. x1과 x2 중 한 쪽이 1일 때만 1을 출력합니다(저는 두 개가 서로 다를 때 1을 출력한다고 암기하였습니다)

0, 0 -> 0

0, 1 -> 1

1, 0 -> 1

1, 1 -> 0

 

선형과 비선형

그래프가 직선이면 선형, 곡선이면 비선형이라고 합니다. 퍼셉트론은 직선 하나로 나눈 영역만 표현할 수 있다는 한계가 있습니다. 안타깝게도 퍼셉트론으로는 XOR 게이트를 표현할 수 없었습니다(그래프를 그려보자).

XOR 게이트

XOR 게이트 구현하기

기존의 함수 AND, NAND, OR를 사용하면 쉽게 구현할 수 있네요.

AND, OR가 단층 퍼셉트론인 데 반해, XOR는 2층 퍼셉트론입니다. 이처럼 층이 여러 개인 퍼셉트론을 다중 퍼셉트론이라 합니다. 다시 말해 단층 퍼셉트론으로는 표현하지 못한 것을 층을 하나 늘려 구현할 수 있습니다.

 

단층 퍼셉트론은 직선형 영역만 표현할 수 있고, 다층 퍼셉트론은 비선형 영역도 표현할 수 있다.

 

 

참고 및 출처

밑바닥부터 시작하는 딥러닝 [사이토 고키]

Introduction to XOR Gate - projectiot123 Technology Information Website worldwide

Introduction to XOR Gate - projectiot123 Technology Information Website worldwide