Sigmoid Function

 이런 면에서 일반적으로 디지털 신경세포가 더 복잡하다고 할 수 있다.

단지 가중 총합이 한계치 이상인가 아닌가에 따라 1 이나 0 을 출력하는 대신,

디지털 신경세포는 입력물들의 가중 총합을 계산하고, 여기에서 한계치를 뺀 다음, 그 값을 곧바로 출력한다.

그러나 디지털 신경세포의 작동 방식은 생물학적 신경세포와 비슷하다.

높은 출력값은 일련의 빠른 펄스에 해당하고, 낮은 출력값은 일련의 느린 펄스에 해당한다.

 

그러나 결국 이런 종류의 신경세포, 이른 바 '지각자 (perceptron)'는 일반화되지 못했다.

출력이 단지 단선적으로 입력에 반응하기 때문에 신경세포가 배울 수 있는 기능은 아주 기초적이고 선형적인 것에 불과하다.

이것은 단지 입력의 변화가 출력의 변화로 이어진다는 것만을 의미한다.

어떤 입력물에 작은 변화를 가하면 출력물에도 그에 따른 작은 변화가 발생할 뿐이다.

출력이 입력에 정비례한다면 그 신경세포는 다소 지루하고 비효과적일 것이다.

 

이 점을 극복하기 위해 오늘날 일반적인 디지털 신경세포에는 한 가지 비결이 추가되었다.

일단 입력물들의 가중 총합을 계산하고 한계치를 빼고 나면, 신경세포는 그 값을 변형시킨다.

이것은 전송 함수나 활성화 함수로 계산되는데, 대개 S 자형 곡선 (sigmoid curve) 이 이용된다.

 

여러분이 수학을 좋아하는지 모르겠지만, 일반적인 함수는 y = 1/(1 + e^-x) 이다.

 

나도 그렇지만, 이 함수의 의미가 별로 감동적이지 않다 해도 걱정할 필요는 없다.

 

그것은 단지, 신경세포가 입력에 따라 0 이나 1 의 값을 출력할 때 비선형적 방식을 적용하게 하는 방법일 뿐이다.

그것은 신경세포가 이제 선형적 방식에서 벗어나 훨씬 더 복잡한 것들을 배울 수 있게 되었음을 의미한다.

 

이것이 대표적인 디지털 신경세포이다.

그것은 우리의 컴퓨터 안에 살면서 0 이나 1 로 된 수많은 입력물들을 받는다.

이때 신경세포는 그 입력물들의 가중치와 합을 계산하고 그 값에서 한계치의 값을 뺀다. 그리고 비선형적 S 자형 함수를 이용하여 그 값을 변형시킨 다음 결과를 출력한다.

출력물은 0 이나 1 의 값이다. ............

그리고 입력되는 값들은 다른 신경세포들에게서 전달되는데, 이 신경세포들은 하나의 신경망을 이룬다 ...................... (Peter J. Bentley 2001)

 

---

무슨 말일까? ㅡㅡ;

이 글은 스프링노트에서 작성되었습니다.