ReLU함수에 대해 알아보자!

이전 시간에 계단함수의 태생적인 문제점인, 미분이 불가능하다는 성질로 인해, 이를 대체할 함수를 두가지 설명했는데요!

바로, sigmoid함수와 ReLU함수입니다.

이번시간에는 ReLU함수에 대해 알아보도록 하겠습니다.

 

소스코드>

import numpy as np
import matplotlib.pyplot as plt

def ReLU(x):
    return np.maximum(0,x)

x = np.linspace(-10, 10, 1000)
y = ReLU(x)

plt.plot(x, y)
plt.title('ReLU function')
plt.xlabel('x')
plt.ylabel('y')
plt.show()

위 코드를 실행했을때, -10부터 10까지의 범위에서 1000개의 점으 생성하고, 이점에 대해 ReLU함수를 적용한 결과를

그래프로 나타낼 수 있습니다.

그래프는 x값이 0보다 작을때, y=0을 출력하며( y=0(x<0) ),

x값이 0보다 클떄, 입력값을 그대로 출력값에 보내줍니다.( y=x(x>0) )

 

실행결과>