파이토치를 이용한 신경망의 학습 구현(ReLU)

#파이토치를 이용한 신경망의 학습 구현
#SAINT Lab. Q1 [강화학습]
#60201969 이유현 [2024.01.29]
import torch
import torch.nn as nn
import torch.nn.functional as F
import torch.optim as optim
import numpy as np
import matplotlib.pyplot as plt #학습을 마친 후에 잘 되었는지 그래프를 통해 확인

class Model(nn.Module):
    def __init__(self): #모델의 상세 구조
        super(Model, self).__init__()
        self.fc1 = nn.Linear(1, 128) #하나의 히든 레이어
        self.fc2 = nn.Linear(128, 128) #앞의 레이어의 노드가 128개, 뒤의 레이어의 노드가 128개 = 128*128개의 w가 필요
        self.fc3 = nn.Linear(128, 128)
        self.fc4 = nn.Linear(128, 1, bias=False)

    def forward(self, x): #ReLU 포함
        x = F.relu(self.fc1(x))
        x = F.relu(self.fc2(x))
        x = F.relu(self.fc3(x))
        x = self.fc4(x)
        return x

#데이터 생성 함수
def true_fun(X):
    noise = np.random.rand(X.shape[0]) * 0.4 - 0.2
    return np.cos(1.5 * np.pi * X) + X + noise

#실제 데이터와 학습시킨 모델을 이용한 예측치를 그래프로 그리는 코드
def plot_results(model):
    x = np.linspace(0, 5, 100)
    input_x = torch.from_numpy(x).float().unsqueeze(1)
    plt.plot(x, true_fun(x), label="Truth")
    plt.plot(x, model(input_x).detach().numpy(), label="Prediction")
    plt.legend(loc='lower right',fontsize=15)
    plt.xlim((0, 5))
    plt.ylim((-1, 5))
    plt.grid()

def main():
    data_x = np.random.rand(10000) * 5 # 0~5 사이 숫자 1만개를 샘플링하여 인풋으로 사용 
    model = Model()
    optimizer = optim.Adam(model.parameters(), lr=0.001)

    for step in range(10000):
        batch_x = np.random.choice(data_x, 32) # 랜덤하게 뽑힌 32개의 데이터로 미니 배치(mini-batch)를 구성
        batch_x_tensor = torch.from_numpy(batch_x).float().unsqueeze(1) #예측값 생성
        pred = model(batch_x_tensor) #예측값 저장

        batch_y = true_fun(batch_x) #batch_y = 정답
        truth = torch.from_numpy(batch_y).float().unsqueeze(1)
        loss = F.mse_loss(pred, truth) # 손실 함수인 MSE를 계산하는 부분
        
        optimizer.zero_grad() 
        loss.mean().backward() # 역전파를 통한 그라디언트 값 계산이 일어나는 부분(자동 편미분)
        optimizer.step() # 실제로 파라미터를 업데이트 하는 부분

    plot_results(model)

if __name__ == '__main__':
    main()

<aside> 📢 파이토치 설치 실패로 실구현 보류

</aside>