코딩하는 해맑은 거북이

해당 글은 pytorch에서 tensor의 사칙연산 4가지를 다룬다. 0. torch 라이브러리 선언 및 tensor 객체 생성 import torch A = torch.Tensor([5]) B = torch.Tensor([10]) 1. 덧셈 print(A+B) print(torch.add(A, B)) tensor([15.]) tensor([15.]) 2. 뺄셈 print(A-B) print(torch.sub(A, B)) tensor([-5.]) tensor([-5.]) 3. 곱셈 print(A*B) print(torch.mul(A, B)) tensor([50.]) tensor([50.]) 4. 나눗셈 print(A/B) print(torch.div(A, B)) tensor([0.5000]) tensor..

본 게시물의 내용은 '부스트캠프 AI Tech - PyTorch(최성철)' 강의를 듣고 작성하였다. 해당 글은 아래의 3가지를 다룬다. 1. Multi-GPU 학습 ▶ 개념정리 ▶ Model parallel ▶ Data parallel 2. Hyperparameter Tuning ▶ Hyperparameter Tuning ▶ Ray 3. PyTorch Troubleshooting ▶ OOM(Out Of Memory)이 해결하기 어려운 이유 그 외에 발생할 수 있는 문제들 1. Multi-GPU 학습 ▶ 개념정리 - Single(1개) vs.Multi(2개이상) - GPU vs. Node(시스템, 1대의 컴퓨터) - Single Node Single GPU (1대의 컴퓨터, 1개의 GPU) - Single..

본 게시물의 내용은 '부스트캠프 AI Tech - PyTorch(최성철)' 강의를 듣고 작성하였다. 해당 글은 아래의 2가지를 다룬다. 1. 모델 불러오기 ▶ model.save() ▶ checkpoints ▶ Pretrained model Transfer learning 2. Monitoring tools for PyTorch ▶ Tensorboard ▶ weight & biases (WanB) 1. 모델 불러오기 ▶ model.save() - 학습의 결과를 저장하기 위한 함수 - 모델 형태(architecture)와 파라메터를 저장 - 모델 학습 중간 과정의 저장을 통해 최선의 결과모델을 선택 - 만들어진 모델을 외부 연구자와 공유하여 학습 재연성 향상 # Print model's state_dict..

본 게시물의 내용은 '부스트캠프 AI Tech - PyTorch(최성철)' 강의를 듣고 작성하였다. 해당 글은 아래의 2가지를 다룬다. 1. AutoGrad & Optimizer ▶ Layer = Block ▶ torch.nn.Module ▶ nn.Parameter ▶ Backward ▶ Backward from the scratch 2. PyTorch datasets & dataloaders ▶ Dataset 클래스 ▶ DataLoader 클래스 1. AutoGrad & Optimizer ▶ Layer = Block - 레고의 Block 같이 하나하나 쌓아서 다음으로 넘긴다. - layer들을 합쳐서 하나의 큰 block을 만드는 layer도 존재한다. 즉, 블록 반복의 연속이다. ex1) Transf..

본 게시물의 내용은 '부스트캠프 AI Tech - PyTorch(최성철)' 강의를 듣고 작성하였다. 해당 글은 아래의 3가지를 다룬다. 1. PyTorch 란? 2. PyTorch Operations ▶ Tensor ▶ Tensor data types ▶ Tensor handling ▶ Tensor operations ▶ Tensor operations for ML/DL formula ▶ AutoGrad 3. PyTorch Project Template ▶ Module 구성 1. PyTorch 란? - Numpy + AutoGrad(자동미분) + Function - Numpy 구조를 가지는 Tensor객체로 array 표현한다. - 자동미분을 지원하여 DL연산을 지원한다. - 다양한 형태의 DL을 지원하..

해당 글은 아래의 2가지를 다룬다. 1. Tensorflow 란? 2. Tensorflow 동작 방식 1. Tensorflow 란? - Tensorflow(텐서플로우)란 구글에서 만든, 딥러닝 프로그램을 쉽게 구현할 수 있도록 다양한 기능을 제공해주는 라이브러리 - 주어진 분포를 잘 근사하는 직선을 찾는 문제를 풀기 위한 프레임워크 - Tensorflow에서 Tensor(텐서)란 딥러닝에서 데이터를 표현하는 방식이다. 즉, 행렬로 표현할 수 있는 2차원 형태의 배열을 높은 차원으로 확장한 다차원 배열이다. 2. Tensorflow 동작 방식 1단계) 식을 세운다. 2단계) 식을 계산한다. 해당 글은 Colab에서 아래 라이브러리 선언을 통해 텐서플로우 1버전을 사용했습니다. import tensorflo..