코딩하는 해맑은 거북이

본 게시물의 내용은 '부스트캠프 AI Tech - PyTorch(최성철)' 강의를 듣고 작성하였다. 해당 글은 아래의 3가지를 다룬다. 1. Multi-GPU 학습 ▶ 개념정리 ▶ Model parallel ▶ Data parallel 2. Hyperparameter Tuning ▶ Hyperparameter Tuning ▶ Ray 3. PyTorch Troubleshooting ▶ OOM(Out Of Memory)이 해결하기 어려운 이유 그 외에 발생할 수 있는 문제들 1. Multi-GPU 학습 ▶ 개념정리 - Single(1개) vs.Multi(2개이상) - GPU vs. Node(시스템, 1대의 컴퓨터) - Single Node Single GPU (1대의 컴퓨터, 1개의 GPU) - Single..

본 게시물의 내용은 '부스트캠프 AI Tech - PyTorch(최성철)' 강의를 듣고 작성하였다. 해당 글은 아래의 2가지를 다룬다. 1. 모델 불러오기 ▶ model.save() ▶ checkpoints ▶ Pretrained model Transfer learning 2. Monitoring tools for PyTorch ▶ Tensorboard ▶ weight & biases (WanB) 1. 모델 불러오기 ▶ model.save() - 학습의 결과를 저장하기 위한 함수 - 모델 형태(architecture)와 파라메터를 저장 - 모델 학습 중간 과정의 저장을 통해 최선의 결과모델을 선택 - 만들어진 모델을 외부 연구자와 공유하여 학습 재연성 향상 # Print model's state_dict..

본 게시물의 내용은 '부스트캠프 AI Tech - PyTorch(최성철)' 강의를 듣고 작성하였다. 해당 글은 아래의 2가지를 다룬다. 1. AutoGrad & Optimizer ▶ Layer = Block ▶ torch.nn.Module ▶ nn.Parameter ▶ Backward ▶ Backward from the scratch 2. PyTorch datasets & dataloaders ▶ Dataset 클래스 ▶ DataLoader 클래스 1. AutoGrad & Optimizer ▶ Layer = Block - 레고의 Block 같이 하나하나 쌓아서 다음으로 넘긴다. - layer들을 합쳐서 하나의 큰 block을 만드는 layer도 존재한다. 즉, 블록 반복의 연속이다. ex1) Transf..

본 게시물의 내용은 '부스트캠프 AI Tech - PyTorch(최성철)' 강의를 듣고 작성하였다. 해당 글은 아래의 3가지를 다룬다. 1. PyTorch 란? 2. PyTorch Operations ▶ Tensor ▶ Tensor data types ▶ Tensor handling ▶ Tensor operations ▶ Tensor operations for ML/DL formula ▶ AutoGrad 3. PyTorch Project Template ▶ Module 구성 1. PyTorch 란? - Numpy + AutoGrad(자동미분) + Function - Numpy 구조를 가지는 Tensor객체로 array 표현한다. - 자동미분을 지원하여 DL연산을 지원한다. - 다양한 형태의 DL을 지원하..

해당 글은 아래의 3가지를 다룬다. 1. set() 함수 - 순서고려X 2. dict.fromkeys() 함수 - 순서고려O 3. reduce() 함수 - 순서고려O 1. set() 함수 리스트 순서 고려하지 않고 중복을 제거하는 방법 arr = [5, 4, 3, 2, 1, 2, 4, 5, 6] result = list(set(arr)) print(result) [3, 1, 5, 4, 6, 2] 2. dict.fromkeys() 함수 리스트 순서 고려하면서 중복을 제거하는 방법1 arr = [5, 4, 3, 2, 1, 2, 4, 5, 6] result = list(dict.fromkeys(arr)) print(result) [5, 4, 3, 2, 1, 6] 3. reduce() 함수 리스트 순서 고려하면..

해당 글은 Counter 클래스 정렬 방법 2가지를 다룬다. 1. key 정렬 2. value 정렬 (내림차순) collections 모듈 Counter 클래스 from collections import Counter 먼저 Counter 클래스를 사용하기 위해선 위와 같은 모듈에서 불러와야 한다. 1. Key 정렬 sorted 함수로 딕셔너리의 key 순으로 정렬하는 방식과 같다. key의 이름순으로 정렬된다. count = Counter('aabbbbcctttdefff') print(sorted(count.items())) [('a', 2), ('b', 4), ('c', 2), ('d', 1), ('e', 1), ('f', 3), ('t', 3)] 2. Value 정렬 most_common() 함수를 ..