차근차근 차근차근

안녕하세요~! 오늘은 분산학습 시리즈 2번째로 분산학습의 대표 유형들에 대해 살펴보는 시간을 가지겠습니다. 분산학습을 잘 모르시는 분들을 위해 개괄적으로 설명할 예정으로 세부적인 개별 구현에 대해서 다루기보다는 각 유형의 컨셉에 대한 이해 그리고, 해당 기법과 관련된 용어들을 소개하는 것을 목적으로 하겠습니다. 지난 시간에 학습 데이터와 모델 사이즈가 점점 커지는 학습 트렌드를 설명하면서 여러 서버의 GPU들을 사용해 학습하는 분산학습(multi-node training)이 도래하게 되었다고 말씀드렸습니다. 하나의 GPU만 사용한다면, 모델이 logit을 계산하는 것부터 loss를 구하고 optimizer로 모델을 업데이트하기까지의 모든 metric 연산들은 GPU에 올려서 수행하기만 하면 됐습니다. ..

안녕하세요~ 오늘은 분산학습이 등장하게 된 배경과 정의 그리고 실제 분산학습에서 Gradient 전달을 위한 통신 흐름을 소개해보고자 합니다. 개인적으로 작년에 분산학습이 무엇인지 빠르게 배우고 적용해보는 시간들이 많았습니다만.. 올해 들어 그런 기회가 없어 블로그로 제가 배웠던 내용들을 한곳에 모아보려고 합니다. 소개해보려는 순서는 다음과 같습니다. 1편: 분산학습과 집합통신 2편: 분산학습 대표 유형 (DP, MP, PP, Zero Infinity…) 3편: 분산학습 테크닉과 디버깅 노하우 학습 트렌드 분산학습이 무엇인지 알기 전에 왜 분산학습이 필요하게 되었는지 그 연유부터 알아야겠죠? 이는 DL 학습 트렌드를 찾아보면 한눈에 이해할 수 있습니다. 해당 그래프는 2018년부터 2022년 최근까지 좋..

convolution layer를 근간으로 image와 같은 다채널 데이터를 처리하는데 좋은 Neural Network를 순서대로 정리해보자 다양하고 좋은 CNN이 많지만 대표적인 Network들을 1)아키텍처 구조와 2)대표적인 특징점들을 기준으로 설명하겠다 순서는 다음과 같다. AlexNet -> VggNet -> GoogleNet -> ResNet -> DenseNet -> ShuffleNet -> MobileNet -> SENet -> CondenseNet -> NASNet 첫번째는 AlexNet이다. [1] AlexNet Alexnet은 CNN네트워크를 구성할 때 지금까지 우리가 기본적으로 사용하는 테크닉들을 정착화시킨 논문이다. (1) ReLU Nonlinearity 이전 LeNet 논문에서만..

wav linear spectrogram log spectrogram pitch mfcc delta

wave(파동), sound(소리), signal(신호), vibration(진동)에 대한 기초지식이 전혀 없었던 나로써는 몇일을 봐도 완벽히 이해되지 않는 개념이 바로 Sampling rate (=sr =sampling frequency =fs) 였다. 알게되고 나서는 오히려 반가웠던... 다른 개념이 더 어려웠기 때문입니다... 최대한 직관적으로 이해해봅시다. 1. samping rate Sampling rate or sampling frequency defines the number of samples per second (or per other unit) taken from a continuous signal to make a discrete or digital signal 보통은 wiki의 정의..

소리의 필터는 다양한 종류가 있습니다. 이중에 대표적으로 band-pass filter와 band-stop filter(notch filter)만 알면 다른 것들도 다 구현 가능합니다. 1) bandpass filter bandpass-filter는 frequency중에 딱 일부 대역대만 뽑아서 통과시키는 필터입니다. lower-pass가 기준값보다 작은 값을 모두 통과시키고, high-pass가 기준값보다 큰 값을 모두 통과시키는 것이라면, band-pass 는 일정영역만 통과시킵니다. 모든 필터들이 frequency값을 통과시킬때 경계값을 어떻게 처리할 것인가에 방법이 모두 다를텐데, 가장 general한 방법은 butterworth형태입니다. ( [200-300]만 통과시킬때 200부근과 300부근..

소음분석 프로젝트를 진행중이다. 관련 개념을 정리해보고자 한다. 소리는 높다/낮다(dB) 크다/작다(Hz) 로 설명할 수 있다. 그렇다. 오늘은 dB과 Hz에 대해서 얘기하겠다. 참고로 이 블로그는 ML/DL/IT에 대한 각종 이야기를 적는 곳이 맞다 1) 소리의 세기 dB (데시벨) : 소리의 압력을 수치화한 단위가 dB이다. - 사람이 들을 수 있는 가장 작은 소리는 0dB이며, 120-130dB을 넘으면 견디기 힘들 정도로 시끄러운 소리가 된다. - 사람의 숨소리는 10dB 정도, 대화하는 소리는 40-60dB 정도이다. 2) 소리의 높낮이 Hz ( 헤르츠) : 소리의 음색을 나타내는 단위는 Hz이다 - Hz는 주파수(frequency)를 나타내는 단위이다. 즉, 소리의 음색은 1초에 통과하는 파동..