티스토리

차근차근

검색하기

블로그 홈

차근차근

hadaney.tistory.com/m

hadaney 님의 블로그입니다.

구독자: 6

방명록 방문하기

주요 글 목록

eBPF와 함께 이해하는 Cilium 네트워킹 Kubernetes Korea Group 12월 세미나로 eBPF 발표를 하고 왔습니다! 발표자료를 첨부하면서 eBPF 가 무엇인지 정확하게 이해하는데 많은 도움이 됐으면 좋겠습니다 :) Short link - https://speakerdeck.com/hadaney/ebpfwa-hamgge-ihaehaneun-cilium-neteuweoking 공감수 6 댓글수 0 2022. 12. 21.
방화벽부터 iptable까지 안녕하세요! 두루뭉실하게 알고있던 네트워크를 좀 더 이해하고 싶은 네린이입니다~ 오늘은 방화벽이 무엇인지부터 리눅스에서 방화벽의 역사와 대표적인 방화벽 프로그램인 iptable까지 한눈에 살펴보겠습니다. 방화벽(firewall)이란 방화벽이란 미리 정의된 규칙에 따라 들어오고 나가는 네트워크 트래픽을 모니터링하거나 제어하는 네트워크 보안 시스템입니다. 방화벽은 서로 다른 네트워크 간의 장벽처럼 존재하여 내부의 정보 자산을 보호하기 위해 신뢰할 수 있는 요청들만 내부 네트워크로 허용하거나 해로운 트래픽을 차단합니다. 방화벽은 여러 형태로 구현될 수 있는데, 접근 제어 목록(ACL)을 만들어서 특정 접근을 허용할 수도 있고 사용자 인증을 요청할 수도 있으며 주소를 변경하거나 데이터를 암호화하기도 합니다. 대.. 공감수 4 댓글수 0 2022. 8. 7.
MongoDB와 동시성 처리 안녕하세요~ 오늘은 MongoDB 의 개념과 특징을 간단히 짚고, MongoDB에서 데이터의 동시성을 막기 위해 어떻게 동작하는지 확인해보는 시간을 가져보려고 합니다. NoSQL 먼저 MongoDB는 NoSQL 데이터베이스입니다. NoSQL은 non-sql, non-relational 이라는 의미로 데이터 집합 간의 관계를 정의하지 않는 데이터베이스로, 대용량의 데이터를 동시처리하는데 적합합니다. 기존의 관계형 데이터베이스 즉, RDB는 데이터를 테이블로 저장하면서 중복을 줄이고 데이터를 효율적으로 관리합니다. 그러나 RDB는 이런 테이블이 정의된 스키마에 맞추어 데이터를 저장해야 하기 때문에 사전에 테이블에 맞추어 데이터를 조작해야 합니다. 또한 필요한 데이터를 조회할 때는 여러 테이블을 조인해서 확.. 공감수 6 댓글수 0 2022. 7. 10.
Network Interface 파헤치기 안녕하세요~ 네트워크 공부를 시작한 네린이입니다 :_) 보통 네트워크 공부를 시작하면 헷갈리는 용어들이 굉장히 많습니다. 실제 장비들을 보거나 코드를 돌려보면서 학습하기 어렵다보니 특정 용어들은 직관적으로 이해하기도 쉽지 않고요. 그래서 오늘은 가장 기본적인 Network Interface 개념부터 관련된 용어들을 이해해보는 시간을 가져보겠습니다. Network Interface 먼저 Network란 두 대 이상의 컴퓨터를 연결해 통신하는 것을 일컫습니다. 그리고 Interface는 어떤 것들 사이의 소통을 위한 매개체 또는 프로토콜(약속, 규약)을 의미합니다. 그리고 Network Interface(NI)는 컴퓨터와 네트워크 사이의 상호 연결 지점을 의미합니다. 아래는 Network Interface에.. 공감수 5 댓글수 0 2022. 6. 26.
분산학습 대표 유형: DP vs MP 안녕하세요~! 오늘은 분산학습 시리즈 2번째로 분산학습의 대표 유형들에 대해 살펴보는 시간을 가지겠습니다. 분산학습을 잘 모르시는 분들을 위해 개괄적으로 설명할 예정으로 세부적인 개별 구현에 대해서 다루기보다는 각 유형의 컨셉에 대한 이해 그리고, 해당 기법과 관련된 용어들을 소개하는 것을 목적으로 하겠습니다. 지난 시간에 학습 데이터와 모델 사이즈가 점점 커지는 학습 트렌드를 설명하면서 여러 서버의 GPU들을 사용해 학습하는 분산학습(multi-node training)이 도래하게 되었다고 말씀드렸습니다. 하나의 GPU만 사용한다면, 모델이 logit을 계산하는 것부터 loss를 구하고 optimizer로 모델을 업데이트하기까지의 모든 metric 연산들은 GPU에 올려서 수행하기만 하면 됐습니다. .. 공감수 1 댓글수 1 2022. 6. 12.
분산 학습과 집합 통신 안녕하세요~ 오늘은 분산학습이 등장하게 된 배경과 정의 그리고 실제 분산학습에서 Gradient 전달을 위한 통신 흐름을 소개해보고자 합니다. 개인적으로 작년에 분산학습이 무엇인지 빠르게 배우고 적용해보는 시간들이 많았습니다만.. 올해 들어 그런 기회가 없어 블로그로 제가 배웠던 내용들을 한곳에 모아보려고 합니다. 소개해보려는 순서는 다음과 같습니다. 1편: 분산학습과 집합통신 2편: 분산학습 대표 유형 (DP, MP, PP, Zero Infinity…) 3편: 분산학습 테크닉과 디버깅 노하우 학습 트렌드 분산학습이 무엇인지 알기 전에 왜 분산학습이 필요하게 되었는지 그 연유부터 알아야겠죠? 이는 DL 학습 트렌드를 찾아보면 한눈에 이해할 수 있습니다. 해당 그래프는 2018년부터 2022년 최근까지 좋.. 공감수 12 댓글수 0 2022. 5. 29.
글또 7기 다짐글 📖 글또를 시작한 이유 작년 친한 지인으로부터 글또(글쓰는 또라이가 세상을 바꾼다)라는 모임을 알게되었다. 그리고 올해 7기를 모집한다는 소식을 듣자마다 바로 신청했다. 안그래도 요즘 직장에서 사내 블로그를 작성하면서 글쓰는 습관화에 대한 필요성을 많이 느꼈고 내게 둘도 없이 좋은 기회라고 생각했다. 📖 글또를 하면서 내가 달성하고 싶은 목표 글또는 5월 1일 OT를 시작으로 10월까지 약 6개월의 활동으로 이뤄진다. 우선적으로 달성해야 하는 목표는 2주에 한번 못해도 최소 10회의 블로그 글을 기재하는 것이다. 물론 이 과정에는 다른 참가자의 글을 읽으면서 배울점을 찾고 피드백하는 과정도 포함된다. 이번 기수를 무사히 졸업하기 위한 정량적인 목표가 존재하지만, 개인적으로 세운 목표는 다음과 같다: 1... 공감수 3 댓글수 1 2022. 5. 14.
DevOps 란 DevOps 용어의 의미 2009 년, 벨기에의 소프트웨어 개발자인 Patrick Debois 에 의해 생겨난 용어다. DevOps는 개발(Development)과 운영(Operation)을 합친 단어로, 이 둘 사이의 사일로(분단) 현상을 해결하기 위한 방법론 또는 조직문화에 대한 방향성이다. DevOps 용어 자체는 직관적이지만, 정확히 DevOps가 무엇이냐는 질문에는 여러가지 정의가 혼용되어 어떤 것이 정확한 정의인지에 대해서는 논쟁이 계속이 이어지고 있다. 우선, 왜 DevOps 가 등장하게 되었는지 알아보자. DevOps 는 왜 등장하게 되었는가? 기술의 개발과 분업화로 큰 규모의 시스템을 다루는 여러 회사에서는 개발팀과 운영팀을 따로 두고 있다. 운영팀은 일상의 재해(e.g. 정전)에서도 서.. 공감수 0 댓글수 0 2022. 4. 17.
210809 표현 익히기 As I told you, 내가 너에게 말했던 것처럼 we rented a car and drove out of the city 우린 차를 빌려서 도시밖으로 드라이브 갔어 It has a beautiful scenery 거기는 경치가 좋더라 We ate one of their famous baked goods. They are known for their homemade baked pastry. 우리는 그 집 빵을 좀 먹었어. 홈메이드 페스츄리로 유명해 * bread : made with flour, yeast, and egg : baguette, levain(천연효모빵), sourdough bread, sliced bread * pastry : made with flour, yeast, fat, and.. 공감수 0 댓글수 0 2021. 8. 9.
GIT 상황별 명령어 정리 untracked 파일 변경사항 되돌리기 = modified file( not add to staging )을 unmodified file 로 되돌리기 git checkout sample.txt git checkout . ## working directory 에서 수정한 모든 파일을 현재 버전으로 되돌리기 파일 스테이징 취소 = git add 로 staging area 에 등록된 변경사항 삭제 = 언스테이징 git reset sample.txt git reset . ## 모든 add 변경사항 되돌리기 커밋한 파일 변경사항 되돌리기 git reset 4baf97e ## 커밋 취소. add(index) 취소 git reset --soft 4baf97e ## 커밋 취소 git reset --hard 4baf9.. 공감수 0 댓글수 0 2021. 1. 27.
GIT 용어 및 명령어 정리 GIT 이란? 코딩 이력 관리, 형상 관리 도구, 분산 버전 관리 시스템 등등 다양한 설명들이 존재한다. 위키피디아의 설명으로 이해하면 Git is a distributed version-control system for tracking changes in any set of files, originally designed for coordinating work among programmers cooperating on source code during software development. (1) 파일들의 변화를 트래킹하고 (2) 여러 명의 개발자들이 작업파일(소스코드)들에 협업하는 과정을 조율한다 GIT 을 이용하면 잘못 수정한 내용을 되돌릴 수도 있고, 다른 사람의 작업내용을 나의 로컬환경으로 끌어.. 공감수 0 댓글수 0 2021. 1. 27.
OS 운영체제 - 2. CPU 총 네가지를 설명할 겁니다. 1. CPU 구성요소 (사실 이 부분은 컴퓨터 구조와 관련된다. 패스해도 무방) 2. CPU 가상화 3. CPU와 프로세스와 스레드 4. CPU 스케쥴링 1. CPU 구성요소 물론 기계 부품의 내부속까지 알 필요는 없지만, 적어도 CPU의 구성요소들을 알면 아 CPU가 이런 방식으로 돌아가는구나를 이해할 수 있다. (1) 하드웨어 구조 우선 컴퓨터 하드웨어는 CPU, 메인메모리, I/O bus등으로 이루어지는데 1) CPU는 연산을 담당하고, 2) 메인메모리가 컴파일된 프로그램 코드를 보관하며, 3) I/O Bus는 하드웨어 내부에서 서로 데이터를 주고받기 위해 사용되는 경로다. (2) CPU코어란 위의 그림은 CPU코어 하나와 외부장치들 간의 관계를 보여주고 있다. CPU코.. 공감수 2 댓글수 0 2020. 7. 3.
OS 운영체제 - 1. 운영체제란 원론적인 기능정의는 패스하고, 포인트 위주로 정리합니다. 1. 운영체제는 무엇인가 자.원.관.리 프로그램 운영체제는 컴퓨터 시스템자원(하드웨어)를 관리하는 프로그램이다 하드웨어를 컨트롤할 수 있다는 점에서 시스템 소프트웨어다 ( 시스템 소프트웨어의 다른 종류로는 링커, 로더, 컴파일러등이 있다) 2. 운영체제가 하는일을 자세히 말해보라 프로그램 연산을 실행하는 핵심 제어장치 CPU를 관리합니다 -> ALU, Register. 메모리를 관리합니다 -> ROM RAM Cache메모리 가상메모리 I/O 입출력을 담당하는 주변장치들을 관리합니다 -> device controller cf) 장치 드라이버 다운로드란? 운영체제가 컴퓨터에 연결된 장치들과 호환되도록 해주는 소프트웨어. 이 호환되는 부분이 device.. 공감수 1 댓글수 0 2020. 7. 3.
[BOJ-1780] 종이의 개수 Python cache.values(): # 파이썬의 재귀호출과 관련한 에러를 제어 import sys sys.setrecursionlimit(100000) #input_matrix=[[0, 0, 0, 1, 1, 1, -1, -1, -1], [0, 0, 0, 1, 1, 1, -1, -1, -1], [0, 0, 0, 1, 1, 1, -1, -1, -1], [1, 1, 1, 0, 0, 0, 0, 0, 0], [1, 1, 1, 0, 0, 0, 0, 0, 0], [1, 1, 1, 0, 0, 0, 0, 0, 0], [0, 1, -1, 0, 1, -1, 0, 1, -1], [0, -1, 1, 0, 1, -1, 0, 1, -1], [0, 1, -1, 1, 0, -1, 0, 1, -1]] # 입력값 받기 _len = int(inp.. 공감수 0 댓글수 0 2020. 7. 2.
DP 동적 계획법 1. 큰 문제를 작은 문제들로 나누어 해결한다 2. 작은 문제들은 결과값을 저장하여 다시 사용할 수 있도록 한다 ( 메모이제이션 ) 주로 greedy(그리디, 탐욕)알고리즘과 자주 비교된다. (공통) 둘다 전체 문제를 작은 문제단위부터 해결하여 최적점에 도달한다는 전략을 취하지만, (차이) greedy는 작은 문제단위에서 최선의 선택이 큰 문제에서의 최선의 선택과 일치되는 경우에 사용 가능하고, dp는 작은 문제단위에서 best선택을 하더라도 큰 문제에서 best가 보장되지 않을 때 사용하면 된다. 1. Top-Down 방식 : 초기의 큰 문제단위에서 작은 문제단위로 접근하며 : 재귀함수를 이용해 구현한다 1) 작은 문제들의 결과값을 저장할 변수를 만들고 모두 worst상태로 초기화한다 2) functi.. 공감수 0 댓글수 0 2020. 7. 2.
Convolution Neural Network History - AlexNet convolution layer를 근간으로 image와 같은 다채널 데이터를 처리하는데 좋은 Neural Network를 순서대로 정리해보자 다양하고 좋은 CNN이 많지만 대표적인 Network들을 1)아키텍처 구조와 2)대표적인 특징점들을 기준으로 설명하겠다 순서는 다음과 같다. AlexNet -> VggNet -> GoogleNet -> ResNet -> DenseNet -> ShuffleNet -> MobileNet -> SENet -> CondenseNet -> NASNet 첫번째는 AlexNet이다. [1] AlexNet Alexnet은 CNN네트워크를 구성할 때 지금까지 우리가 기본적으로 사용하는 테크닉들을 정착화시킨 논문이다. (1) ReLU Nonlinearity 이전 LeNet 논문에서만.. 공감수 0 댓글수 0 2020. 6. 7.
URL 문법 URL 문법을 통해 URL이 리소스의 위치를 어떠한 방식으로 가리키는지 알아보자 해당 내용은 'Http 완벽 가이드'라는 책을 바탕으로 기술하였다. URL 문법 URL문법은 스킴(요청/응답에 사용할 프로토콜)에 따라 달라지지만, 대부분 9개의 부분으로 나누어진다. ://:@:/;?# 각 컴포넌트를 하나씩 짚어보고, 스킴마다 어떻게 문법이 다른지도 확인해보도록 하자 1) 스킴 어떤 프로토콜을 사용하여 서버에 접근할 것인가를 나타냄. 스킴은 가장 유명한 http부터 https, mailto, ftp, rtsp, rtspu, file, news, telnet 등이 대표적이다. 2) 사용자이름:비밀번호 서버 또는 서버의 특정한 리소스에 접근하기 위해서는 접근이 허용된 사용자명과 비밀번호가 필요하다. ftp프로토.. 공감수 0 댓글수 0 2020. 6. 7.
HTTP 개관 http와 관련된 개념들을 간단히 정리해본다 해당 내용은 'Http 완벽 가이드'라는 책을 바탕으로 기술하였다. HTTP 개관 * 클라이언트가 브라우저(크롬, 익스플로러)를 통해 요청을 하면, 브라우저는 웹서버로 TCP 커넥션을 형성한 후 요청 Http 메세지를 보낸다. 웹서버는 url을 해석하여 요청하는 리소스의 위치를 확인하고, http메서드와 본문의 내용을 기반으로 이를 처리한 후 응답 메세지를 보낸다. 1) Http (Hypertext Transfer Protocol) : WWW(월드 와이드 앱, 즉 인터넷)에서 데이터를 주고받기 위해 사용하는 프로토콜(==약속언어) 프로그램. 전송 중 데이터의 훼손이나 중복되지 않도록 보장한다 2) http 프로토콜로 의사소통하는 주체 : 웹 클라이언트 - 브라.. 공감수 0 댓글수 0 2020. 6. 7.
Dash - graph plotting method Dash is an open-source Python framework used for building analytical web applications Dash는 (분석 시각화를 위한 또는 대시보드에 특화된) 웹 어플리케이션을 빌드하는데 사용되는 파이썬 프레임웤 오픈소스다. 오늘은 Dash의 여러 기능 중 dcc.Graph component에 초점을 두어 얘기해 보기로 하자. The dcc.Graph component can be used to render any plotly-powered data visualization, passed as the figure argument. dcc.Graph 모듈은 plotly (python grpahing library)로 생성한 figure 를 받아들여 웹상에.. 공감수 1 댓글수 0 2020. 5. 25.
shell 과 shell script (.sh .bat) shell 쉘이란, 사용자로부터 받은 명령을 kernel이 이해하도록 해석하여 전달하는 명령어 해석기이다. 1. 쉘의 종류 쉘도 여러가지 종류가 있으며, 리눅스의 경우 /etc/shells 을 열어서 확인 가능하다. 각 종류를 모두 설명할 수 없지만 대표적인 두가지를 설명하자면, /bin/sh : 최초로 만들어진 표준 쉘로 복구 모드에 사용된다. 우분투에서 /bin/sh는 dash로 링크가 걸려있다. /bin/bash : 리눅스에서 가장 대표적으로 사용되는 쉘이다. 기능이 많은 대신 dash보다 다소 느리다고 한다. 참고로 윈도우의 경우에는 명령프롬프트(cmd)와 PowerShell이 대표적이다. cmd는 모두가 알고있는 DOS와 동일한 구문과 기능을 베이스로하는 간단하고 기본적인 쉘이라면, PowerS.. 공감수 4 댓글수 0 2020. 5. 20.
[이것이 리눅스다] 1-3장 vmware 설치부터 CentOS 설치 후 접속까지 ''' 강의 내용을 정리합니다 ''' 가상환경 : 실제 컴퓨터에 설치된 운영체제(호스트 운영체제)위에 구성된 독립적인 컴퓨터 환경(게스트 운영체제) - 방법은 여러가지가 존재 - 가상환경에는 각각의 게스트 OS로 이루어진 '가상머신'들이 존재할 수 있으며, 이를통해 각각의 가상머신들이 가상의 IP를 가지고 가상 라우터를 통해 연결되어 있는 '가상머신 프로그램'을 구성할 수 있다 - VMware Workstation Player 에는 핵심기능만 들어있다 VMware Workstation Pro 에는 핵심기능 + 부가기능(네트워트 환경설정, 스냅숏 기능 등) - 설치 후 WMware Player의 모습 - 리눅스 이전 고가의 상용 OS인 유닉스가 있었으나.. 공감수 0 댓글수 0 2020. 4. 17.
Signal Features wav linear spectrogram log spectrogram pitch mfcc delta 공감수 0 댓글수 0 2020. 4. 13.
Sampling rate wave(파동), sound(소리), signal(신호), vibration(진동)에 대한 기초지식이 전혀 없었던 나로써는 몇일을 봐도 완벽히 이해되지 않는 개념이 바로 Sampling rate (=sr =sampling frequency =fs) 였다. 알게되고 나서는 오히려 반가웠던... 다른 개념이 더 어려웠기 때문입니다... 최대한 직관적으로 이해해봅시다. 1. samping rate Sampling rate or sampling frequency defines the number of samples per second (or per other unit) taken from a continuous signal to make a discrete or digital signal 보통은 wiki의 정의.. 공감수 1 댓글수 0 2020. 3. 29.
signal filter in python 소리의 필터 소리의 필터는 다양한 종류가 있습니다. 이중에 대표적으로 band-pass filter와 band-stop filter(notch filter)만 알면 다른 것들도 다 구현 가능합니다. 1) bandpass filter bandpass-filter는 frequency중에 딱 일부 대역대만 뽑아서 통과시키는 필터입니다. lower-pass가 기준값보다 작은 값을 모두 통과시키고, high-pass가 기준값보다 큰 값을 모두 통과시키는 것이라면, band-pass 는 일정영역만 통과시킵니다. 모든 필터들이 frequency값을 통과시킬때 경계값을 어떻게 처리할 것인가에 방법이 모두 다를텐데, 가장 general한 방법은 butterworth형태입니다. ( [200-300]만 통과시킬때 200부근과 300부근.. 공감수 3 댓글수 1 2020. 3. 29.
소리 ( Signal / Sound / Wave / Vibration )의 세기와 높낮이 소음분석 프로젝트를 진행중이다. 관련 개념을 정리해보고자 한다. 소리는 높다/낮다(dB) 크다/작다(Hz) 로 설명할 수 있다. 그렇다. 오늘은 dB과 Hz에 대해서 얘기하겠다. 참고로 이 블로그는 ML/DL/IT에 대한 각종 이야기를 적는 곳이 맞다 1) 소리의 세기 dB (데시벨) : 소리의 압력을 수치화한 단위가 dB이다. - 사람이 들을 수 있는 가장 작은 소리는 0dB이며, 120-130dB을 넘으면 견디기 힘들 정도로 시끄러운 소리가 된다. - 사람의 숨소리는 10dB 정도, 대화하는 소리는 40-60dB 정도이다. 2) 소리의 높낮이 Hz ( 헤르츠) : 소리의 음색을 나타내는 단위는 Hz이다 - Hz는 주파수(frequency)를 나타내는 단위이다. 즉, 소리의 음색은 1초에 통과하는 파동.. 공감수 0 댓글수 0 2020. 3. 29.
[Ubuntu] 1. update packages and gui setting info ) apt-get is a package-managemet tool in linux system # setting.sh sudo apt-get update # synchronize package index file sudo apt-get upgrade # fetch new package apt-get install ubuntu-desktop # install ubuntu GUI version 2. Install essential packages sudo apt install nano htop tlp net-tools 8a- 1) nano is a text editor -> you can use 'vim'(vi) instead of '.. 공감수 0 댓글수 0 2020. 3. 22.
docker 명령어 정리 1) 이미지 # 1) 가지고 있는 도커 이미지 확인 docker images # 2) 이미지 상세정보 확인 docker inspect # 3) 이미지 받기 docker pull : docker pull redis docerk pull python:3.6 # 3.6이라는 태그를 python 을 받아옵니다. 3.6버전의 python을 뜻하는 것이겠죠 info1) 이미지는 컨테이너의 청사진이죠. 이미지에 담긴 정보를 기준으로 컨테이너가 생성됩니다. info2) 이미지는 레지스트리로부터 가져옵니다. default 레지스트리는 https://index.docker.io/v1/ 입니다. info3) 이미지는 여러개의 레이어들로 구성됩니다. 도커 허브에서 free 이미지를 하나 받아올때 각 레이어들을 독립적으로 받아.. 공감수 0 댓글수 0 2020. 3. 19.
Docker - 가상화, 컨테이너, 이미지 docker 는 컨테이너를 기반으로 만들어진 오픈소스 가상화 플랫폼이다. 1) 가상화 - 가상화란, 서버 한 대를 여러개의 작은 서버로 나누어 사용하는 기술을 일컷는다. - docker 역시 가상화 플랫폼으로 docker를 설치하면 간단한 명령어로 하나의 컴퓨터에서 다양한 환경을 만들 수 있다. ( python분석용, application개발용, cache저장용 ) * 필자는 분석환경을 주로 conda(python용 가상환경)로 관리해왔었는데 이번 deploy 환경 조성을 시작으로 docker로 변경하면서 더 넓은 범위에서 환경을 구분하는 것이 가능해졌다. 2) 컨테이너 - 컨테이너란, 서버 가상화 방법 중 하나이다. 가상화는 가상머신(VM)과 컨테이너 두개가 대표적이다. - 컨테이너란 도커 가상화 방법.. 공감수 0 댓글수 0 2020. 3. 17.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.