์นดํ…Œ๊ณ ๋ฆฌ ์—†์Œ

๊ธ€๋˜ 7๊ธฐ ๋‹ค์ง๊ธ€

hadaney 2022. 5. 14. 17:33

๐Ÿ“– ๊ธ€๋˜๋ฅผ ์‹œ์ž‘ํ•œ ์ด์œ 

์ž‘๋…„ ์นœํ•œ ์ง€์ธ์œผ๋กœ๋ถ€ํ„ฐ ๊ธ€๋˜(๊ธ€์“ฐ๋Š” ๋˜๋ผ์ด๊ฐ€ ์„ธ์ƒ์„ ๋ฐ”๊พผ๋‹ค)๋ผ๋Š” ๋ชจ์ž„์„ ์•Œ๊ฒŒ๋˜์—ˆ๋‹ค. ๊ทธ๋ฆฌ๊ณ  ์˜ฌํ•ด 7๊ธฐ๋ฅผ ๋ชจ์ง‘ํ•œ๋‹ค๋Š” ์†Œ์‹์„ ๋“ฃ์ž๋งˆ๋‹ค ๋ฐ”๋กœ ์‹ ์ฒญํ–ˆ๋‹ค. ์•ˆ๊ทธ๋ž˜๋„ ์š”์ฆ˜ ์ง์žฅ์—์„œ ์‚ฌ๋‚ด ๋ธ”๋กœ๊ทธ๋ฅผ ์ž‘์„ฑํ•˜๋ฉด์„œ ๊ธ€์“ฐ๋Š” ์Šต๊ด€ํ™”์— ๋Œ€ํ•œ ํ•„์š”์„ฑ์„ ๋งŽ์ด ๋Š๊ผˆ๊ณ  ๋‚ด๊ฒŒ ๋‘˜๋„ ์—†์ด ์ข‹์€ ๊ธฐํšŒ๋ผ๊ณ  ์ƒ๊ฐํ–ˆ๋‹ค. 

๐Ÿ“– ๊ธ€๋˜๋ฅผ ํ•˜๋ฉด์„œ ๋‚ด๊ฐ€ ๋‹ฌ์„ฑํ•˜๊ณ  ์‹ถ์€ ๋ชฉํ‘œ

๊ธ€๋˜๋Š” 5์›” 1์ผ OT๋ฅผ ์‹œ์ž‘์œผ๋กœ 10์›”๊นŒ์ง€ ์•ฝ 6๊ฐœ์›”์˜ ํ™œ๋™์œผ๋กœ ์ด๋ค„์ง„๋‹ค. ์šฐ์„ ์ ์œผ๋กœ ๋‹ฌ์„ฑํ•ด์•ผ ํ•˜๋Š” ๋ชฉํ‘œ๋Š” 2์ฃผ์— ํ•œ๋ฒˆ ๋ชปํ•ด๋„ ์ตœ์†Œ 10ํšŒ์˜ ๋ธ”๋กœ๊ทธ ๊ธ€์„ ๊ธฐ์žฌํ•˜๋Š” ๊ฒƒ์ด๋‹ค. ๋ฌผ๋ก  ์ด ๊ณผ์ •์—๋Š” ๋‹ค๋ฅธ ์ฐธ๊ฐ€์ž์˜ ๊ธ€์„ ์ฝ์œผ๋ฉด์„œ ๋ฐฐ์šธ์ ์„ ์ฐพ๊ณ  ํ”ผ๋“œ๋ฐฑํ•˜๋Š” ๊ณผ์ •๋„ ํฌํ•จ๋œ๋‹ค. ์ด๋ฒˆ ๊ธฐ์ˆ˜๋ฅผ ๋ฌด์‚ฌํžˆ ์กธ์—…ํ•˜๊ธฐ ์œ„ํ•œ ์ •๋Ÿ‰์ ์ธ ๋ชฉํ‘œ๊ฐ€ ์กด์žฌํ•˜์ง€๋งŒ, ๊ฐœ์ธ์ ์œผ๋กœ ์„ธ์šด ๋ชฉํ‘œ๋Š” ๋‹ค์Œ๊ณผ ๊ฐ™๋‹ค:

 

1. ๋ชจ๊ฐ๊ธ€์„ ๋ชจ์ง‘ํ•˜๊ฑฐ๋‚˜ ์ฐธ์—ฌํ•  ๊ฒƒ

๋‚˜์—๊ฒŒ ์Šต๊ด€ํ™”๋ฅผ ์œ„ํ•œ ๊ฐ€์žฅ ๋น ๋ฅธ ๋ฐฉ๋ฒ•์€ ๊ฐ•์ œ์„ฑ์ด๋‹ค. ํŠนํžˆ ์ด๋Š” ๊ฐ™์ด ํ•˜๋Š” ์‚ฌ๋žŒ์ด ์žˆ์„ ๋•Œ ์‹œ๋„ˆ์ง€๊ฐ€ ๋†’๋‹ค. ๊ทธ๋Ÿฐ ์˜๋ฏธ์—์„œ ์ด๋ฒˆ ์ฐธ์—ฌ์—์„œ ์•ž์œผ๋กœ ๋ชจ๊ฐ๊ธ€(๋ชจ์—ฌ์„œ ๊ฐ™์ด ๊ธ€์“ฐ๊ธฐ)๋ฅผ ํ•  ํŒ€์›๋“ค์„ ๋งŒ๋“ค๊ณ  ์‹ถ๋‹ค. ์ข‹์€ ์‚ฌ๋žŒ๋“ค๊ณผ ๊ณ„์† ์ด์–ด๋‚˜๊ฐˆ ์ˆ˜ ์žˆ๋Š” ๋ชจ๊ฐ์ฝ”๋„ ๊ตฌํ•˜๊ณ  ์‹ถ์€๊ฒŒ ๊ฐœ์ธ์ ์ธ ์†Œ๋ง์ด๋‹ค.

 

2. ๋งˆ๊ตฌ์žก์ด๋กœ ์จ๋†“์€ ๊ธ€๊ฐ์„ ๊ธ€๋กœ ๋งŒ๋“ค์–ด ํ”ผ๋“œ๋ฐฑ ๋ฐ›์„ ๊ฒƒ

๋ถ€๋„๋Ÿฝ๊ฒŒ๋„ 2020๋…„ ์ด์ง ์ดํ›„ ๋‹จ ํ•œ๋ฒˆ๋„ ํฌํŠธํด๋ฆฌ์˜ค๋ฅผ ์—…๋ฐ์ดํŠธํ•˜์ง€ ์•Š์•˜๋‹ค. ๋”๊ตฌ๋‚˜ ๊ฐœ๋ฐœ์ž๋กœ ์ปค๋ฆฌ์–ด๋ฅผ ์ „ํ–ฅํ•˜๋ฉด์„œ ๋ฐฐ์šด ๋งŽ์€ ๋‚ด์šฉ๋“ค์„ ์ฐฌ์ฐฌํžˆ ์ •๋ฆฌํ•  ์‹œ๊ฐ„๋„ ์ œ๋Œ€๋กœ ๊ฐ–์ง€ ๋ชปํ–ˆ๋‹ค. ์‚ฌ์‹ค ์กฐ๊ธˆ ๋ณ€๋ช…์„ ๋ณดํƒœ์ž๋ฉด ํ•˜๋ฃจํ•˜๋ฃจ ์ƒˆ๋กœ์šด ๋‚ด์šฉ์„ ๋ฐฐ์›Œ๋‚˜๊ฐ€๊ธฐ ๋ฐ”๋นด๋‹ค๊ณ  ๋งํ•˜๊ณ  ์‹ถ๋‹ค.๐Ÿ˜ญ ๋”๋Š” ๋ฏธ๋ฃจ์ง€ ์•Š์•„์•ผ ๊ฒ ๋‹ค๊ณ  ๋‹ค์งํ–ˆ๊ณ , ์ด๋ฒˆ ํ™œ๋™์œผ๋กœ ๋จธ๋ฆฌ์†์— ํฉ์–ด์ง„ ์ง€์‹๋“ค์„ ์ •๋ฆฌํ•˜๋Š” ์‹œ๊ฐ„์„ ๊ฐ€์งˆ ๊ฒƒ์ด๋‹ค.

 

3. ๋‹ค๋ฅธ ์ฐธ๊ฐ€์ž์˜ ๊ธ€์„ ํ”ผ๋“œ๋ฐฑํ•˜๋ฉฐ ์ข‹์€ ํ‘œํ˜„์ด๋‚˜ ๊ธ€๊ท€, ๋ชฉ์ฐจ ๊ตฌ์„ฑ๋“ค์„ ๋ฐฐ์šธ ๊ฒƒ

๋‹จ์ˆœํžˆ ๋ฐฐ์šด๋‹ค๊ณ  ๋‘๋ฃจ๋ญ‰์‹คํ•˜๊ฒŒ ํ‘œํ˜„ํ•˜๋ฉด ํ์ง€๋ถ€์ง€๋  ๊ฐ€๋Šฅ์„ฑ์ด ๋†’๋‹ค. ๊ตฌ์ฒด์ ์œผ๋กœ ์ข‹์€ ๊ธ€๊ท€๋‚˜ ์ „๊ฐœ๋ฐฉ์‹์„ ์ ์–ด๋‘์—ˆ๋‹ค๊ฐ€ ๊ธ€๋˜ ๋งˆ์ง€๋ง‰ ์ž‘์„ฑ๊ธ€์— ๋ฐฐ์šด์ ์— ํฌํ•จ์‹œํ‚ค๋Š” ๊ฒƒ์„ ๋ชฉํ‘œ๋กœ ํ•˜๊ณ  ์žˆ๋‹ค.

๐Ÿ“– ๊ธ€๋˜๋กœ ์ž‘์„ฑํ•  ๊ธ€๊ฐ๋“ค

๊ฐœ๋ฐœ์ž๋กœ ์ „ํ–ฅํ•œ ์ดํ›„์˜ ๋ฐฐ์šธ์ ๋“ค์„ ์ฃผ๋กœ ์ ๊ฒŒ ๋  ์˜ˆ์ •์ด๋ผ ์†Œ์žฌ๋“ค์ด ์ „๋ถ€ ๊ฐœ๋ฐœ์— ์น˜์šฐ์น  ๊ฒƒ ๊ฐ™๋‹ค. ์šฐ์„  ์ƒ๊ฐํ•˜๊ณ  ์žˆ๋Š” ๊ธ€๊ฐ๋“ค์€ ๋‹ค์Œ๊ณผ ๊ฐ™๋‹ค:


  1. ๋ถ„์‚ฐํ•™์Šต
    • ๋ถ„์‚ฐํ•™์Šต ๋“ฑ์žฅ๊ณผ DP ์™€ MP
    • ZeRO Infinity
    • ๋ถ„์‚ฐํ•™์Šต ํ…Œํฌ๋‹‰๊ณผ ๋””๋ฒ„๊น… ๋…ธํ•˜์šฐ
  2. Kubernetes
    • Kubernetes ๋™์ž‘์›๋ฆฌ ๋ฐ ๋„คํŠธ์›Œํฌ
    • Kubernetes scheduler ์ปค์Šคํ„ฐ๋งˆ์ด์ง•
  3. DevOps
    • helm chart ๋กœ ๋ฐฐํฌํ•˜๊ธฐ
    • ansible ๊ณผ ansible playbook
  4. MySQL๊ณผ MongoDB๋กœ ํ™•์ธํ•˜๋Š” SQL๊ณผ NoSQL ์ฐจ์ด
  5. Golang ํŒŒํ•ด์น˜๊ธฐ
  6. Prometheus์™€ Grafana
  7. ๊ทธ ์™ธ
    1. ์ฃผ๋‹ˆ์–ด ๋„์•ฝ์„ ์œ„ํ•œ ๊ณ ๊ตฐ๋ถ„ํˆฌ๊ธฐ, ๊ฐœ๋ฐœ์ž๊ฐ€ ๊ณ„์† ์„ฑ์žฅํ•˜๊ธฐ ์œ„ํ•ด์„œ๋Š”
    2. pytorch dataloader, python GIL ๋ฌธ์ œ
    3. Ceph ๊ณผ lustre, ๊ทธ๋ฆฌ๊ณ  DDN
    4. IT ๊ธฐ์ดˆ ์ง€์‹ : ์ปดํ“จํ„ฐ ๊ตฌ์กฐ, ์šด์˜์ฒด์ œ์™€ ๋ฆฌ๋ˆ…์Šค
    5. Profiling ๋ฐฉ๋ฒ•
    6. GPU ์—ญ์‚ฌ์™€ MIG
    7. ์ œํƒœํฌ ์ง€์‹๋“ค...

๋‹ค์ง

์‚ฌ์‹ค ์ƒˆ๋กœ์šด ๋„์ „์„ ํ• ๋•Œ๋งˆ๋‹ค ํ•ญ์ƒ ์•ฝ๊ฐ„์˜ ๊ฑฑ์ •์ด ๋™๋ฐ˜๋œ๋‹ค. ์ž˜ ํ•  ์ˆ˜ ์žˆ์„๊ฑฐ๋ผ ๋ฏฟ์œผ๋ฉด์„œ๋„ ์ƒˆ๋กœ์šด ํ™œ๋™์— ๋˜ ์น˜์ด์ง€ ์•Š์„์ง€ ๋๊นŒ์ง€ ํ•  ์ˆ˜ ์žˆ์„์ง€ ๊ณ ๋ฏผ๋˜๋Š” ๊ฑด ์–ด์ฉ” ์ˆ˜ ์—†๋Š” ๊ฒƒ ๊ฐ™๋‹ค. ๊ทธ๋Ÿฌ๋‚˜ ์—ฌ๋Ÿฌ ํ•‘๊ณ„๋กœ ์‹œ์ž‘์„ ๋ฏธ๋ฃฐ์ˆ˜๋ก ์˜คํžˆ๋ ค '์•„ ์ผ์ฐ ํ• ๊ป„' '์•„ ํ•  ์ˆ˜ ์žˆ์—ˆ๋Š”๋ฐ ์‹œ๊ฐ„์„ ํ˜๋ ค๋ณด๋ƒˆ๊ตฌ๋‚˜' ํ•˜๋Š” ์ƒ๊ฐ๋งŒ ๋Š˜์—ˆ๋˜ ๊ฒƒ ๊ฐ™๋‹ค.

์ด๋ฒˆ ํ™œ๋™์ด ๋‚˜์—๊ฒŒ ํ•œ ๋ณด ๋” ์•ž์œผ๋กœ ๋‚˜์•„๊ฐ€๋Š” ์‹œ๊ฐ„์ด ๋˜๊ธฐ ์œ„ํ•ด์„œ ๋ถ€๋˜ํžˆ ๋…ธ๋ ฅํ•  ๊ฒƒ์ด๋‹ค. ์–ธ์ œ๋‚˜ ๊ทธ๋ ‡๋“ฏ ๊ณผ์ •์ค‘์— ์ง€์น˜๊ฒ ์ง€๋งŒ ๋๋‚˜๊ณ  ์›ƒ๋Š” ๋‚˜๋ฅผ ์ƒ๊ฐํ•˜๋ฉฐ ๋‹ฌ๋ ค๋ณด๊ณ ์ž ํ•œ๋‹ค. ์•„์ž์•„์ž ํ™”์ดํŒ…๐Ÿ’ช