AI capex cycle์ AI ์์๊ฐ ๋ชจ๋ธยท์ํํธ์จ์ด ๋งค์ถ์๋ง ๋จธ๋ฌผ์ง ์๊ณ , ๋ฐ์ดํฐ์ผํฐ, ์ ๋ ฅ, ๋ฐ๋์ฒด, ๋ฉ๋ชจ๋ฆฌ, ๋คํธ์ํฌ, ๋๊ฐ, ๊ฑด์ค, ์ฅ๋น ํฌ์๋ก ๋ฒ์ง๋ ํ๋ฆ์ ๋งํฉ๋๋ค. ์ฌ๊ธฐ์ capex๋ capital expenditure, ์ฆ ๊ธฐ์ ์ด ์ฅ๊ธฐ ์ค๋น์ ์ธํ๋ผ๋ฅผ ๋ง๋ค๊ธฐ ์ํด ์ฐ๋ ์๋ณธ์ง์ถ์ ๋๋ค.
์ด ๊ฐ๋ ์ด ์ค์ํ ์ด์ ๋ ๋จ์ํฉ๋๋ค. AI๊ฐ โ์์ฐ์ฑ์ ๋์ด๋ ๊ธฐ์ โ์ธ ๋์์ โ๋ง๋ํ ๋ฌผ๋ฆฌ ์ธํ๋ผ๋ฅผ ์๊ตฌํ๋ ํฌ์ ์ฌ์ดํดโ์ด ๋ ์ ์๊ธฐ ๋๋ฌธ์ ๋๋ค. ๊ทธ๋์ AI ๋ด์ค๋ฅผ ์ฝ์ ๋๋ ๋ชจ๋ธ ์ฑ๋ฅ๋ฟ ์๋๋ผ ๋๊ฐ ์ค๋น๋ฅผ ์ฌ๊ณ , ๋๊ฐ ์ ๋ ฅ์ ๊ณต๊ธํ๊ณ , ์ด๋ค ๋ณ๋ชฉ์ด ๋น์ฉ์ ์ฌ๋ฆฌ๋์ง๋ ๊ฐ์ด ๋ด์ผ ํฉ๋๋ค.
ํ ์ค๋ก ๋งํ๋ฉด
AI capex cycle์ AI ์์๊ฐ ๋ฐ์ดํฐ์ผํฐยท์นฉยท์ ๋ ฅยท์ฅ๋น ํฌ์๋ก ์ด์ด์ง๊ณ , ๊ทธ ํฌ์๊ฐ ๋ค์ ๊ธฐ์ ์ค์ ยท๊ธ๋ฆฌยท์์์ฌยท๊ณต๊ธ๋ง ๋ ผ์์ ์ํฅ์ ์ฃผ๋ ์ํ ๊ตฌ์กฐ์ ๋๋ค.
๋น์ ๋ก ์ดํดํ๊ธฐ
์ธํฐ๋ท ์๋น์ค๊ฐ ์ปค์ง ๋๋ฅผ ์๊ฐํด๋ณผ ์ ์์ต๋๋ค. ์ฌ์ฉ์๊ฐ ๋๋ฉด ์น์ฌ์ดํธ ์ฝ๋๋ง ์ข์์ ธ์๋ ๋ถ์กฑํฉ๋๋ค. ์๋ฒ๋ฅผ ๋ ์ฌ๊ณ , ํ์ ์ ๋๋ฆฌ๊ณ , ๋ฐ์ดํฐ์ผํฐ๋ฅผ ์ง๊ณ , ๋๊ฐ๊ณผ ์ ๋ ฅ์ ํ๋ณดํด์ผ ํฉ๋๋ค. ์ด๋ ๋์ ์ฑ ํ์ฌ๋ฟ ์๋๋ผ ์๋ฒ ์ ์ฒด, ํต์ ๋ง, ๋ถ๋์ฐ, ์ ๋ ฅ ์ค๋น, ์ฅ๋น ๊ณต๊ธ๋ง์ผ๋ก ํ๋ฌ๊ฐ๋๋ค.
AI capex cycle๋ ๋น์ทํฉ๋๋ค. ChatGPT๋ enterprise agent ๊ฐ์ ์๋น์ค ์ฌ์ฉ๋์ด ๋๋ฉด, ๋ค์์๋ GPU/AI accelerator, HBM, networking, storage, transformer, switchgear, ๋๊ฐ ์ค๋น, ์ ๋ ฅ ๊ณ์ฝ, ๊ฑด์ค ํ๋ก์ ํธ๊ฐ ํจ๊ป ์์ง์ ๋๋ค.
๋ค๋ง ๋น์ ์ ํ๊ณ๊ฐ ์์ต๋๋ค. AI๋ ์ผ๋ฐ ์น ํธ๋ํฝ๋ณด๋ค token ์์ฑ ๋น์ฉ๊ณผ ์ ๋ ฅ ๋ฐ๋๊ฐ ํจ์ฌ ๋ฏผ๊ฐํ ์ ์์ต๋๋ค. ํนํ LLM inference serving์์๋ cost per token, latency, memory bandwidth, interconnect, power per rack ๊ฐ์ ์งํ๊ฐ ์ค์ ์์ต์ฑ์ ๋ฐ๊ฟ๋๋ค.
์ ํํ ์ ์
AI capex cycle์ AI ์ ํ๊ณผ ์๋น์ค์ ์ฌ์ฉ๋ ์ฆ๊ฐ๊ฐ ์ฅ๊ธฐ ์ค๋น ํฌ์๋ก ์ด์ด์ง๊ณ , ๊ทธ ์ค๋น ํฌ์๊ฐ ๋ค์ ์ฐ์ ยท์์ฅยท๊ฑฐ์๊ฒฝ์ ์ ์ํฅ์ ์ฃผ๋ ์ํ์ ๋๋ค.
ํ๋ฆ์ ๋จ์ํํ๋ฉด ๋ค์๊ณผ ๊ฐ์ต๋๋ค.
- AI ์์ ์ฆ๊ฐ: ๊ธฐ์ ๊ณผ ์๋น์๊ฐ AI ์๋น์ค๋ฅผ ๋ ๋ง์ด ์ฌ์ฉํฉ๋๋ค.
- ์ปดํจํ ์์ ์ฆ๊ฐ: ํ์ต๊ณผ inference๋ฅผ ์ํ GPU, accelerator, ์๋ฒ, ๋ฉ๋ชจ๋ฆฌ๊ฐ ๋ ํ์ํด์ง๋๋ค.
- ๋ฐ์ดํฐ์ผํฐ ํฌ์ ์ฆ๊ฐ: rack, ๋๊ฐ, ์ ๋ ฅ, ๋คํธ์ํฌ, ๋ถ์ง, ๊ฑด์ค ํฌ์๊ฐ ๋์ด๋ฉ๋๋ค.
- ๊ณต๊ธ๋ง๊ณผ ์์์ฌ ๋ณ๋ชฉ: ์ ๋ ฅ ์ฅ๋น, ๊ตฌ๋ฆฌ, ์ฒ ๊ฐ, ๋ณ์๊ธฐ, HBM, advanced packaging ๊ฐ์ ๋ณ๋ชฉ์ด ๋ํ๋ ์ ์์ต๋๋ค.
- ์์ฅยท๊ฑฐ์ ์ํฅ: ๊ด๋ จ ๊ธฐ์ ์ค์ ๊ธฐ๋, ์๋ณธ์ฌ ์์, ์ ๋ ฅ ๊ฐ๊ฒฉ, ๊ธ๋ฆฌยท๋ฌผ๊ฐ ๋ ผ์๊น์ง ์ด์ด์ง ์ ์์ต๋๋ค.
์ฌ๊ธฐ์ ์ค์ํ ์ ์ capex๊ฐ ๋งค์ถ๊ณผ ๋ค๋ฅด๊ฒ ์์ง์ธ๋ค๋ ๊ฒ์ ๋๋ค. ์ค๋น ํฌ์๋ ๋จผ์ ๋์ ์ฐ๊ณ ๋์ค์ ์ฌ์ฉ๋๊ณผ ์์ต์ผ๋ก ํ์ํด์ผ ํฉ๋๋ค. ๊ทธ๋์ AI capex cycle์ ์ฑ์ฅ ๊ธฐ๋์ ๊ณผ์ํฌ์ ์ํ์ ๋์์ ํ์ต๋๋ค.
์ ์ค์ํ๊ฐ
1. AI ํฌ์๋ ์ํํธ์จ์ด๋ง์ ์ด์ผ๊ธฐ๊ฐ ์๋๋ค
AI๋ฅผ ์์ ์ํํธ์จ์ด ํ์ ์ผ๋ก๋ง ๋ณด๋ฉด ๋ฌผ๋ฆฌ์ ๋ณ๋ชฉ์ ๋์น๊ธฐ ์ฝ์ต๋๋ค. ๋ํ ๋ชจ๋ธ์ ํ์ต์๋ ๋ง์ ์์์ด ํ์ํ๊ณ , ์ค์ ์ ํ์ด ๋๋ฉด inference ํธ์ถ์ด ๋งค์ผ ๋์ ๋ฉ๋๋ค. ์ฌ์ฉ๋์ด ๋์๋ก chip, memory, networking, cooling, ์ ๋ ฅ ๊ณ์ฝ์ด ๋น์ฉ ๊ตฌ์กฐ์ ์ค์ฌ์ผ๋ก ์ฌ๋ผ์ต๋๋ค.
NVIDIA๊ฐ inference software stack์ cost per token, dollar per watt, latency target ๊ฐ์ ์ธ์ด๋ก ์ค๋ช ํ๋ ๊ฒ๋ ์ด ๋๋ฌธ์ ๋๋ค. AI ์ธํ๋ผ ๊ฒฝ์์ โ๊ฐ์ฅ ๋น ๋ฅธ chipโ๋ง์ด ์๋๋ผ โ์ ์ฉํ token์ ์ผ๋ง๋ ์ธ๊ณ ์์ ์ ์ผ๋ก ๊ณต๊ธํ๋๊ฐโ์ ๋ฌธ์ ๊ฐ ๋ฉ๋๋ค.
2. ์์ฅ์ ์ํ ๋ฒ์๊ฐ ๋์ด์ง๋ค
AI capex๊ฐ ์ปค์ง๋ฉด ์ํ๋ ๋ํ AI ํ๋ซํผ๊ณผ ๋ฐ๋์ฒด ๊ธฐ์ ์๋ง ๋จธ๋ฌผ์ง ์์ ์ ์์ต๋๋ค. ๋ฐ์ดํฐ์ผํฐ ๋ถํ, ์ ๋ ฅ ์ค๋น, ๋๊ฐ, ๊ฑด์ค, ์ ํธ๋ฆฌํฐ, ๋คํธ์ํฌ ์ฅ๋น, ๋ฉ๋ชจ๋ฆฌ, ์์ฌ, ์๋ํ ์ฅ๋น๊น์ง ๊ธฐ๋๊ฐ ๋ฒ์ง ์ ์์ต๋๋ค.
์ด๊ฒ์ด Today ๋ธ๋ฆฌํ์์ small-cap, ์ ํธ๋ฆฌํฐ, ์๋ณธ์ฌ, ๋ฉ๋ชจ๋ฆฌ, ์ ๋ ฅ ์ธํ๋ผ narrative๋ฅผ ํจ๊ป ๋ณธ ์ด์ ์ ๋๋ค. ๋ค๋ง โAI์ ๊ด๋ จ ์๋คโ๋ ๋ง๋ง์ผ๋ก ๋ชจ๋ ๊ธฐ์ ์ด ์ํ๋ฅผ ๋ฐ๋ ๊ฒ์ ์๋๋๋ค. ์ค์ ๋งค์ถ ์ฐ๊ฒฐ, ๋ณ๋ชฉ ์์น, ๊ฐ๊ฒฉ ๊ฒฐ์ ๋ ฅ, ์ฆ์ค ์์ , ๊ณ ๊ฐ ์ง์ค๋๋ฅผ ๋ฐ๋ก ํ์ธํด์ผ ํฉ๋๋ค.
3. ๊ธ๋ฆฌ์ ๋ฌผ๊ฐ ๋ ผ์๋ก ์ด์ด์ง ์ ์๋ค
AI๊ฐ ์์ฐ์ฑ์ ๋์ด๋ฉด ์ฅ๊ธฐ์ ์ผ๋ก ๋ฌผ๊ฐ ์๋ ฅ์ ๋ฎ์ถ ์ ์๋ค๋ ์ฃผ์ฅ์ด ์์ต๋๋ค. ํ์ง๋ง ๋จ๊ธฐยท์ค๊ธฐ์๋ ๋ฐ์ดํฐ์ผํฐ, ์ ๋ ฅ๋ง, ์ฅ๋น, ๊ฑด์ค ํฌ์๊ฐ ๋๋ฉด์ ์๋ณธ์ฌ์ ์ ๋ ฅ ์์๋ฅผ ์๊ทนํ ์ ์์ต๋๋ค.
๊ทธ๋์ AI capex cycle์ ์ค์์ํ๊ณผ ์์ฅ์ ๊ด์ฌ์ฌ๊ฐ ๋ ์ ์์ต๋๋ค. โAI๊ฐ ์์ฐ์ฑ์ ๋์ธ๋คโ์ โAI ์ค๋นํฌ์๊ฐ ๋ฌผ๊ฐยท๊ธ๋ฆฌยท์ ๋ ฅ ์์๋ฅผ ์๊ทนํ๋คโ๋ ์ด์ผ๊ธฐ๋ ์๋ก ๋ชจ์์ด๋ผ๊ธฐ๋ณด๋ค ์๊ฐ์ถ์ด ๋ค๋ฅธ ๋ ํจ๊ณผ์ผ ์ ์์ต๋๋ค.
4. ๊ณต๊ธ๋ง ๋ณ๋ชฉ์ด ํต์ฌ ๋ณ์๊ฐ ๋๋ค
AI ์ธํ๋ผ๋ ๊ณ ์ฑ๋ฅ chip๋ง์ผ๋ก ์์ฑ๋์ง ์์ต๋๋ค. HBM, advanced packaging, optical networking, switchgear, transformer, grid interconnection, cooling, ์ ๋ ฅ ๊ตฌ๋งค ๊ณ์ฝ, ๊ฑด์ค ํ๊ฐ ๊ฐ์ ์์๊ฐ ํจ๊ป ๋ง์์ผ ํฉ๋๋ค.
RAND๊ฐ AI ๋ฐ์ดํฐ์ผํฐ ์ด์์ ํ์ํ critical electrical equipment์ ์ ๋ ฅ๋ง ๊ณต๊ธ๋ง ์ทจ์ฝ์ฑ์ ๋ค๋ฃฌ ๊ฒ๋ ๊ฐ์ ๋งฅ๋ฝ์ ๋๋ค. AI capex cycle์ ์ฝ์ ๋๋ โ๋๊ฐ ๋ ๋ง์ GPU๋ฅผ ์๋๊ฐโ๋ฟ ์๋๋ผ โ์ ๋ ฅ๊ณผ ์ฅ๋น๊ฐ ์ค์ ๋ก ์ ๋ ๋ถ๋๊ฐโ๋ฅผ ๋ด์ผ ํฉ๋๋ค.
์ค์ ์์
๋ฐ์ดํฐ์ผํฐ์ ์ ๋ ฅ ์ธํ๋ผ
AI ์๋น์ค ์ฌ์ฉ๋์ด ๋๋ฉด hyperscaler์ AI ๊ธฐ์ ์ ๋ ๋ง์ compute capacity๋ฅผ ํ๋ณดํ๋ ค ํฉ๋๋ค. ์ด๋ GPU ์๋ฒ๋ฅผ ์ฃผ๋ฌธํ๋ ๊ฒ๋ง์ผ๋ก๋ ์ถฉ๋ถํ์ง ์์ต๋๋ค. ์ ๋ ฅ ์์ , ๋ณ์๊ธฐ, ๋๊ฐ, rack density, networking, ๋ถ์ง์ ์ธํ๊ฐ๊ฐ ํจ๊ป ํ์ํฉ๋๋ค.
์ ๋ ฅ ์ธํ๋ผ๊ฐ ๋ฆ์ด์ง๋ฉด chip์ด ์์ด๋ ๋ฐ์ดํฐ์ผํฐ๊ฐ ๋ฐ๋ก ์ผ์ง์ง ์์ ์ ์์ต๋๋ค. ๋ฐ๋๋ก ์ ๋ ฅ๊ณผ ๋๊ฐ์ ํจ์จ์ ์ผ๋ก ํ๋ณดํ ์ฌ์ ์๋ ๊ฐ์ capex๋ก ๋ ๋ง์ token์ ๊ณต๊ธํ ์ ์์ต๋๋ค.
Inference ๋น์ฉ ๊ฒฝ์
LLM inference serving์์๋ ํ์ต๋ ๋ชจ๋ธ์ ๋งค ์์ฒญ๋ง๋ค ์คํํฉ๋๋ค. ์ฌ์ฉ๋์ด ๋์๋ก cost per token์ด ์ค์ํด์ง๋๋ค. ์ด ๋น์ฉ์ chip ๊ฐ๊ฒฉ๋ฟ ์๋๋ผ memory bandwidth, KV cache, batching, interconnect, scheduler, ์ ๋ ฅยท๋๊ฐ ๋น์ฉ๊น์ง ํฌํจํฉ๋๋ค.
Etched์ rack-scale inference system ์ธํฐ๋ทฐ๊ฐ ๋จ์ผ chip ์ฑ๋ฅ๋ณด๋ค rack-scale memory์ interconnect๋ฅผ ๊ฐ์กฐํ ๊ฒ๋ ์ด๋ฐ ๋น์ฉ ๊ตฌ์กฐ๋ฅผ ๊ฒจ๋ฅํ ์ฃผ์ฅ์ผ๋ก ๋ณผ ์ ์์ต๋๋ค. ๋ค๋ง ํ์ฌ ์ธํฐ๋ทฐ๋ ์ฃผ์ฅ์ด์ง ๊ฒ์ฆ ๊ฒฐ๊ณผ๊ฐ ์๋๋ฏ๋ก, ๋ ๋ฆฝ benchmark์ ๊ณ ๊ฐ ์ฌ๋ก๊ฐ ํ์ํฉ๋๋ค.
์์ฅ narrative ํ์ฐ
AI spending๊ณผ ์ค์ ๊ธฐ๋๊ฐ ๋ํ ๊ธฐ์ ์ฃผ์์ ์ถ๋ฐํด small-cap, ์ ํธ๋ฆฌํฐ, ์๋ณธ์ฌ, ์์์ฌ๋ก ํ์ฐ๋ ์ ์์ต๋๋ค. ํ์ง๋ง narrative ํ์ฐ์ ์ค์ ์ค์ ๋ณด๋ค ๋จผ์ ์์ง์ผ ๋๊ฐ ๋ง์ต๋๋ค. ๋ฐ๋ผ์ โAI capex ์ํโ๋ผ๋ ์ด๋ฆ์ด ๋ถ์ ๊ธฐ์ ์ ๋ณผ ๋๋ ๋ค์ ์ง๋ฌธ์ ํด์ผ ํฉ๋๋ค.
- AI ๋ฐ์ดํฐ์ผํฐ ํฌ์์ ๋งค์ถ์ด ์ง์ ์ฐ๊ฒฐ๋๋๊ฐ?
- ๋ณ๋ชฉ ๋ถํ์ด๋ ์๋น์ค์์ ๊ฐ๊ฒฉ ๊ฒฐ์ ๋ ฅ์ด ์๋๊ฐ?
- ์ฆ์ค๊ณผ ๋งค์ถ ์ธ์ ์ฌ์ด์ ์๊ฐ์ฐจ๋ ์ผ๋ง๋ ๋๋๊ฐ?
- capex๊ฐ ๊ณผ์ํฌ์๋ก ๋ฐ๋ ์ํ์ ์๋๊ฐ?
- ์ ๋ ฅยท์์์ฌยท๊ธ๋ฆฌ ๋น์ฉ ์์น์ด ์์ต์ฑ์ ๊น์ง๋ ์๋๊ฐ?
ํท๊ฐ๋ฆฌ์ง ๋ง์์ผ ํ ์
- AI capex๋ AI ๋งค์ถ๊ณผ ๊ฐ์ ๋ง์ด ์๋๋๋ค. Capex๋ ๋ฏธ๋ ์์๋ฅผ ๊ธฐ๋ํ๊ณ ๋จผ์ ์งํํ๋ ์ค๋น ํฌ์์ ๋๋ค. ์ฌ์ฉ๋๊ณผ ์์ต์ด ๋ค๋ฐ๋ฅด์ง ์์ผ๋ฉด ๊ณผ์ํฌ์๊ฐ ๋ ์ ์์ต๋๋ค.
- ๋ชจ๋ ์ ๋ ฅยท์์์ฌ ๋ด์ค๊ฐ ๊ณง AI ์ํ๋ ์๋๋๋ค. ์ฒ ๊ฐ, ๊ตฌ๋ฆฌ, ์ ๋ ฅ ์ฅ๋น๋ ์ฌ๋ฌ ์ฐ์ ์ ์ฐ์ ๋๋ค. AI์์ ์ฐ๊ฒฐ ๊ฒฝ๋ก๋ฅผ ํ์ธํด์ผ ํฉ๋๋ค.
- Productivity narrative์ inflation narrative๋ ์๊ฐ์ถ์ด ๋ค๋ฆ ๋๋ค. AI๊ฐ ์ฅ๊ธฐ ์์ฐ์ฑ์ ๋์ผ ์ ์์ด๋, ๋จ๊ธฐ ์ค๋นํฌ์๋ ์ ๋ ฅยท์ฅ๋นยท๊ฑด์ค ์์๋ฅผ ๋ฐ์ด ์ฌ๋ฆด ์ ์์ต๋๋ค.
- Cost per token์ chip ์ฑ๋ฅ๋ง์ผ๋ก ๊ฒฐ์ ๋์ง ์์ต๋๋ค. Memory, networking, software scheduler, ์ ๋ ฅ, ๋๊ฐ, utilization์ด ํจ๊ป ์๋ํฉ๋๋ค.
- ํฌ์ ํ๋จ์ ๋จ์ผ headline์ผ๋ก ํ๋ฉด ์ ๋ฉ๋๋ค. AI capex cycle์ ์ข์ ํ๋ ์์ด์ง๋ง, ๊ฐ๋ณ ๊ธฐ์ ์ ์ฌ๋ฌด, ๊ณ ๊ฐ, ๊ณต๊ธ๋ง, ๋ฐธ๋ฅ์์ด์ ์ ๋ฐ๋ก ๋ด์ผ ํฉ๋๋ค.