๋‹ค๋ณ€์ˆ˜ ํ™•๋ฅ  ๋ถ„ํฌ์˜ ๋ณต์žก์„ฑ

  • ๊ธฐ๊ณ„ ํ•™์Šต ์•Œ๊ณ ๋ฆฌ์ฆ˜์„ ํ™•๋ฅ  ๋ถ„ํฌ๋กœ ์ƒ๊ฐํ•ด๋ณด์ž.
  • ๊ต‰์žฅํžˆ ๋งŽ์€ ํ™•๋ฅ  ๋ณ€์ˆ˜๊ฐ€ ๊ด€์—ฌํ•จ์—๋„, ๋น„๊ต์  ์ ์€ ์ˆ˜์˜ ๋ณ€์ˆ˜๋“ค๋งŒ ์„œ๋กœ๊ฐ„์˜ ์ง์ ‘์ ์ธ ์ƒํ˜ธ์ž‘์šฉ์„ ๊ฐ–๋Š”๋‹ค.
    • ์ฆ‰, ๋Œ€๋ถ€๋ถ„์€ ๋…๋ฆฝ์ ์ธ ํ™•๋ฅ ๋ณ€์ˆ˜์ด๊ณ , ๋ช‡๋ช‡๋งŒ ์ข…์†์ ์ด๋‹ค.
  • ์ด๋Ÿฌํ•œ ํŠน์ด์„ฑ์„ ๊ฐ€์ง์—๋„ ํ™•๋ฅ ๋ถ„ํฌ๋ฅผ ํ•˜๋‚˜์˜ ํ•จ์ˆ˜๋กœ ๋‚˜ํƒ€๋‚ด๋Š” ๊ฒƒ์€ ๋งค์šฐ ๋น„ํšจ์œจ์ ์ด๋‹ค.
  • ์˜ˆ๋ฅผ ๋“ค์–ด, ํ™•๋ฅ  ๋ณ€์ˆ˜ a, b, c๊ฐ€ ์žˆ๋‹คํ•˜์ž.
    • a โ†’ b: B๋Š” A์— ์ข…์†
    • b โ†’ c: C๋Š” B์— ์ข…์†
    • a, b๋Š” ๋…๋ฆฝ
    • b, c๋Š” ๋…๋ฆฝ
  • ์œ„์™€ ๊ฐ™์€ ์ƒํ™ฉ์—์„œ ๋Š” ๋‹ค์Œ๊ณผ ๊ฐ™์ด ํ‘œํ˜„๋œ๋‹ค.
    • Chain Rule๊ณผ ๋…๋ฆฝ ์‚ฌ๊ฑด์˜ ์›๋ฆฌ๋ฅผ ์‚ฌ์šฉํ•˜๋ฉด ๋œ๋‹ค.
  • ์œ„์™€ ๊ฐ™์ด ๋‹ค๋ณ€์ˆ˜ ๋ถ„ํฌ๋ฅผ ์ธ์ˆ˜๋ถ„ํ•ดํ•  ๊ฒฝ์šฐ, Parameter์˜ ๊ฐœ์ˆ˜๋ฅผ ์ค„์ผ ์ˆ˜ ์žˆ๋‹ค.
    • ํ™•๋ฅ  ๋ณ€์ˆ˜์˜ ๊ฐœ์ˆ˜๊ฐ€ ์ค„์–ด๋“ค๋ฉด, ํ•ด๋‹น ํ™•๋ฅ  ๋ณ€์ˆ˜๋ฅผ ์‚ฌ์šฉํ•˜๋Š” ๋ถ„ํฌ์˜ Parameter๋ฅผ ์ ๊ฒŒ ์“ธ ์ˆ˜ ์žˆ๋‹ค.
    • ์—์„œ ์‚ฌ์šฉํ•˜๋Š” Parameter๋ณด๋‹ค ๋ฅผ ์„œ์ˆ ํ•  ๋•Œ ํ•„์š”ํ•œ Parameter๊ฐ€ ๋‹น์—ฐํžˆ ์ ๊ฒŒ ํ•„์š”ํ•˜๋‹ค.
  • ๊ฐ ์ธ์ˆ˜๊ฐ€ ์‚ฌ์šฉํ•˜๋Š” Parameter๋“ค์˜ ๊ฐœ์ˆ˜๋Š” ๊ทธ ์ธ์ˆ˜์— ์žˆ๋Š” ๋ณ€์ˆ˜ ๊ฐœ์ˆ˜์˜ ๊ณฑ์— ๋น„๋ก€ํ•œ๋‹ค. 

Parameter๊ฐœ์ˆ˜๊ฐ€ ๊ธ‰์ฆํ•˜๋Š” ์ด์œ 

    • ๋ณ€์ˆ˜ ์— ๋Œ€ํ•œ ํ™•๋ฅ .
    • ์˜ˆ๋ฅผ ๋“ค์–ด, a ๊ฐ€ ์ด์‚ฐํ˜• ๋ณ€์ˆ˜๋กœ ๊ฐœ์˜ ์ƒํƒœ๋ฅผ ๊ฐ€์งˆ ์ˆ˜ ์žˆ๋‹ค๋ฉด, ์ด ํ™•๋ฅ ์„ ์ •์˜ํ•˜๊ธฐ ์œ„ํ•ด ๊ฐœ์˜ ๋งค๊ฐœ๋ณ€์ˆ˜๊ฐ€ ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค.
    • ํ˜น์€ ์—ฐ์†ํ˜• ๋ณ€์ˆ˜๋ผ๊ณ  ํ•˜๋”๋ผ๋„, ์–ด๋–ค ๋ถ„ํฌ๋ฅผ ์“ฐ๋ƒ์— ๋”ฐ๋ผ ํŒŒ๋ผ๋ฏธํ„ฐ์˜ ๊ฐœ์ˆ˜๋Š” ๋‹ฌ๋ผ์งˆ ์ˆ˜ ์žˆ๋‹ค.
    • ์ด๋Š” ์˜ ์ƒํƒœ์— ๋”ฐ๋ผ ์˜ ํ™•๋ฅ ์ด ๋‹ฌ๋ผ์ง€๋Š” ์กฐ๊ฑด๋ถ€ ํ™•๋ฅ ์ด๋‹ค.
    • ๋งŒ์•ฝ ๊ฐ€ ๊ฐœ์˜ ์ƒํƒœ๋ฅผ ๊ฐ€์งˆ ์ˆ˜ ์žˆ๊ณ ,
    • ๊ฐ€ ๊ฐœ์˜ ์ƒํƒœ๋ฅผ ๊ฐ€์งˆ ์ˆ˜ ์žˆ๋‹ค๋ฉด, ๋Š” ๊ฐ ์˜ ์ƒํƒœ์— ๋Œ€ํ•ด ์˜ ํ™•๋ฅ ์„ ์ •์˜ํ•ด์•ผ ํ•œ๋‹ค.
    • ๋”ฐ๋ผ์„œ ์ด ๊ฒฝ์šฐ ํ•„์š”ํ•œ ๋งค๊ฐœ๋ณ€์ˆ˜์˜ ์ˆ˜๋Š” ๋‹ค.
    • ๊ฐ ์ƒํƒœ์— ๋Œ€ํ•ด l-1 ๊ฐœ์˜ ๋งค๊ฐœ๋ณ€์ˆ˜๋ฅผ ๊ฐ€์ง€๋‹ˆ๊นŒ, ๋ชจ๋“  ์ƒํƒœ์—์„œ ๊ฑฐ๋“ญ ์ œ๊ณฑ์ฒ˜๋Ÿผ ์ฆ๊ฐ€ํ•ฉ๋‹ˆ๋‹ค.
    • ๋งˆ์ฐฌ๊ฐ€์ง€๋กœ ์˜ ์ƒํƒœ์— ๋”ฐ๋ผ ์˜ ํ™•๋ฅ ์ด ๋‹ฌ๋ผ์ง„๋‹ค.
    • ๊ฐ€ ๊ฐœ์˜ ์ƒํƒœ๋ฅผ, ๊ฐ€ ๊ฐœ์˜ ์ƒํƒœ๋ฅผ ๊ฐ€์งˆ ์ˆ˜ ์žˆ๋‹ค๋ฉด, ์ด ์กฐ๊ฑด๋ถ€ ํ™•๋ฅ ์„ ํ‘œํ˜„ํ•˜๋ ค๋ฉด ๊ฐœ์˜ ๋งค๊ฐœ๋ณ€์ˆ˜๊ฐ€ ํ•„์š”ํ•˜๋‹ค.

๊ตฌ์กฐ์  ํ™•๋ฅ  ๋ชจํ˜•

  • ์ด๋Ÿฐ ์ธ์ˆ˜๋ถ„ํ•ด๋ฅผ Graph๋กœ ํ‘œํ˜„ํ•  ์ˆ˜ ์žˆ๋‹ค.
  • ๊ฐ ํ™•๋ฅ  ๋ณ€์ˆ˜๋ฅผ ๋…ธ๋“œ๋กœ, ํ™•๋ฅ  ๋ณ€์ˆ˜๊ฐ„์˜ ์ƒํ˜ธ์ž‘์šฉ์„ ๊ฐ„์„ ์œผ๋กœ ํ‘œํ˜„ํ•œ๋‹ค.

์œ ํ–ฅ ๊ทธ๋ž˜ํ”„

  • ์œ„์˜ ์—ฐ์‡„ ๋ฒ•์น™์„ ํ†ตํ•ด ๋‹ค๋ณ€์ˆ˜ ํ™•๋ฅ  ๋ถ„ํฌ๋ฅผ ์ชผ๊ฐฐ๋˜ ๊ฒƒ์„ ์ƒ๊ฐํ•ด๋ณด์ž.
  • ํŠน์ • ํ™•๋ฅ  ๋ณ€์ˆ˜๋Š”, ํ•ด๋‹น ๊ฐ’์ด ์žˆ๊ธฐ ์œ„ํ•œ ๋‹ค๋ฅธ ํ™•๋ฅ  ๋ณ€์ˆ˜์˜ ์กฐ๊ฑด๋ถ€ ํ™•๋ฅ ์ด๋‹ค.
  • ๋‹ค๋ฅธ ๋ง๋กœ ํ•˜๋ฉด ํ™•๋ฅ  ๋ณ€์ˆ˜์— ๋Œ€ํ•œ ๋ถ„ํฌ๋Š”, ๋ณธ์ธ์—๊ฒŒ ์˜ํ–ฅ์„ ์ฃผ๋Š”, ๋ถ€๋ชจ ํ™•๋ฅ  ๋ณ€์ˆ˜์— ๋Œ€ํ•œ ์กฐ๊ฑด๋ถ€ ํ™•๋ฅ ๋กœ ๊ณ„์‚ฐ๋œ๋‹ค.
  • ์— ์˜ํ–ฅ์„ ์ฃผ๋Š” ๋ถ€๋ชจ ํ™•๋ฅ  ๋ณ€์ˆ˜๋ฅผ ๋ผ๊ณ  ํ•˜์ž.
  • ๊ทธ๋ ‡๋‹ค๊ณ  ํ–ˆ์„ ๋•Œ, ํŠน์ • ๋ถ„ํฌ๋Š” ์•„๋ž˜์™€ ๊ฐ™์ด ํ‘œํ˜„๋œ๋‹ค.
  • ์–ด๋–ป๊ฒŒ ๋ณด๋ฉด ์—ฐ์‡„๋ฒ•์น™์˜ ํ‘œํ˜„์ด๋ผ๊ณ  ์ƒ๊ฐํ•  ์ˆ˜๋„ ์žˆ๊ฒ ๋‹ค.
  • ๊ทธ๋Ÿผ ๊ฐ„๋‹จํ•œ ์˜ˆ์‹œ๋ฅผ ๋ณด์ž.
  • ํ™•๋ฅ  ๋ณ€์ˆ˜ ๊ฐ€ ์žˆ๋‹ค๊ณ  ํ•˜์ž.
  • ๋ฅผ ์—ฐ์‡„๋ฒ•์น™์„ ์จ์„œ ์ชผ๊ฐœ๋ ค๊ณ  ํ•˜๋ฉด, ๊ฐ ๋ณ€์ˆ˜๋“ค ์‚ฌ์ด์˜ ๊ด€๊ณ„๋ฅผ ์•Œ์•„์•ผ ํ•œ๋‹ค.
  • ์–ด์ฐŒ์ €์ฐŒ ์ชผ๊ฐ  ๊ฒฐ๊ณผ๊ฐ€ ์•„๋ž˜๋ผ๊ณ  ํ•˜์ž.
  • ์ด๋ฅผ ๊ทธ๋ž˜ํ”„์˜ ํ‘œํ˜„์œผ๋กœ ๋ฐ”๊พผ๋‹ค๋ฉด ์–ด๋–ป๊ฒŒ ๋ ๊นŒ?

IMG_0039.jpeg

  • ๊ต‰์žฅํžˆ ์ง๊ด€์ ์ด๋‹ค.
  • ์™€ ๋Š” ์ง์ ‘ ์ƒํ˜ธ์ž‘์šฉํ•˜์ง€๋งŒ, ์™€ ๋Š” ๋ฅผ ๊ฑฐ์ณ ๊ฐ„์ ‘์ ์œผ๋กœ ์ƒํ˜ธ์ž‘์šฉํ•œ๋‹ค.

๋ฌดํ–ฅ ๊ทธ๋ž˜ํ”„

  • ์œ ํ–ฅ ๊ทธ๋ž˜ํ”„์—์„œ ์ƒํ˜ธ์ž‘์šฉ์€ ์กฐ๊ฑด๋ถ€ ํ™•๋ฅ  ๋ถ„ํฌ๋กœ ํ•ด์„๋˜์—ˆ๋‹ค.
  • ์ฆ‰, ํ•œ ๋ณ€์ˆ˜์˜ ๊ฐ’์ด ๋‹ค๋ฅธ ๋ณ€์ˆ˜์— ์˜์กดํ•˜์—ฌ ๊ฒฐ์ •๋  ๋•Œ, ์กฐ๊ฑด๋ถ€ ํ™•๋ฅ  ๋ถ„ํฌ๋กœ ์ด ๊ด€๊ณ„๋ฅผ ์„ค๋ช…ํ–ˆ๋‹ค.
  • ๊ทธ๋ ‡๋‹ค๋ฉด ํ™•๋ฅ  ๋ณ€์ˆ˜ ์‚ฌ์ด์—๋Š” ํ•ด๋‹น ๊ด€๊ณ„๋งŒ ์žˆ๋Š” ๊ฒƒ์ธ๊ฐ€?
  • ์•„๋‹ˆ๋‹ค. ๋Œ€์นญ์ ์ด๊ณ  ์ƒํ˜ธ ์˜์กด์ ์ผ์ˆ˜๋„ ์žˆ๋‹ค. ๋˜ ๋‹จ์ˆœ ํ•จ์ˆ˜ ๊ด€๊ณ„๋กœ ์–ฝํ˜€์žˆ์„ ์ˆ˜๋„ ์žˆ๋‹ค.
  • ์˜ˆ๋ฅผ ๋“ค์–ด, ์™€ ๊ฐ™์€ ๊ด€๊ณ„๋„ ๊ฐ€๋Šฅํ•˜๊ณ , ์Œ๋ฐฉ์˜์กด ๊ด€๊ณ„๋„ ๊ฐ€๋Šฅํ•˜๋‹ค.
  • ์ด๋Ÿฌํ•œ ๊ด€๊ณ„๋ฅผ ํ‘œํ˜„ํ•˜๊ธฐ ์œ„ํ•ด ๋ฌดํ–ฅ ๊ทธ๋ž˜ํ”„์—์„œ๋Š” ๊ทธ๋ƒฅ ํ•จ์ˆ˜๋กœ ํ‘œํ˜„ํ•˜๋Š” ๊ฒฝ์šฐ๊ฐ€ ๋งŽ๋‹ค.
  • ์ž, ๊ทธ๋Ÿผ ํŠน์ • ์˜ˆ์‹œ๋ฅผ ๋‘๊ณ  ๋ฌดํ–ฅ ๊ทธ๋ž˜ํ”„์—์„œ์˜ ํ™•๋ฅ  ๋ถ„ํฌ๋ฅผ ๊ณ„์‚ฐํ•ด๋ณด์ž.

IMG_0040.jpeg

  • ์œ„์˜ ๊ทธ๋ž˜ํ”„์—์„œ ๋ฅผ ๊ณ„์‚ฐํ•ด๋ณด์ž.
  • ์—ฌ๊ธฐ์„œ ํŒŒ๋ฒŒ(Clique)๋ผ๋Š” ๊ฐœ๋…์„ ์‚ฌ์šฉํ•˜๋ฉด ๊ณ„์‚ฐ์ด ๋งค์šฐ ์œ ์šฉํ•˜๋‹ค.
  • ๋ฅผ ํŒŒ๋ฒŒ๋กœ ๋ฌถ์–ด๋ณด์ž.
  • ์ด ๊ฐ๊ฐ์˜ Clique์—๋Š” ์–ฝํžˆ๋Š” ํ™•๋ฅ  ๋ณ€์ˆ˜๊ฐ„์˜ ํ•จ์ˆ˜์™€ ์—ฐ๊ด€๋œ๋‹ค. ()
  • ์ด ๊ด€๊ณ„๋ฅผ ํ†ตํ•ด, ๊ฐ ํ™•๋ฅ  ๋ณ€์ˆ˜๋ผ๋ฆฌ์˜ ๊ณฑ๊ณผ ๊ฐ™์€ ๋ฐฉ์‹์œผ๋กœ ๋ฅผ ๊ณ„์‚ฐํ•˜์ง€ ์•Š๊ณ , Clique๋ฅผ ํ†ตํ•ด ๋ฅผ ๊ณ„์‚ฐํ•  ์ˆ˜ ์žˆ๋‹ค.
  • ํ•˜์ง€๋งŒ Clique๋ผ๋ฆฌ ๊ณ„์‚ฐํ•œ๋‹ค๊ณ  ํ–ˆ์„ ๋•Œ, ๋ฌธ์ œ๊ฐ€ ์žˆ๋‹ค.
  • ์ด๊ฑด ์•ž์„œ ๋งํ•œ ์œ ํ–ฅ ๊ทธ๋ž˜ํ”„์—์„œ์™€ ๊ฐ™์ด ๊ด€๊ณ„๊ฐ€ ์กฐ๊ฑด๋ถ€ ํ™•๋ฅ ๋กœ ์ •์˜๋˜์ง€ ์•Š์•˜๊ธฐ ๋•Œ๋ฌธ์—, ์ตœ์ข… ์˜ ์น˜์—ญ์˜ ๋ฒ”์œ„๋ฅผ ๋งž์ถฐ์ฃผ๊ธฐ ์œ„ํ•ด ์ •๊ทœํ™”๊ฐ€ ํ•„์š”ํ•˜๋‹ค.
    • ์˜ ์น˜์—ญ์€ \[0, 1\]์ด๋‹ค. (ํ™•๋ฅ ์ด๋‹ˆ๊นŒ)
  • ์ด ๋ชจ๋“  ๋‚ด์šฉ์„ ์ •๋ฆฌํ•˜๋ฉด ์•„๋ž˜์™€ ๊ฐ™๋‹ค.

๊ทธ๋ž˜ํ”„ ํ‘œํ˜„์˜ ์ด์ 

  • ๊ทธ๋ž˜ํ”„ ํ‘œํ˜„์€ ํ™•๋ฅ  ๋ณ€์ˆ˜๋ฅผ ํ‘œํ˜„ํ•˜๋Š” ํ•˜๋‚˜์˜ ๋ฐฉ๋ฒ•์ด๋‹ค.
  • ํ™•์‹คํžˆ ์ง๊ด€์ ์œผ๋กœ ์ดํ•ดํ•˜๊ธฐ ์‰ฝ๋‹ค.