Skip to content

kookmin-sw/capstone-2025-31

Folders and files

NameName
Last commit message
Last commit date

Latest commit

ย 

History

21 Commits
ย 
ย 
ย 
ย 
ย 
ย 
ย 
ย 
ย 
ย 
ย 
ย 
ย 
ย 
ย 
ย 
ย 
ย 
ย 
ย 

Repository files navigation

๐Ÿ›ก๏ธ EV-DLP : ์ž„๋ฒ ๋”ฉ ๋ฒกํ„ฐ ๊ธฐ๋ฐ˜ ๋ฐ์ดํ„ฐ ์œ ์ถœ ๋ฐฉ์ง€ ์†”๋ฃจ์…˜

๐Ÿซ 2025ํ•™๋…„๋„ ๊ตญ๋ฏผ๋Œ€ํ•™๊ต ์†Œํ”„ํŠธ์›จ์–ด์œตํ•ฉ๋Œ€ํ•™ ๋‹คํ•™์ œ๊ฐ„์บก์Šคํ†ค๋””์ž์ธ
๐Ÿ‘ฅ ํŒ€ 31 VIGILANT

๐Ÿ”– ๋ชฉ์ฐจ

๐Ÿ™Œ ํ”„๋กœ์ ํŠธ ์†Œ๊ฐœ

๐Ÿ› ๏ธ ์‚ฌ์šฉ ๊ธฐ์ˆ 



๐Ÿ–ผ๏ธ ํ™๋ณด ํฌ์Šคํ„ฐ

๐ŸŽจ ํŒ€-31-ํฌ์Šคํ„ฐ

๐Ÿ”– ํ”„๋กœ์ ํŠธ ๊ฐœ์š”

ํ”„๋กœ์ ํŠธ ๊ฐœ์š”

๋ณธ ํ”„๋กœ์ ํŠธ๋Š” ์ƒ์„ฑํ˜• AI ๊ธฐ๋ฐ˜ ๋ณด์•ˆ ๊ธฐ์ˆ  EV-DLP (Embedding Vector-based Data Leakage Prevention) ์•Œ๊ณ ๋ฆฌ์ฆ˜๊ณผ Web ํ”Œ๋žซํผ์„ ๊ฐœ๋ฐœํ•œ ๊ฒƒ์ž…๋‹ˆ๋‹ค. ๊ธฐ์กด์˜ ํ‚ค์›Œ๋“œ ๊ธฐ๋ฐ˜ ๋ณด์•ˆ ํ•œ๊ณ„๋ฅผ ๋„˜์–ด, ๋ฌธ์žฅ์˜ ์˜๋ฏธ๋ก ์  ์œ ์‚ฌ๋„๋ฅผ ๋ถ„์„ํ•ด ๊ธฐ๋ฐ€ ์ •๋ณด ์œ ์ถœ์„ ์ •๋ฐ€ํ•˜๊ฒŒ ํƒ์ง€ํ•ฉ๋‹ˆ๋‹ค.

  • EV-DLP ์•Œ๊ณ ๋ฆฌ์ฆ˜์€ Sentence-BERT[1]๋ฅผ ํ™œ์šฉํ•ด ๋ฌธ์žฅ์„ ๋ฒกํ„ฐ๋กœ ๋ณ€ํ™˜ํ•˜๊ณ , Vector DB์— ์ €์žฅํ•œ ๋’ค ์ฝ”์‚ฌ์ธ ์œ ์‚ฌ๋„๋ฅผ ์ด์šฉํ•ด ์œ ์‚ฌ ๋ฌธ์žฅ์„ ํƒ์ƒ‰ํ•ฉ๋‹ˆ๋‹ค.

  • ๋‹จ์ˆœํ•œ ํ‚ค์›Œ๋“œ ๋งค์นญ์ด ์•„๋‹Œ, ๋ฌธ๋งฅ๊ณผ ์˜๋ฏธ๋ฅผ ์ดํ•ด ํ•˜๋Š” ๋ฐฉ์‹์œผ๋กœ ์ž‘๋™ํ•˜๊ธฐ ๋•Œ๋ฌธ์— ๊ธฐ์กด ํ˜•ํƒœ๋ก ์  ์œ ์‚ฌ๋„์˜ ํ•œ๊ณ„์ ์„ ๊ทน๋ณตํ•˜์˜€์Šต๋‹ˆ๋‹ค.

  • ์›น ํ”Œ๋žซํผ์„ ํ†ตํ•ด ์‚ฌ์šฉ์ž๋Š” ๊ธฐ๋ฐ€ ๋ฌธ์„œ๋ฅผ ๋“ฑ๋กํ•˜๊ณ , ์œ ์ถœ ์—ฌ๋ถ€๋ฅผ ์‹œ๊ฐํ™”๋œ ๋Œ€์‹œ๋ณด๋“œ๋กœ ํ™•์ธํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

  • ์‹ค์‹œ๊ฐ„ ํƒ์ง€ ๋ฐ ์œ„ํ—˜ ๋ถ„๋ฅ˜ ๊ธฐ๋Šฅ๋„ ์ œ๊ณต๋˜์–ด, ๋ณด์•ˆ ๋‹ด๋‹น์ž๊ฐ€ ํšจ๊ณผ์ ์œผ๋กœ ๋Œ€์‘ํ•  ์ˆ˜ ์žˆ๋„๋ก ์ง€์›ํ•ฉ๋‹ˆ๋‹ค.

์ด ํ”„๋กœ์ ํŠธ๋ฅผ ํ†ตํ•ด ๊ธฐ์กด ์ƒ์„ฑํ˜• AI๋ฅผ ํ†ตํ•œ ๊ธฐ๋ฐ€ ์œ ์ถœ ์œ„ํ—˜์„ ์‹ค์งˆ์ ์œผ๋กœ ๋ฐฉ์–ดํ•  ์ˆ˜ ์žˆ๋Š” ์‹œ์Šคํ…œ์˜ ๊ฐ€๋Šฅ์„ฑ์„ ์ œ์‹œ ํ•˜๋ฉฐ, ์‹ค์ œ ์กฐ์ง ํ™˜๊ฒฝ์— ์ ์šฉ ๊ฐ€๋Šฅํ•œ ์‹ค์šฉ์„ฑ๊ณผ ํ™•์žฅ์„ฑ์„ ์ œ๊ณตํ•˜๋Š” ๋ณด์•ˆ ์†”๋ฃจ์…˜์„ ๊ตฌํ˜„ ํ•˜์˜€์Šต๋‹ˆ๋‹ค.

๐Ÿงช ์—ฐ๊ตฌ ๋ฐฐ๊ฒฝ

์ถ”์ง„ ๋ฐฐ๊ฒฝ ๋ฐ ํ•„์š”์„ฑ

์ตœ๊ทผ ์ „ ์‚ฐ์—…๊ตฐ์—์„œ ์ƒ์„ฑํ˜• AI(Generative AI)์˜ ๋„์ž… ๋ฐ ํ™œ์šฉ์ด ํญ๋ฐœ์ ์œผ๋กœ ์ฆ๊ฐ€ ํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค.

  • 2024๋…„ McKinsey Global Survey on AI์— ๋”ฐ๋ฅด๋ฉด, ์ƒ์„ฑํ˜• AI๋ฅผ ์‹ค์ œ๋กœ ์‚ฌ์šฉํ•˜๊ณ  ์ž‡๋Š” ์‘๋‹ต์ž์˜ ๋น„์œจ์€ 72%์— ๋‹ฌํ•˜๋ฉฐ, ๊ธฐ์—… ์ฐจ์›์—์„œ ํ•ด๋‹น ๊ธฐ์ˆ ์„ ๋„์ž…ํ•œ ๋น„์œจ ๋˜ํ•œ ๋™์ผํ•˜๊ฒŒ 72%๋กœ ์ง‘๊ณ„๋˜์—ˆ์Šต๋‹ˆ๋‹ค.[2] ์ด๋Š” ์ œ์กฐ, ๊ธˆ์œต, ์˜๋ฃŒ, ๊ต์œก, IT ๋“ฑ ๋‹ค์–‘ํ•œ ๋ถ„์•ผ์—์„œ ์ƒ์„ฑํ˜• AI๊ฐ€ ์—…๋ฌด ์ž๋™ํ™”, ๋ฌธ์„œ ์ž‘์„ฑ, ์ฝ”๋“œ ์ƒ์„ฑ, ๊ณ ๊ฐ ์‘๋Œ€ ๋“ฑ ์—ฌ๋Ÿฌ ์ธก๋ฉด์—์„œ ์—…๋ฌด ํšจ์œจ์„ฑ๊ณผ ํŽธ์˜์„ฑ ํ–ฅ์ƒ์„ ์ด๋„๋Š” ํ•ต์‹ฌ ๊ธฐ์ˆ ๋กœ ์ž๋ฆฌ๋งค๊น€ํ•˜๊ณ  ์žˆ์Œ์„ ์‹œ์‚ฌํ•ฉ๋‹ˆ๋‹ค.

  • ๊ทธ๋Ÿฌ๋‚˜ ์ƒ์„ฑํ˜• AI์˜ ์‚ฌ์šฉ ํ™•๋Œ€์™€ ํ•จ๊ป˜ ๊ธฐ๋ฐ€ ์œ ์ถœ์— ๋Œ€ํ•œ ์‹ฌ๊ฐํ•œ ๋ณด์•ˆ ๋ฌธ์ œ ๋˜ํ•œ ๋ถ€๊ฐ๋˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ์ƒ์„ฑํ˜• AI์€ ์‚ฌ์šฉ์ž๊ฐ€ ์ž…๋ ฅํ•œ ์งˆ์˜(Query)๋‚˜ ๋Œ€ํ™” ๋‚ด์šฉ ์ผ๋ถ€๋ฅผ ๋ชจ๋ธ์˜ ํ•™์Šต ๋ฐ ํ’ˆ์งˆ ๊ฐœ์„ ์„ ์œ„ํ•œ ๋ฐ์ดํ„ฐ๋กœ ํ™œ์šฉํ•  ์ˆ˜ ์žˆ๋Š” ๊ตฌ์กฐ๋ฅผ ๊ฐ€์ง€๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ์ด๋กœ ์ธํ•ด, ์กฐ์ง ๋‚ด๋ถ€์˜ ๊ธฐ๋ฐ€ ์ •๋ณด๊ฐ€ ์™ธ๋ถ€๋กœ ์œ ์ถœ๋˜๋Š” ์‚ฌ๋ก€๊ฐ€ ์ ์  ์ฆ๊ฐ€ ํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค.

  • ์‹ค์ œ ์‚ฌ๋ก€๋กœ, 2023๋…„ 3์›” 11์ผ ์‚ผ์„ฑ์ „์ž์˜ ๋ฐ˜๋„์ฒด ์„ค๋น„ ๊ด€๋ จ ๋ฐ์ดํ„ฐ(๊ณ„์ธก ์ •๋ณด, ์ˆ˜์œจ, ๋ถˆ๋Ÿ‰๋ฅ  ๋“ฑ)๊ฐ€ ์ƒ์„ฑํ˜• AI์— ์ž…๋ ฅ๋˜๋ฉด์„œ ๊ธฐ๋ฐ€ ์œ ์ถœ์ด ๋ฐœ์ƒ ํ•˜์˜€๊ณ , ์ด์— ๋”ฐ๋ผ ์‚ผ์„ฑ์ „์ž๋Š” ๋‚ด๋ถ€์ ์œผ๋กœ ์ƒ์„ฑํ˜• AI ์‚ฌ์šฉ์„ ์ „๋ฉด ๊ธˆ์ง€ํ•˜๋Š” ์ •์ฑ…์„ ์‹œํ–‰ํ•œ ๋ฐ” ์žˆ์Šต๋‹ˆ๋‹ค. ์ด์™€ ์œ ์‚ฌํ•˜๊ฒŒ, ๊ธ€๋กœ๋ฒŒ ๋Œ€๊ธฐ์—…๋“ค ๋˜ํ•œ ๋‚ด๋ถ€ ๋ณด์•ˆ ๊ฐ€์ด๋“œ๋ผ์ธ์„ ๊ฐ•ํ™”ํ•˜๊ฑฐ๋‚˜, ํŠน์ • ์ง๋ฌด์— ๋Œ€ํ•ด ์ƒ์„ฑํ˜• AI ์‚ฌ์šฉ์„ ์ œํ•œํ•˜๋Š” ๋“ฑ ์ž„์‹œ๋ฐฉํŽธ์  ๋Œ€์‘์— ๊ทธ์น˜๋Š” ์‹ค์ •์ž…๋‹ˆ๋‹ค. ํ•˜์ง€๋งŒ ์ด๋Ÿฌํ•œ ๋Œ€์‘์ฑ…๋“ค์€ ์ •๋ณด ์œ ์ถœ์„ ์‚ฌ์ „์— ํƒ์ง€ํ•˜๊ฑฐ๋‚˜ ์ฐจ๋‹จํ•˜์ง€ ๋ชปํ•˜๋Š” ํ•œ๊ณ„๋ฅผ ์ง€๋‹ˆ๊ณ  ์žˆ์–ด, ๊ถ๊ทน์ ์ธ ํ•ด๊ฒฐ์ฑ…์œผ๋กœ ๋ณด๊ธฐ๋Š” ์–ด๋ ต์Šต๋‹ˆ๋‹ค.

  • ๊ณผ๊ฑฐ์˜ ์ •๋ณด ์œ ์ถœ ๋ฐฉ์ง€ ์‹œ์Šคํ…œ์œผ๋กœ๋Š” Copykiller์™€ ๊ฐ™์ด ํ˜•ํƒœ๋ก ์  ์œ ์‚ฌ๋„๋ฅผ ๊ธฐ๋ฐ˜์œผ๋กœ ํ•˜์˜€์œผ๋‚˜, ์ด๋Š” ์‚ฌ์šฉ์ž ์งˆ์˜ ํŠน์„ฑ์ƒ ๊ธฐ๋ฐ€ ๋ฌธ์„œ์˜ ์›๋ณธ์ด ์•„๋‹Œ ๋‹จ์–ด์˜ ํ‘œํ˜„ ๋ฐฉ์‹์ด๋‚˜ ๋ฌธ์žฅ ๊ตฌ์กฐ๊ฐ€ ์žฌ๊ตฌ์„ฑ๋˜๊ณ  ์˜๋ฏธ ํ•จ์ถ•, ํ•ฉ์„ฑ์ด ์ผ์–ด๋‚˜๋Š” ๋ฌธ์ œ์— ๋Œ€์‘ํ•˜๊ธฐ ์–ด๋ ต๋‹ค๋Š” ํ•œ๊ณ„ ๊ฐ€ ์žˆ์Šต๋‹ˆ๋‹ค.

  • ์ด๋ฅผ ํ•ด๊ฒฐํ•˜๊ธฐ ์œ„ํ•ด Transformer ๋ชจ๋ธ๊ณผ ๊ฐ™์ด ๋”ฅ๋Ÿฌ๋‹ ๊ธฐ๋ฐ˜ ์•Œ๊ณ ๋ฆฌ์ฆ˜์„ ์ ์šฉํ•  ์ˆ˜ ์žˆ์ง€๋งŒ, ์ด๋Ÿฌํ•œ ๋ฐฉ์‹์€ Fine-tuning๊ณผ ๊ฐ™์ด ํŠน์ • Task์— ๋งž๊ฒŒ ํ•™์Šตํ•˜๋Š” ๊ณผ์ •์—์„œ ๋งŽ์€ ํ•˜๋“œ์›จ์–ด ์ž์›๊ณผ ์‹œ๊ฐ„ ์†Œ๋ชจ๊ฐ€ ์ด๋ค„์ง„๋‹ค๋Š” ์ ๊ณผ ์‚ฌ์šฉ์ž ์งˆ์˜ ๊ฒ€์‚ฌ ์‹œ, ์‹œ๊ฐ„ ์†Œ๋ชจ๊ฐ€ ๊ทน์‹ฌํ•˜๋‹ค๋Š” ํ•œ๊ณ„์  ์„ ๊ฐ€์ง€๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค.

  • ๊ธฐ๋ฐ€ ์œ ์ถœ ํƒ์ง€ ๊ฒฐ๊ณผ๋ฅผ ๋ณด์•ˆ ๋‹ด๋‹น์ž๊ฐ€ ์ง๊ด€์ ์œผ๋กœ ํ™•์ธํ•˜๊ณ  ๋Œ€์‘ํ•  ์ˆ˜ ์žˆ๋Š” ์‹œ์Šคํ…œ์˜ ํ•„์š”์„ฑ ๋˜ํ•œ ๋ถ€๊ฐ ๋˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ์กฐ์ง ์ฐจ์›์˜ ๊ธฐ๋ฐ€ ์œ ์ถœ ๋ณด์•ˆ ์‚ฌ๊ณ ๋Š” ๋ง‰๋Œ€ํ•œ ์žฌ์ • ์†์‹ค๊ณผ ๊ธฐ์ˆ  ์†์‹ค์„ ์ดˆ๋ž˜ํ•  ์ˆ˜ ์žˆ์œผ๋ฏ€๋กœ, ์œ ์ถœ ํ†ต๊ณ„ ์ •๋ณด์™€ ์„ธ๋ถ€ ์ •๋ณด๋ฅผ ์ œ๊ณตํ•˜๋Š” ๊ฐ€์‹œ์ ์ด๊ณ  ์ฒด๊ณ„์ ์ด๋ฉฐ ํ™•์žฅ ๊ฐ€๋Šฅํ•œ ๋Œ€์‘ ์‹œ์Šคํ…œ์ด ํ•„์ˆ˜์ ์ž…๋‹ˆ๋‹ค.

์œ„์™€ ๊ฐ™์€ ๋ฌธ์ œ์ , ํ•œ๊ณ„์ ์„ ๊ทน๋ณตํ•˜๊ธฐ ์œ„ํ•ด ๋ณธ ํ”„๋กœ์ ํŠธ์—์„œ๋Š” ์ƒ์„ฑํ˜• AI์— ์ž…๋ ฅ๋˜๋Š” ์‚ฌ์šฉ์ž ์งˆ์˜ ์ค‘ ์กฐ์ง์˜ ๊ธฐ๋ฐ€ ์ •๋ณด๊ฐ€ ํฌํ•จ๋˜์–ด ์žˆ๋Š”์ง€๋ฅผ ์‹ค์‹œ๊ฐ„์œผ๋กœ ํƒ์ง€ํ•˜๋Š” ์‹œ์Šคํ…œ, EV-DLP ๊ฐœ๋ฐœ๊ณผ Web ํ”Œ๋žซํผ ๊ฐœ๋ฐœ์„ ๋ชฉํ‘œ๋กœ ํ•˜์˜€์Šต๋‹ˆ๋‹ค.

๐Ÿ”ฅ ํ”„๋กœ์ ํŠธ ๋ชฉํ‘œ

๋‚ด๋ถ€ ์ •๋ณด ์œ ์ถœ ์œ„ํ—˜ ๊ฐ์ง€๋ฅผ ์œ„ํ•œ ์ƒ์„ฑํ˜• AI ๋ณด์•ˆ ๊ธฐ์ˆ ์€ ์•„๋ž˜์™€ ๊ฐ™์€ ๋ชฉํ‘œ๋ฅผ ๊ฐ€์ง‘๋‹ˆ๋‹ค. ํ”„๋กœ์ ํŠธ ๋ชฉํ‘œ ์œ„์˜ ํ”„๋กœ์ ํŠธ ๋ชฉํ‘œ๋ฅผ ์ด๋ฃจ๊ธฐ ์œ„ํ•ด ์„ธ๋ถ„ํ™”ํ•˜์—ฌ ๋‚ด์šฉ์„ ์ •๋ฆฌํ•œ ๊ฒฐ๊ณผ, ์•„๋ž˜์™€ ๊ฐ™์Šต๋‹ˆ๋‹ค.

  1. ๊ธฐ๋ฐ€ ๋ฌธ์„œ์™€ ์‚ฌ์šฉ์ž ์งˆ์˜ ๊ฐ„ ์˜๋ฏธ๋ก ์  ์œ ์‚ฌ๋„๋ฅผ ๊ธฐ๋ฐ˜์œผ๋กœ ๊ธฐ๋ฐ€ ์œ ์ถœ ํƒ์ง€ ๊ธฐ์ˆ ์„ ๊ฐœ๋ฐœํ•ฉ๋‹ˆ๋‹ค.

  2. ํ˜•ํƒœ๋ก ์  ์œ ์‚ฌ๋„์˜ ๋‚ฎ์€ ์ •ํ™•๋„์˜ ํ•œ๊ณ„์™€ ๋”ฅ๋Ÿฌ๋‹ ๊ธฐ๋ฐ˜ ์œ ์‚ฌ๋„ ํƒ์ง€ ๊ธฐ์ˆ ์˜ ์ž์› ์†Œ๋ชจ์˜ ํ•œ๊ณ„๋ฅผ ๊ทน๋ณตํ•œ ํƒ์ง€ ๊ธฐ์ˆ ์„ ๊ฐœ๋ฐœํ•ฉ๋‹ˆ๋‹ค.

  3. ์‚ฌ์šฉ์ž, ๊ด€๋ฆฌ์ž ํ”Œ๋žซํผ์„ Web ๊ธฐ๋ฐ˜์œผ๋กœ ๋…๋ฆฝ์ ์œผ๋กœ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.

  4. ๊ธฐ๋ฐ€ ์œ ์ถœ ํ˜„ํ™ฉ์„ ์‹œ๊ฐํ™”ํ•˜๊ณ  ์œ ์‚ฌํ•œ ๋ถ€๋ถ„์„ ์‹œ๊ฐ์ ์œผ๋กœ ๋ณด์—ฌ์ฃผ๋Š” ๊ธฐ์ˆ ์„ ๊ฐœ๋ฐœํ•ฉ๋‹ˆ๋‹ค.

  5. ์‚ฌ์šฉ์ž๊ฐ€ ์„ค์ •ํ•œ ์ •์ฑ…์— ์˜๊ฑฐํ•˜์—ฌ ๊ธฐ๋ฐ€ ์œ ์ถœ์„ ํƒ์ง€ํ•˜๊ณ , ๊ธฐ๋ฐ€ ์œ ์ถœ ์งˆ์˜์— ๋Œ€ํ•ด ์ฒ˜๋ฆฌํ•ฉ๋‹ˆ๋‹ค.

โš™๏ธ ์—ฐ๊ตฌ ๊ฐœ๋ฐœ ๋‚ด์šฉ

1. ์•Œ๊ณ ๋ฆฌ์ฆ˜ ๊ฐœ๋ฐœ ๋ฐ ์—ฐ๊ตฌ ์ˆ˜ํ–‰ ๋‚ด์šฉ
๋ณธ ํ”„๋กœ์ ํŠธ๋ฅผ ์ˆ˜ํ–‰ํ•จ์— ์žˆ์–ด ํ•ต์‹ฌ ๋ถ€๋ถ„์ธ ์˜๋ฏธ๋ก ์  ์œ ์‚ฌ๋„ ๊ธฐ๋ฐ˜ ๊ธฐ๋ฐ€ ์œ ์ถœ ํƒ์ง€ ๊ธฐ์ˆ ์„ ๊ฐœ๋ฐœํ•˜์˜€์Šต๋‹ˆ๋‹ค. ์•„๋ž˜ ๊ทธ๋ฆผ์€ ์˜๋ฏธ๋ก ์  ์œ ์‚ฌ๋„ ๊ธฐ๋ฐ˜ ๊ธฐ๋ฐ€ ์œ ์ถœ ํƒ์ง€ ๊ธฐ์ˆ ์˜ ์ „์ฒด ์•„ํ‚คํ…์ฒ˜๋ฅผ ์‹œ๊ฐํ™”ํ•œ ์ž๋ฃŒ์ž…๋‹ˆ๋‹ค. ์•Œ๊ณ ๋ฆฌ์ฆ˜ ๊ตฌ์กฐ๋„

์šฐ์„ , ์‚ฌ์ „์— ์ •์˜๋œ ๊ธฐ๋ฐ€ ๋ฌธ์„œ๋ฅผ ๋‹จ์–ด ๊ธฐ๋ฐ˜ Chunking ์•Œ๊ณ ๋ฆฌ์ฆ˜์„ ํ†ตํ•ด Chunk ๋‹จ์œ„๋กœ ๋ถ„๋ฆฌํ•˜์˜€์Šต๋‹ˆ๋‹ค. ๋‹จ์–ด ๊ธฐ๋ฐ˜ Chunking ์•Œ๊ณ ๋ฆฌ์ฆ˜์ด๋ž€, ์•„๋ž˜ ๊ทธ๋ฆผ๊ณผ ๊ฐ™์ด ์›๋ณธ ๋ฌธ์„œ๋ฅผ ๋‹จ์–ด ๋‹จ์œ„๋กœ ๋ถ„๋ฆฌํ•œ ๋‹ค์Œ, Sliding window ๋ฐฉ์‹์œผ๋กœ Chunk๋ฅผ ๋‚˜๋ˆ„๋Š” ์•Œ๊ณ ๋ฆฌ์ฆ˜์ž…๋‹ˆ๋‹ค. ํ•ด๋‹น ์•Œ๊ณ ๋ฆฌ์ฆ˜์„ ํ†ตํ•ด ์˜๋ฏธ๋ฅผ ๋”์šฑ ์„ธ๋ถ„ํ™”ํ•˜์—ฌ ์ •ํ™•ํ•œ ํƒ์ง€ ํšจ๊ณผ๋ฅผ ๋ณด์žฅํ•˜์˜€์Šต๋‹ˆ๋‹ค.

Word based chunking

์„ธ๋ถ„ํ™”๋œ Chunk์— ๋Œ€ํ•ด Sentence-BERT[1]๋ฅผ ํ†ตํ•˜์—ฌ ์•„๋ž˜ ๊ทธ๋ฆผ๊ณผ ๊ฐ™์ด ๊ณ ์ • ๊ธธ์ด์˜ ๊ณ ์ฐจ์› ๋ฒกํ„ฐ๋กœ ๋ณ€ํ™˜ํ•˜์˜€์Šต๋‹ˆ๋‹ค. ๊ฐ€๋ณ€ ๊ธธ์ด์˜ Chunk์— ๋Œ€ํ•ด ์˜๋ฏธ๊ฐ€ ๋ฐ˜์˜๋œ ์ •ํ•ด์ง„ ์ฐจ์›์˜ ๋ฒกํ„ฐ๋กœ ๋ณ€ํ™˜ํ•˜์—ฌ ํ›„์ˆ ํ•  ์˜๋ฏธ๋ก ์  ์œ ์‚ฌ๋„ ๋น„๊ต๋ฅผ ์ˆ˜ํ–‰ํ•˜์˜€์Šต๋‹ˆ๋‹ค.

Embedding Algorithm

์ดํ›„์—๋Š” Vector Search ์•Œ๊ณ ๋ฆฌ์ฆ˜์ธ HNSWlib Vector DB ๋ฅผ ํ™œ์šฉํ•˜์—ฌ ๋น ๋ฅธ ์‹œ๊ฐ„์— ๋†’์€ ์ •ํ™•๋„๋กœ ์œ ์‚ฌํ•œ Chunk๋ฅผ ํƒ์ƒ‰ํ•  ์ˆ˜ ์žˆ๋„๋ก ๊ตฌ์„ฑํ•˜์˜€์Šต๋‹ˆ๋‹ค.
์ดํ›„ ์„ฑ๋Šฅ์„ ํ‰๊ฐ€ํ•˜๊ธฐ ์œ„ํ•ด ๋ฐ์ดํ„ฐ์…‹์„ ์ž์ฒด ์ œ์ž‘ํ•˜์˜€์Šต๋‹ˆ๋‹ค. ์›๋ณธ ๋ฐ์ดํ„ฐ์…‹์€ ํ•œ๊ตญ์–ด ์œ„ํ‚คํ”ผ๋””์•„์˜ ๋žœ๋คํ•œ ์ฃผ์ œ ๋ฌธ์„œ๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ ์ œ์ž‘ํ•˜์˜€๊ณ , ์•„๋ž˜ ๊ทธ๋ฆผ๊ณผ ๊ฐ™์ด 5๋‹จ๊ณ„์˜ ๋ฐ์ดํ„ฐ ๋ณ€ํ˜• ๊ณผ์ •์„ ๊ฑฐ์ณ์„œ ๋ณ€ํ˜• ๋ฐ์ดํ„ฐ์…‹์„ ๊ตฌ์„ฑํ•˜์˜€์Šต๋‹ˆ๋‹ค.

๋ฐ์ดํ„ฐ ๋ณ€ํ˜•

์ตœ์ข… ์‹คํ—˜ ๊ฒฐ๊ณผ๋Š” ์•„๋ž˜ ๊ทธ๋ฆผ๊ณผ ๊ฐ™์Šต๋‹ˆ๋‹ค. ์•ž์„œ ์„œ์ˆ ํ•œ ๋ฐ”์™€ ๊ฐ™์ด 5๊ฐœ์˜ ์›๋ณธ ๋ฐ์ดํ„ฐ์…‹๊ณผ ๊ฐœ๋ณ„ 5๊ฐœ์˜ ๋ณ€ํ˜• ๋ฐ์ดํ„ฐ์…‹, ์ด 30๊ฐœ์˜ ๋ฐ์ดํ„ฐ์…‹์— ๋Œ€ํ•ด ์œ ์‚ฌ๋„ ๋น„๊ต๋ฅผ ์‹ค์‹œํ•˜์˜€์Šต๋‹ˆ๋‹ค. ๊ฐ€๋กœ ์ถ•์€ ๋‹จ์–ด ๋‹จ์œ„ Chunking ์•Œ๊ณ ๋ฆฌ์ฆ˜์—์„œ Window Size๋ฅผ ์˜๋ฏธํ•ฉ๋‹ˆ๋‹ค. ์ด 4๊ฐ€์ง€ ์„ฑ๋Šฅ ์ง€ํ‘œ๋กœ Accuracy, Precision, Recall, F1-Score์„ ์ถ”์ถœํ•˜์˜€์œผ๋ฉฐ ๋ชจ๋‘ Window Size๊ฐ€ 35๊ฐœ ์ด์ƒ์ผ ๋•Œ๋ถ€ํ„ฐ** 1.0์„ ์œ ์ง€**ํ•˜๋Š” ๊ฒƒ์„ ํ™•์ธํ•˜์˜€์Šต๋‹ˆ๋‹ค.

์„ฑ๋Šฅ


2. ์‚ฌ์šฉ์ž ํ”Œ๋žซํผ ๊ฐœ๋ฐœ ๋‚ด์šฉ
์‚ฌ์šฉ์ž ํ”Œ๋žซํผ์€ ์กฐ์ง ๋‚ด ์‚ฌ์šฉ์ž๊ฐ€ ChatGPT์™€ ๋™์ผํ•˜๊ฒŒ ๊ถ๊ธˆํ•œ ์ ์„ ์งˆ์˜ํ•˜๊ณ  ์ด์— ๋Œ€ํ•œ ๋‹ต๋ณ€์„ ํ™•์ธํ•  ์ˆ˜ ์žˆ๋„๋ก ๊ตฌํ˜„ํ•˜์˜€์Šต๋‹ˆ๋‹ค. ์‚ฌ์šฉ์ž ํ”Œ๋žซํผ ๋‚ด์šฉ


3. ๊ด€๋ฆฌ์ž ํ”Œ๋žซํผ ๊ฐœ๋ฐœ ๋‚ด์šฉ
๊ด€๋ฆฌ์ž ํ”Œ๋žซํผ์€ ์กฐ์ง ๋‚ด ๊ด€๋ฆฌ์ž๊ฐ€ ๊ธฐ๋ฐ€ ์œ ์ถœ ํ˜„ํ™ฉ์„ ๋Œ€์‹œ๋ณด๋“œ๋กœ ํ™•์ธํ•˜๊ณ , ๊ธฐ๋ฐ€ ๋ฌธ์„œ ๊ด€๋ฆฌ, ํƒ์ง€ ์„ธ๋ถ€ ์ •๋ณด ํ™•์ธ๊ณผ ๊ฐ™์€ ๋‹ค์–‘ํ•œ ๊ธฐ๋Šฅ์„ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค. ๊ด€๋ฆฌ์ž ํ”Œ๋žซํผ ๋‚ด์šฉ

๐Ÿ‘ฅ ์—ญํ•  ๋ถ„๋‹ด

์ด๋ฆ„ ์†Œ์† ์—ญํ• 
์กฐํ•ญ๋ฒ” ์†Œํ”„ํŠธ์›จ์–ดํ•™๋ถ€ ํŒ€์žฅ, ์œ ์‚ฌ๋„ ์•Œ๊ณ ๋ฆฌ์ฆ˜ ๊ฐœ๋ฐœ
๊น€๋ฏผ์Šน ์†Œํ”„ํŠธ์›จ์–ดํ•™๋ถ€ ์‚ฌ์šฉ์ž ํ”Œ๋žซํผ ๊ฐœ๋ฐœ
๋ฐ•์ฐฌ๋ฏผ ์ธ๊ณต์ง€๋Šฅํ•™๋ถ€ Vector DB, ๋ฐฑ์•ค๋“œ ๊ฐœ๋ฐœ
๋ฐฑ์Šน๋ ฌ ์†Œํ”„ํŠธ์›จ์–ดํ•™๋ถ€ ๋ฐ์ดํ„ฐ์…‹ ์ œ์ž‘, ๊ฒ€์ฆ
์‹ฌ์ง€์•„ ์†Œํ”„ํŠธ์›จ์–ดํ•™๋ถ€ ๊ด€๋ฆฌ์ž ํ”Œ๋žซํผ ๊ฐœ๋ฐœ
์˜ค์ฃผ์—ฝ ์†Œํ”„ํŠธ์›จ์–ดํ•™๋ถ€ ์ฒญํ‚น ์•Œ๊ณ ๋ฆฌ์ฆ˜ ๊ฐœ๋ฐœ

๐Ÿ“œ ์ฐธ๊ณ  ๋ฌธํ—Œ

[1] Reimers, Nils, and Iryna Gurevych. "Sentence-bert: Sentence embeddings using siamese bert-networks." arXiv preprint arXiv:1908.10084 (2019).

[2] The state of AI: How organizations are rewiring to capture value. McKinseu 2025.

About

2025-1-cap-template created by GitHub Classroom

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Contributors 5