Thinking, Writing, and.

앞으로 살펴볼 글들에서는, 많은 수학적 지식 필요 없이도 우리 주변에 성큼 다가온 AI(LLM)이라는 것이 무엇인지, 개념적인 이해를 할 수 있도록 천천히 다뤄볼 예정입니다. 비전공자나, 이제 막 LLM 관련 업무를 시작하는 전공자 모두에게 약간이나마 이해를 도울 수 있으면 좋겠네요. 😀 우리가 흔히 말하는 GPT나 Deepseek과 같은 "AI"들은 쉽게 말해서 LLM (Large Language Model)이라는 "모델"을 GPU에서 구동하는 것입니다.  이 LLM이라는 것은 "생성형 AI"의 한 종류로, 인간의 언어(자연어)를 배워서 다양한 입력으로부터 "응답"을 생성해 내는 것이죠. "안녕하세요, 오늘 어때요?"라는 문장을 입력받으면, 이 문장을 "기억"하고, 이다음에 올 단어가 어떤 것이 될지..

요즘 agent 관련해서 이것저것 보다보니, SW, HW 회사 모두 빨리 많은 것들을 준비해야 살아 남을 수 있겠다라는 생각이 많이 들었습니다. 먼저, GPU를 비롯한 많은 infra들이 좀 더 탄탄하게 잘 구축이 되어야 한다고 느낍니다. 아마 시간이 흐를수록 지금보다 더 폭발적으로 workload는 늘어 가겠죠. computing resource 뿐 아니라, memory, network 그리고 storage까지 점차적으로 확장이 되어 갈 것으로 생각합니다. 기존에는 단일 모델의 max throughput 위주의 성능 자랑 위주였다면 이제 점차적으로 agent와 같은 실사용 위주, 서비스 위주로 진행이 되어가면서 KV cache를 비롯해서 폭발적으로 늘어가는 "데이터" 들을 어떻게 전송하고, 보관하고, ..