Thinking, Writing, and.

가끔 블라인드에 들어가 회사 이야기를 살펴 봅니다. 언제부터 회사에 이런 사람들이 많아 졌을까, 익명의 가면 뒤에서 (심지어 아이디까지 바코드) 숨어, 온갖 혐오와 차별, 분란을 조장하는 많은 글들을 보면서 진심으로 안타깝다고 생각합니다. 🤬 비단 우리 회사의 문제 만은 아닌 듯 싶기도 하지만요. 어지러운 시국에 화딱지 나는 마음을 추스리고 주말 아침에 책 한 권 읽고 위로 받은 느낌이 들어 추천합니다. 저와 같은 팀에서 일하셨던 선배님께서 저자로 참여하셨다는 글을 보고, 한 번 읽어 봤습니다. 책 제목부터 "버티다 보니 20년" 이라니, 어떤 이야기가 있을지 궁금하지 않을 수가 없더군요. 선배님과 저는 같은 팀에 소속되어 있었지만, 팀이 워낙 대규모라서 함께 일을 해본 경험은 없습니다. (사실 이야기..

저는 과거 주로 사업화 과제를 진행하다가, 최근 몇 년간 오픈 소스 기반 과제를 다루며 다음과 같은 고민을 하게 되었습니다. "오픈 소스가 갖는 가치”와 “제품 개발 시 오픈 소스를 어느 정도까지 사용할 것인가”에 대해서 인데요, 조직 내에서 이야기 해보면 다양한 의견이 오가서 아주 재밌습니다. 😄저는 오픈 소스 활용은 단순히 ‘코드를 가져다 쓰는 것’ 이상의 의미가 있다고 생각합니다. - 브랜드와 기술력 노출: Meta의 Llama 모델 공개처럼, 오픈 소스는 회사의 지향점과 기술력을 대외적으로 드러내는 전략적 수단이 될 수 있습니다. 이를 통해 조직 외부의 개발자, 잠재적 인재, 파트너에게 “우리는 이런 기술적 방향성과 역량을 갖고 있다”는 메시지를 "강력하게" 전달할 수 있지 않을까요?? - 생태..

회사 동료 분께서 추천해주신 “Zero to One”입니다. 저자분이 페이팔 마피아(?)로 불리는 분이고 팀원들 중 몇몇 분은 10대 때 폭탄제조 경험까지 있다고 하셔서 리뷰가 조심스럽네요 🤣책에서 인상 깊었던 내용은 두가지 였습니다.“우리를 성공으로 이끄는 길은 아직 가보지 않은 길, 새로운 길이다. 그 길로 가는 기적을 우리는 기술이라 부른다”와 너무 가슴 뛰는 말 아닌가요? 가보지 않은 새로운 길로 갈 수 있게 해주는 기적이라니. 그리고 다른 한 부분은 세상의 숨겨진 진실을 찾는 것에 대한 이야기입니다. 세상에 더 이상 숨겨진 비밀이 없어서 찾을 만한 것들이 없다고 사람들이 믿게된 계기는 이런 것이다라고 설명하고 있습니다. 점진주의, 위험회피의 추세, 무사안일주의, 평평화(flatness) 의 4..

Deepseek으로 온 사방이 난리입니다.😄학습 비용에 대한 이야기, 성능에 대한 이야기. API 가격에 대한 이야기가 계속해서 나오고 있넹요. 개인적으로는 언젠가 와야할 시점이 생각보다 매우 빠르게 온 것이 놀랍다라는 생각이들고, 그것이 중국이라는 것은 사실 당연한 것이라는 생각이 들었습니다. LLM 관련 논문의 대부분에 중국 인재들이 많이 있었거든요.량원평의 인터뷰를 한 번 찾아서 읽어봤습니다.어떤 생각으로 이런걸 만들었을까가 더 궁금한 부분이었거든요.인터뷰 전문은 댓글로 달아두겠습니다. 궁금하신 분들은 참고하세요.제가 공감하면서 읽었던 부분들은 다음과 같았습니다.“우리가 부족한 것은 자본이 아니라, 자신감과 고급 인재를 효과적으로 조직하여 혁신을 이끌어 내는 능력입니다““혁신은 비즈니스만으로 이뤄..

요즘 agent 관련해서 이것저것 보다보니, SW, HW 회사 모두 빨리 많은 것들을 준비해야 살아 남을 수 있겠다라는 생각이 많이 들었습니다. 먼저, GPU를 비롯한 많은 infra들이 좀 더 탄탄하게 잘 구축이 되어야 한다고 느낍니다. 아마 시간이 흐를수록 지금보다 더 폭발적으로 workload는 늘어 가겠죠. computing resource 뿐 아니라, memory, network 그리고 storage까지 점차적으로 확장이 되어 갈 것으로 생각합니다. 기존에는 단일 모델의 max throughput 위주의 성능 자랑 위주였다면 이제 점차적으로 agent와 같은 실사용 위주, 서비스 위주로 진행이 되어가면서 KV cache를 비롯해서 폭발적으로 늘어가는 "데이터" 들을 어떻게 전송하고, 보관하고, ..

문제를 해결하는 방법에 대해 생각해 봤습니다. 먼저 문제가 무엇인지 정확한 진단이 필요할 것입니다. 그리고 그 문제에 대한 대증요법이 아닌 정확한 해결책이 필요할 것입니다. 여러 조직들을 경험해 보면, 문제에 대한 정확한 진단을 하지 못하는 조직은 대부분 역량이 부족한 상태였습니다. 문제 자체를 이해하지 못하기 때문에 그것이 어떤 문제인지 알 수가 없는 상태인거죠. 그런 상태에서 나오는 답이 문제를 해결할 수 있을리 없습니다.역량을 충분히 갖춰 문제를 잘 진단하는 조직 중에서 이해가 잘 안됐던 부분 중 하나는 문제를 정확하게 해결하는 것이 아니라 일종의 대증요법(?)을 사용하는 것이었습니다. 예를 들면 하드웨어에 예상하지 못했던 exceptional case가 있어서 어렵고 critical한 불량이 발생..

개발 중인 inference 엔진의 test coverage를 어떻게 올릴 수 있나에 대한 고민을 하고 있습니다. 상대적으로 개발(휴먼) 리소스가 부족한 상황에서, 팀원분들이 굉장히(🤣) 빠르게 개발을 진행하고 있어서, 솔직히 테스트를 약하게.. 진행했던 부분들에서 삐걱거리게 시작했거든요. 테스트가 중요하다는 것은 명확한 사실이나, 개발(휴먼) 리소스가 부족한 것도 현실이라 어떻게 해야 하나 싶었는데, 요즘 agent에 대한 이야기들이 많이 나오길래 한 번 간단하게 구현해 봤습니다. 개발한 코드에 대해서 pair programming 하는 것처럼, unit test agent가 계속해서 code를 테스트 해줄 수 있으면 어떨까?하는 간단한 생각부터 출발!유명한 OpenHands는 open source ..

술자리에서 빠지지 않고 나오던 주제에 대해서 생각해 봤습니다. 주로 조직 문화 개선, 불합리 개선, 일하는 방법 개선 등등의 이야기를 쭉 하고 나면 항상 공통된 결론으로 귀결되는 뭐 그렇고 그런 이야기 입니다. 항상 이러한 불합리한 것들 개선하려고 보면, 반대되는 의견들이 있거든요. 주로 안정을 추구하거나 아니면 자신들에게 이득이 되지 않는다고 판단함으로써 단단한 껍질 속에 숨어 버리는 자라처럼 목을 쏙 집어 넣어버리고는 개선을 거부하는 의견들 말입니다. 참 신기하게도, 이렇게 안정을 추구하는 쪽은 항상 똘똘 뭉쳐있습니다. 대체 어떻게 그런 구심력을 갖게 되는 것인지 너무 궁금하지 않나요? 너무 부러워요. 어쩜 그렇게 똘똘 뭉쳐서 탄탄하게 자신들의 의견을 서로서로 방어할 수 있는지. 🤔 개선을 말하는 ..

근 관심을 두고 있는 부분 자료가 있어 정리해 봤습니다. 개발 중인 inference engine (LunarServ)이 아직 걸음마 단계이지만, 회사 내부 서비스와 결합해서 PoC를 해보려고 이제 첫발을 떼고 있는 중입니다. 그러다 보니 사용자 관점, 서비스 운영 관점에서 어떤 것들이 더 필요한가, 어떤 부분들이 pain point가 될 것인가를 나름 고민해 보게 되었는데 제가 생각하고 있던 것과 유사한 논문이 있어 읽어 봤습니다. 😁이 논문에서 제안하는 QLM(Queue Management for LLM Serving)은 “어떻게 하면 LLM을 빠르고 안정적으로 서비스할 수 있을까 = SLO를 최대한 맞출 수 있을까"에 대한 고민에서 시작했습니다. 일단 기존 LLM 서빙 시스템(vLLM이나 TGI ..

오늘은 그 동안 제가 지내왔던 조직들을 관찰했던 내용 중에서 성향과 성향이 충돌하는 상황, 그리고 그 상황이 어떻게 조직의 발전을 저해하는지에 대한 이야기를 해보려고 합니다. 많은 사람들이 함께 지내는 곳이기 때문에 회사 내에서, 그리고 작게는 개발 팀 내에서도 성향과 성향의 충돌은 당연합니다. 문제는 이러한 성향의 충돌이 이성적이고 합리적으로 풀어나갈 수 있냐는 아닙니다. 제가 경험했던 것 중 가장 흔하게 보이고, 가장 심각한 문제를 보이는 것은 혁신 vs 안정 이었습니다. 조직 내에 문제가 있으면 여러분들은 어떻게 하시겠습니까? 어떤 사람들은 조직 내 문제가 있으면, 문제가 뭘까 파악하고 그 문제를 어떻게 "해결"할 수 있을까 생각합니다. 그리고 그 답을 찾아오는데, 그것이 갖는 파급효과를 꼼꼼이 따..