닉 보스트롬의 '슈퍼 인텔리전스' 에서는 RSI와 초지능(ASI, Artificial SuperIntelligence)에 대한 이야기를 접할 수 있다.초지능을 논할 때 빠질 수 없는 주제 중 하나가 바로 RSI(Recursive Self-Improvement, 재귀적 자기 개선)이다. 말 그대로 자기 자신을 지속적으로 개선해 나가는 과정을 뜻한다.이를 아주 넓은 의미로 해석한다면, 고양이 역시 일종의 RSI를 수행한다고 볼 수 있다. 반복해서 쥐를 사냥하는 고양이는 경험을 통해 점차 사냥의 노하우를 익히고 성공률을 높여간다. 물론 이러한 개선은 어느 지점에서 한계에 도달하겠지만 말이다. 인류의 발전 역사 또한 개개인의 학습과 자기 개선이 축적되고 공유되면서 집단 전체의 발전으로 이어진 결과라고 볼 수 있..

내가생각하는 `AI 엔지니어`란 이런건 몰라도 된다.역전파 법칙의 원리를 완벽히 이해하고 직접구현하는것연쇄 법칙의 원리를 완벽히 이해하고 직접구현하는것Low Rank Adaptation 의 원리를 완벽히 이해하고 직접구현하는것Attention 의 원리를 완벽히 이 (...중략)DSA 의 원리 (...중략)EngramAdaLoRAGDNDiffusionRoPE물론 위와 같은 근본적인/최신 기술들을 이해하고, 구현할 수 있는 엔지니어들은 분명 뛰어난 엔지니어다. 하지만 나는 엔지니어의 본질에서는 다소 벗어난 일이라고 생각한다. 위의 업무는 `AI 연구자` 내지는 `수학자` 가 처리해야 할 업무이다. 하지만 `AI 엔지니어` 라면 이런건 잘 알고 있어야 한다.Low Rank Adaptation 기술의 장점과 단..

제목이 매력적이여서 읽어본 논문이다. 특히 고민이 많은 소프트웨어 엔지니어들에게 도움을 줄 수 있을것 같아 리뷰한다. 특별히 이번 리뷰는 구조나 두서 없이 손길이 가는대로 적겠다. 과거 1968년 NATO 콘퍼런스에서 정립된 소프트웨어 공학은 큰 위기를 맞게 된다. 바로 '시스템의 복잡성' 이다. 그때까지 횡행하던 ad-hoc(임시방편적) 방식의 프로그래밍으로는 더이상 이를 감당하기 어려웠기 때문이다.때문에 소프트웨어 공학은 이를 다스리기 위해 여러 기법들을 개발/개선해왔다. 예를들면`폭포수`→ `애자일(agile)``모놀리스` → `마이크로서비스``수동 배포` → `CI/CD`와 같은 식이다. 외에도 나(Cyp) 의 견해를 덧붙이자면, 고급언어의 등장과, 객체지향 프로그래밍의 등장, MVVM등 개발 방..

LLM은 만능 도구처럼 보이지만 실제로는 여러 가지 제약이 존재한다. 그중 대표적인 것이 컨텍스트 길이(Context Length)의 제한이다. 현재 상용화된 최고 수준의 LLM이라 할지라도 RoPE(Rotary Positional Embedding)를 적용한 상태에서 100만 토큰을 겨우 달성하는것이 한계이다. 그 이상의 길이를 입력할 경우 답변의 품질이 급격히 저하되기에, Qwen3 나 MiniMax-M1 같은 최신 모델들조차 컨텍스트 길이를 100만 내외로 제한하고 있다.물론 100만 토큰은 일반적인 텍스트 기반 PDF 1,000장을 넘길 정도의 막대한 분량이다. 하지만 이는 수치상으로 '다룰 수 있다'는 의미일 뿐, 실제로는 추론에 소요되는 시간과 자원이 기하급수적으로 늘어난다는 맹점이 있다.또한..

강화학습(RL)을 공부하다 보면 반드시 마주치는 세 가지 개념이 있다. MDP(Markov Decision Process)MC(Monte Carlo)TD(Temporal Difference)이전 포스팅(#MDP, #BE)에서도 일부 다뤘지만, 최근 책을 읽으며 다시 정리할 필요를 느껴 흐름 중심으로 새 포스팅을 작성한다.왜 강화학습은 MDP를 전제로 하나?TD와 MC는 무엇이 다른가?왜 현실에서는 TD가 더 많이 쓰이나? 1. MDP: 강화학습의 전제 조건강화학습의 대부분의 알고리즘은 MDP라는 가정 위에서 만들어진다.MDP의 핵심 가정수식으로 표현하면 다음과 같다.$$P(S_{t+1}, R_{t+1}\mid S_t, A_t) = P(S_{t+1}, R_{t+1}\mid H_t, A_t)$$여기서 $..

현재 Richard S. Sutton 교수의 저서 『단단한 강화학습』 을 읽고 있는데, 초반부에 강화학습과 지도학습의 차이에 관해 상당히 많은 지면을 할애하고 있다. 처음엔 별 생각 없이 책을 읽어 나갔지만, 읽을수록 이 둘의 차이점이 모호하게 느껴지고 Sutton 교수가 지적하는 것처럼 착각하기 쉽다는 느낌이 들어 정리하기 위한 포스팅을 작성한다.Sutton 교수는 다른 많은 연구자들이 지도학습을 연구하면서도 자신이 강화학습을 연구한다고 믿었던 경험담을 언급한다."예를 들어 로젠블렛(Rosenblatt, 1962), 위드로와 호프(Widrow and Hoff, 1960) 같은 연구자들은 강화학습의 개념에 동기를 부여받았으나, 실제로는 지도학습 시스템을 연구하고 있었다."— 『단단한 강화학습』 21p '..

최근 생성형 AI와 로보틱스 분야에서 월드 모델(World Model)이라는 키워드가 자주 등장한다. 이 개념을 공부하다 보면 자연스럽게 이런 의문이 든다. 어차피 둘 다 에이전트가 환경에서 상호작용하며 배우는 것 같은데, 월드 모델이랑 강화학습은 대체 뭐가 다른가? 이전에 리뷰한 World Models(2018) 논문을 보면, 월드 모델이 실제 게임을 하는것 처럼 보이기 때문이다.비슷해 보이지만, 두 모델은 목표와 역할이 분명히 다르다. 이 글에서는 월드 모델과 강화학습의 개념적 차이를 간단히 설명한다. 요약월드 모델(World Model): 환경 동역학을 학습하고 미래 상태를 예측한다. 즉 "이 행동을 하면 세상이 어떻게 변하는가?"에 관심이 있으며, 예측 정확도로 평가받는다.강화학습(Reinforc..

LLM은 내부적으로 Prefill과 Decode 단계로 동작한다. 동시 접속자가 1명일 때는 두 과정이 순차적으로 문제없이 진행되지만, 동시 접속자가 여러 명일 때는 Decode 속도가 완만하게 저하되는 것이아니라, 급격히 버벅이는 증상을 느낄 수 있다. 이는 두 단계가 GPU 자원을 놓고 경쟁하기 때문이며, 이들 간의 간섭을 최소화하는 것이 인공지능 서빙 분야의 주요 과제 중 하나다.이러한 현상을 이해하려면 먼저 Prefill이 compute-bound 작업이라는 점을 알아야 한다. Prefill은 입력된 전체 프롬프트를 처리하여 KV cache를 생성하는 과정이다. 모든 입력 토큰이 이미 주어져 있기 때문에, self-attention 연산을 대규모 행렬 곱셈으로 병렬 처리할 수 있다. 따라서 GPU..

최근 Alibaba 의 LLM 모델인 Qwen3 시리즈에서는 계속해서 RoPE 기술을 적용하고 있다. 이걸 적용하는 이유는 매우 긴 컨텍스트(1M) 가용을 가능하게 해 주기에 그런데... 사실 적용해 봐도 어지간한 GPU 환경에서는 Prefill 이 너무 늘어지기에 실시간 채팅 용도로 1M 수준의 컨텍스트를 가용하기는 어렵다.그래도 이전에는 성능문제로 가용이 불가능했던, 큰 컨텍스트를 RoPE를 통해 가용 가능하게 된 점이 신기해서 논문을 리뷰해본다. 1. 서론트랜스포머 기반 사전학습 언어모델은 self-attention 메커니즘을 사용하여 문맥을 학습하지만, self-attention 자체는 위치 정보를 인식하지 못한다. 때문에 다들 알다시피 Positional Encoding 을 임베딩에 더해 처리하..

이 글을 통해 많은 사람이 KV Caching을 쉽게 이해할 수 있기를 바란다. Transformer(Q, K, D)아래와 같은점만 명심하고 넘어가자.$Q, K ,D$에 곱해지는 입력 $X$ 값은 실제로 모두 같은 값이다.$W^Q, W^K, W^V$의 초기값은 '랜덤' 값이다. 특정한 의미를 가지고 있지 않다.(다만 학습을 통해 점점 업데이트됨.)$Q$ 와 $K^T$를 통해 유사도를 계산.(Q: 내가 찾는 정보, K: 제공할 수 있는 정보 = 즉 둘간의 매칭정보)$\sqrt{d_k}$로 값이 너무 커지는것을 방지$softmax$로 각 토큰에 대한 가중치를 확률분포로 변환.$V$와 곱셈하여 최종 출력 생성.(V: 그래서 뭘 전달할건데? 전달할 실제 정보)$Z$는 문맥정보가 통합된 최종 출력 벡터값외에도 T..

Ring Attention 논문에서는 기존 Transformer가 훌륭하지만, 설계적인 문제로 인해 긴 시퀀스 처리 능력이 제한된다는 사실을 지적한다. 때문에 논문에서는 Blockwise(블럭단위) 연산을 활용하여 긴 시퀀스를 여러 장치에 분산시키는 동시에, 키-값 블록의 통신을 블록 단위 어텐션 연산과 완전히 중첩시키는 새로운 접근법인 '블록 단위 트랜스포머를 사용한 링 어텐션' 을 제안한다.이러한 접근방법은 절대로 근사치 계산에 의존하거나, 추가적인 통신 및 연산 오버헤드를 발생시키지 않으며, 기존의 memory-efficient Transformers로 달성할 수 있었던 것보다 최대 '장치 수(장치를 추가하면 추가할수록 더 긴 시퀀스 처리 가능)' 만큼 더 긴 시퀀스의 학습과 추론을 가능하게 한다...

논문 World Models은 현재 기준으로 7년이 지나 AI 업계에서는 꽤나 오래된 논문이지만, Transformer 이후 AGI로 나아가야될 방향을 제시하고 있는 논문이기에 리뷰한다.David Ha와 Jürgen Schmidhuber가 제시한 강화학습 분야의 혁신적인 연구로, 인간의 정신 모델과 유사한 방식으로 환경을 이해하고 행동하는 AI 에이전트를 구축하는 방법을 제시한다. 이 논문은 환경의 압축된 시공간 표현을 학습하는 생성 신경망 모델을 통해 복잡한 강화학습 문제를 해결하는 새로운 패러다임을 제안하는 논문이다. 1. Introduce인간은 제한된 감각으로 인지할 수 있는 것을 바탕으로 세상에 대한 정신 모델(mental model)을 발달시켰다. 우리가 내리는 결정과 행동은 이 내적 모델에 기..