LLM은 내부적으로 Prefill과 Decode 단계로 동작한다. 동시 접속자가 1명일 때는 두 과정이 순차적으로 문제없이 진행되지만, 동시 접속자가 여러 명일 때는 Decode 속도가 완만하게 저하되는 것이아니라, 급격히 버벅이는 증상을 느낄 수 있다. 이는 두 단계가 GPU 자원을 놓고 경쟁하기 때문이며, 이들 간의 간섭을 최소화하는 것이 인공지능 서빙 분야의 주요 과제 중 하나다.이러한 현상을 이해하려면 먼저 Prefill이 compute-bound 작업이라는 점을 알아야 한다. Prefill은 입력된 전체 프롬프트를 처리하여 KV cache를 생성하는 과정이다. 모든 입력 토큰이 이미 주어져 있기 때문에, self-attention 연산을 대규모 행렬 곱셈으로 병렬 처리할 수 있다. 따라서 GPU..

최근 Alibaba 의 LLM 모델인 Qwen3 시리즈에서는 계속해서 RoPE 기술을 적용하고 있다. 이걸 적용하는 이유는 매우 긴 컨텍스트(1M) 가용을 가능하게 해 주기에 그런데... 사실 적용해 봐도 어지간한 GPU 환경에서는 Prefill 이 너무 늘어지기에 실시간 채팅 용도로 1M 수준의 컨텍스트를 가용하기는 어렵다.그래도 이전에는 성능문제로 가용이 불가능했던, 큰 컨텍스트를 RoPE를 통해 가용 가능하게 된 점이 신기해서 논문을 리뷰해본다. 1. 서론트랜스포머 기반 사전학습 언어모델은 self-attention 메커니즘을 사용하여 문맥을 학습하지만, self-attention 자체는 위치 정보를 인식하지 못한다. 때문에 다들 알다시피 Positional Encoding 을 임베딩에 더해 처리하..

이 글을 통해 많은 사람이 KV Caching을 쉽게 이해할 수 있기를 바란다. Transformer(Q, K, D)아래와 같은점만 명심하고 넘어가자.$Q, K ,D$에 곱해지는 입력 $X$ 값은 실제로 모두 같은 값이다.$W^Q, W^K, W^V$의 초기값은 '랜덤' 값이다. 특정한 의미를 가지고 있지 않다.(다만 학습을 통해 점점 업데이트됨.)$Q$ 와 $K^T$를 통해 유사도를 계산.(Q: 내가 찾는 정보, K: 제공할 수 있는 정보 = 즉 둘간의 매칭정보)$\sqrt{d_k}$로 값이 너무 커지는것을 방지$softmax$로 각 토큰에 대한 가중치를 확률분포로 변환.$V$와 곱셈하여 최종 출력 생성.(V: 그래서 뭘 전달할건데? 전달할 실제 정보)$Z$는 문맥정보가 통합된 최종 출력 벡터값외에도 T..

Ring Attention 논문에서는 기존 Transformer가 훌륭하지만, 설계적인 문제로 인해 긴 시퀀스 처리 능력이 제한된다는 사실을 지적한다. 때문에 논문에서는 Blockwise(블럭단위) 연산을 활용하여 긴 시퀀스를 여러 장치에 분산시키는 동시에, 키-값 블록의 통신을 블록 단위 어텐션 연산과 완전히 중첩시키는 새로운 접근법인 '블록 단위 트랜스포머를 사용한 링 어텐션' 을 제안한다.이러한 접근방법은 절대로 근사치 계산에 의존하거나, 추가적인 통신 및 연산 오버헤드를 발생시키지 않으며, 기존의 memory-efficient Transformers로 달성할 수 있었던 것보다 최대 '장치 수(장치를 추가하면 추가할수록 더 긴 시퀀스 처리 가능)' 만큼 더 긴 시퀀스의 학습과 추론을 가능하게 한다...

논문 World Models은 현재 기준으로 7년이 지나 AI 업계에서는 꽤나 오래된 논문이지만, Transformer 이후 AGI로 나아가야될 방향을 제시하고 있는 논문이기에 리뷰한다. David Ha와 Jürgen Schmidhuber가 제시한 강화학습 분야의 혁신적인 연구로, 인간의 정신 모델과 유사한 방식으로 환경을 이해하고 행동하는 AI 에이전트를 구축하는 방법을 제시한다. 이 논문은 환경의 압축된 시공간 표현을 학습하는 생성 신경망 모델을 통해 복잡한 강화학습 문제를 해결하는 새로운 패러다임을 제안하는 논문이다. 1. Introduce인간은 제한된 감각으로 인지할 수 있는 것을 바탕으로 세상에 대한 정신 모델(mental model)을 발달시켰다. 우리가 내리는 결정과 행동은 이 내적 모델에 ..

BPFDoor는 Attacker에게 패킷을 받아, Target 시스템 내부를 공격 할 수 있는 방법이다. 하지만 미리 Target 시스템에 Door 역할을 수행할 프로그램을 심어두는 사전 조건이 필요하다.이 방법을 통해서 Port listen을 숨길 수 있으며, OSI 3-4계층에서 작동하는 방화벽을 무시할 수 있다.SKT 해킹사태가 바로 BPFDoor로 야기된 사건으로서, 이번 포스팅에서 BPFDoor의 원리와 구현 방식에 대해서 설명한다. SKT 해킹에 中해커 주특기 백도어 악성코드…"주체 단정 어려워" | 연합뉴스(서울=연합뉴스) 조성미 기자 = SK텔레콤[017670]의 가입자 유심(USIM) 정보를 탈취한 사이버 공격에서 중국 해커 그룹이 주로 사용하...www.yna.co.kr실습과정을 위해서..

HuggingFace는 내부적으로 파일 다운시 IPv6를 사용하는것으로 추정된다.공유기나, 시스템적으로 IPv6 를 비활성화하면 발생하는 문제이므로, 활성화 해 주면 된다.

해당 포스팅은 PC 환경에 최적화 되어 있습니다. DeepSeek 라는 중국의 스타트업에서 만든 V3 모델은, OpenAI의 4o 모델에 대응되는 모델로서, 그 성능이 4o와 유사하면서, 추론 비용이 압도적으로 저렴하기에 현재 AI 커뮤니티에서 큰 파장을 불러일으키고 있다.논문의 Abstract 란에서 바로 벤치마크를 살펴볼 수 있다. Transformer 모델인 만큼 전반적인 벤치마크 수준은 o1, R1 모델 대비 낮지만, 벤치로 식별하기 어려운 창의적인 대화에서는 더 높은 성능을 보여준다. 1. 소개최근 몇년간 LLM 모델은 진화를 거듭하면서 AGI에 다가가고 있다. 대표적으로 ChatGPT, Claude, LLaMA, Qwen 등을 꼽을 수 있다. 이러한 변화의 물결에 올라, DeepSeek 사는 ..

최근 DeepSeek 라는 중국 스타트업에서 제작한 LLM 모델이 뛰어난 성능으로 AI 업계에서 화두가 되고 있다. 해당 업체에서 만든 모델은 대표적으로 `R1` 모델과 `V3` 모델이 존재하는데, `V3` 모델의 경우 ChatGPT, Qwen, LLaMA 와 같은 일반적인 `Transformer` 기반의 LLM 모델이다.반면 `R1` 모델은 논문의 제목을 보면 알 수 있듯 `Reinforcement Learning`을 기반으로 제작된 모델로, 해당 포스팅에서는 `R1` 모델과, 논문에 관해서 간략히 포스팅 하겠다. 1. 서론강화학습을 LLM에 적용하자는 계념을 DeepSeek 사가 최초로 제안한것은 아니다. 최근 ChatGPT의 유료버전을 사용해 보았다면 `o1` 모델이 활성화 된 것을 확인할 수 있었..

현재 나는 Windows / Ubuntu 듀얼부팅 환경에서 GRUB를 통해 OS를 선택하는 환경으로 구성해 두었다. 이 때 WOL을 사용하려면 Windows, Ubuntu 두 OS 모두에 WOL 설정이 되어 있어야만 원활하게 WOL을 사용할 수 있다.이 포스팅에선 기본적인 BIOS 셋팅과, Windows 환경에서의 WOL 설정법, 그리고 네트워크 장비의 WOL 설정 방법에 대해서는 생략한다. 1. 필요 프로그램 설치sudo apt-get install net-tools ethtool wakeonlan`net-tools`, `ethtool`, `wakeonlan` 3가지를 설치해 준다.  2. Network interface 확인$ ifconfigenp7s1: flags=4163 mtu 1500 ..

이전 포스팅을 통해 `RX6800 + WSL2 + ROCm` 의 작동불가를 확인했다.하지만 몇몇 포스팅들을 참고한 결과 네이티브한 Ubuntu 환경에서 작동함을 확인하였고직접 Ubuntu 24.04를 설치하여 실제 ROCm을 구동해 보았다. 이번 포스팅에서는 ROCm을 통해 `RX6800` 의 Pytorch 신경망 처리와Colab 에서 운용되는 `Tesla T4` GPU 간의 연산성능차이를 비교해 보고자 한다.참고로 `Tesla T4` 의 성능은 내 체감상 `RTX 3070` 대비 약 30% 정도 더 느린 속도를 보여준다. 1. 신경망 벤치.소스코드는 워낙 풀려있는게 많기에 GPT o1을 통해서 생성해 줬다.검토해 봐도 큰문제가 없어 보이기에 그대로 사용하였다.Code.pyimport torchimpo..

일반적으로 블루스크린은 커널모드에서 문제가 생겨 발생한다. 내 경험상의 원인은 대부분 Windows 자체가 아니라 Intel, AMD, Nvidia, Realtek ... 등에서 만든 드라이버 문제로 인해서 발생한다.이러한 블루스크린이 발생한뒤 분석하는법을 약 3달쯤 알았는데, 오늘 또 블루스크린이 발생했다(...) 3달이나 지나 방법을 또 까먹어 이것저것 찾아보았는데, 이럴바에 내 블로그에 올려두는것이 속 편할듯 하여 포스팅을 쓴다.  1. Dell의 메뉴얼 참조 Windows 디버거를 사용하여 블루 스크린 문제를 해결하는 방법 | Dell 대한민국지침 컴퓨터에 블루 스크린이 나타나는 경우 발생한 상황을 알아내고 문제를 해결하며 재발을 방지하려면 어떻게 해야 할까요? 이 상황에서는 메모리 덤프 파일이 ..