DeepSeek 라는 중국의 스타트업에서 만든 V3 모델은, OpenAI의 4o 모델에 대응되는 모델로서, 그 성능이 4o를 크게 상회하기에 현재 AI 커뮤니티에서 큰 파장을 불러일으키고 있다. V3 모델은 이전에 리뷰한 R1 모델의 기반이 되는 모델이다.논문의 Abstract 란에서 바로 벤치마크를 살펴볼 수 있다. Transformer 모델인 만큼 전반적인 벤치마크 수준은 o1, R1 모델 대비 낮지만, 벤치로 식별하기 어려운 창의적인 대화에서는 더 높은 성능을 보여준다. 1. 소개최근 몇년간 LLM 모델은 진화를 거듭하면서 AGI에 다가가고 있다. 대표적으로 ChatGPT, Claude, LLaMA, Qwen 등을 꼽을 수 있다. 이러한 변화의 물결에 올라, DeepSeek 사는 V3 모델을 제작하..

최근 DeepSeek 라는 중국 스타트업에서 제작한 LLM 모델이 뛰어난 성능으로 AI 업계에서 화두가 되고 있다. 해당 업체에서 만든 모델은 대표적으로 `R1` 모델과 `V3` 모델이 존재하는데, `V3` 모델의 경우 ChatGPT, Qwen, LLaMA 와 같은 일반적인 Transformer 기반의 LLM 모델이다.반면 `R1` 모델은 논문의 제목을 보면 알 수 있듯 `Reinforcement Learning`을 기반으로 제작된 모델로, 해당 포스팅에서는 `R1` 모델과, 논문에 관해서 간략히 포스팅 하겠다. 1. 서론강화학습을 LLM에 적용하자는 계념을 DeepSeek 사가 최초로 제안한것은 아니다. 최근 ChatGPT의 유료버전을 사용해 보았다면 `o1` 모델이 활성화 된 것을 확인할 수 있었을 ..

현재 나는 Windows / Ubuntu 듀얼부팅 환경에서 GRUB를 통해 OS를 선택하는 환경으로 구성해 두었다. 이 때 WOL을 사용하려면 Windows, Ubuntu 두 OS 모두에 WOL 설정이 되어 있어야만 원활하게 WOL을 사용할 수 있다.이 포스팅에선 기본적인 BIOS 셋팅과, Windows 환경에서의 WOL 설정법, 그리고 네트워크 장비의 WOL 설정 방법에 대해서는 생략한다. 1. 필요 프로그램 설치sudo apt-get install net-tools ethtool wakeonlan`net-tools`, `ethtool`, `wakeonlan` 3가지를 설치해 준다.  2. Network interface 확인$ ifconfigenp7s1: flags=4163 mtu 1500 ..

이전 포스팅을 통해 `RX6800 + WSL2 + ROCm` 의 작동불가를 확인했다.하지만 몇몇 포스팅들을 참고한 결과 네이티브한 Ubuntu 환경에서 작동함을 확인하였고직접 Ubuntu 24.04를 설치하여 실제 ROCm을 구동해 보았다. 이번 포스팅에서는 ROCm을 통해 `RX6800` 의 Pytorch 신경망 처리와Colab 에서 운용되는 `Tesla T4` GPU 간의 연산성능차이를 비교해 보고자 한다.참고로 `Tesla T4` 의 성능은 내 체감상 `RTX 3070` 대비 약 30% 정도 더 느린 속도를 보여준다.  1. 신경망 벤치.소스코드는 워낙 풀려있는게 많기에 GPT o1을 통해서 생성해 줬다.검토해 봐도 큰문제가 없어 보이기에 그대로 사용하였다.Code.pyimport torchimpo..

일반적으로 블루스크린은 커널모드에서 문제가 생겨 발생한다. 내 경험상의 원인은 대부분 Windows 자체가 아니라 Intel, AMD, Nvidia, Realtek ... 등에서 만든 드라이버 문제로 인해서 발생한다.이러한 블루스크린이 발생한뒤 분석하는법을 약 3달쯤 알았는데, 오늘 또 블루스크린이 발생했다(...) 3달이나 지나 방법을 또 까먹어 이것저것 찾아보았는데, 이럴바에 내 블로그에 올려두는것이 속 편할듯 하여 포스팅을 쓴다.  1. Dell의 메뉴얼 참조 Windows 디버거를 사용하여 블루 스크린 문제를 해결하는 방법 | Dell 대한민국지침 컴퓨터에 블루 스크린이 나타나는 경우 발생한 상황을 알아내고 문제를 해결하며 재발을 방지하려면 어떻게 해야 할까요? 이 상황에서는 메모리 덤프 파일이 ..

이전에 Radeon 욕을 좀 했었는데, 최근들어서 다시 Radeon 시스템을 사용하게 되었다.사실 순수 게임용도나, 고전적인 GPU 연산 코딩용도로 Radeon GPU는 나쁘지 않다.하지만 ML 개발자로서 Radeon GPU를 활용하기에는 문서가 꽤나 불친절한 편이다... 가지고 놀아볼 겸, ROCm을 설치하는 과정에서도 여러 문제점이 있었기에, 해당 포스팅에 설치 방법을 정리한다. 1. Ubuntu 22.04 버전을 사용하자 WSL support matrices by ROCm version — Use ROCm on Radeon GPUsAvailable from PyTorch.org nightly builds, not tested extensively by AMD.rocm.docs.amd.com현재 `2..

해당논문은 LLM모델의 양자화와 성능의 상관관계에 대해서 기술한 논문으로, 최근 ollama 와 같은 local LLM 실행을 편리하게 도와줄 수 있는 기술들이 많이 등장한 가운데에 주목할만한 논문이다.만약 양자화에 대해서 잘 모른다면 아래 포스팅을 참고하길 바란다. [LLM] 양자화 기술양자화는 모델의 가중치와 활성화를 고정밀도 데이터 표현(F32)에서 저정밀도 데이터 표현으로 변환하는 모델 압축 기술쉽게 말해 복잡한 정보를 저장할 수 있는 데이터 유형에서 더 적은 정보velog.io 포스팅에 앞서해당 논문에 관심을 가지게 된 계기는 ollama에 배포된 대부분의 LLM 모델들이 4bit 양자화를 채택하고 있기 때문이다.4bit이면 상당히 낮은 bit의 양자화 수준이라고 할 수 있다. 32bit : 양..

1. PPI 란?Pixels Per Inch즉 1인치당 얼마나 많은 픽셀이 들어갈 수 있는지 나타내며, 아래와 같은 공식으로 계산할 수 있다.$$ \text{diagonal} = \sqrt{\text{width}^2 + \text{height}^2} $$대각선(diagonal)의 길이는 피타고라스 공식을 통해 간단히 계산할 수 있으며이 대각선의 길이가 1인치일 때 해당 범위 내의 픽셀이 몇 개인지 구하면 된다.$$ \text{PPI} = \dfrac{\text{diagonal in pixels}}{\text{diagonal in inches}} $$  2. PPI 프리셋1인치당 픽셀이 많을수록, 화면이 더 선명해진다.대중적으로 사용되는 모니터들의 PPI를 살펴보자 FHD(1920 x 1080)InchPP..

Firefox Sidebar and Vertical tabs: try them out in Nightly Firefox Labs 131 – Firefox Nightly NewsWe are excited to share that vertical tabs and a new sidebar experience are now available in Nightly 131. This update has been highly anticipated and requested by the community, ...blog.nightly.mozilla.org24년 8월 7일 Firefox 블로그에서 드디어 Vertical Tab 기능을 지원한다는 포스팅을 기재했다.내가 아는 바에 의하면 Vertical Tab을 온전히 지원하..

VMware Workstation Pro 는 가상머신 프로그램으로서Broadcom에 인수된 상황이다.그런데 문제는 Broadcom이 인수하면서 웹사이트의 편의성이 많이 안좋아졌다.따라서 VMware Workstation을 다운로드 하는 방법 역시 까다로워 졌다.아무리 Broadcom 이 B2B에 치중되어 있다지만,유저 경험에 있어서 신경을 안 쓴 치명적인 UI로 여러 커뮤니티에서 욕받이가 되고 있다(...) Broadcom 사이트에서 다운받는게 까다로우니 아카이빙된 파일을 다운받아 사용하는 유저들의 모습을 볼 수 있는데,이는 위험한 방식이다.Broadcom 사이트에서 직접 다운로드 받는것을 추천하며, 그 방법에 대해서 소개한다.   1. Broadcom 사이트에 회원가입 & 로그인 Home - Suppo..