티스토리

Cyp Software Blog
검색하기

블로그 홈

Cyp Software Blog

cypsw.tistory.com/m

Cyp 님의 블로그입니다.

구독자
12
방명록 방문하기
공지 블로그 업데이트 노트 모두보기

주요 글 목록

  • BPFDoor의 원리와 구현 BPFDoor는 Attacker에게 패킷을 받아, Target 시스템 내부를 공격 할 수 있는 방법이다. 하지만 미리 Target 시스템에 Door 역할을 수행할 프로그램을 심어두는 사전 조건이 필요하다.이 방법을 통해서 Port listen을 숨길 수 있으며, OSI 3-4계층에서 작동하는 방화벽을 무시할 수 있다.SKT 해킹사태가 바로 BPFDoor로 야기된 사건으로서, 이번 포스팅에서 BPFDoor의 원리와 구현 방식에 대해서 설명한다. SKT 해킹에 中해커 주특기 백도어 악성코드…"주체 단정 어려워" | 연합뉴스(서울=연합뉴스) 조성미 기자 = SK텔레콤[017670]의 가입자 유심(USIM) 정보를 탈취한 사이버 공격에서 중국 해커 그룹이 주로 사용하...www.yna.co.kr실습과정을 위해서.. 공감수 1 댓글수 2 2025. 4. 27.
  • 오류: OSError: We couldn't connect to 'https://huggingface.co' to load this file 해결법. HuggingFace는 내부적으로 파일 다운시 IPv6를 사용하는것으로 추정된다.공유기나, 시스템적으로 IPv6 를 비활성화하면 발생하는 문제이므로, 활성화 해 주면 된다. 공감수 0 댓글수 0 2025. 1. 30.
  • [리뷰] DeepSeek-V3 Technical Report 해당 포스팅은 PC 환경에 최적화 되어 있습니다. DeepSeek 라는 중국의 스타트업에서 만든 V3 모델은, OpenAI의 4o 모델에 대응되는 모델로서, 그 성능이 4o와 유사하면서, 추론 비용이 압도적으로 저렴하기에 현재 AI 커뮤니티에서 큰 파장을 불러일으키고 있다.논문의 Abstract 란에서 바로 벤치마크를 살펴볼 수 있다. Transformer 모델인 만큼 전반적인 벤치마크 수준은 o1, R1 모델 대비 낮지만, 벤치로 식별하기 어려운 창의적인 대화에서는 더 높은 성능을 보여준다. 1. 소개최근 몇년간 LLM 모델은 진화를 거듭하면서 AGI에 다가가고 있다. 대표적으로 ChatGPT, Claude, LLaMA, Qwen 등을 꼽을 수 있다. 이러한 변화의 물결에 올라, DeepSeek 사는 .. 공감수 4 댓글수 0 2025. 1. 26.
  • [리뷰] DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning 최근 DeepSeek 라는 중국 스타트업에서 제작한 LLM 모델이 뛰어난 성능으로 AI 업계에서 화두가 되고 있다. 해당 업체에서 만든 모델은 대표적으로 `R1` 모델과 `V3` 모델이 존재하는데, `V3` 모델의 경우 ChatGPT, Qwen, LLaMA 와 같은 일반적인 `Transformer` 기반의 LLM 모델이다.반면 `R1` 모델은 논문의 제목을 보면 알 수 있듯 `Reinforcement Learning`을 기반으로 제작된 모델로, 해당 포스팅에서는 `R1` 모델과, 논문에 관해서 간략히 포스팅 하겠다. 1. 서론강화학습을 LLM에 적용하자는 계념을 DeepSeek 사가 최초로 제안한것은 아니다. 최근 ChatGPT의 유료버전을 사용해 보았다면 `o1` 모델이 활성화 된 것을 확인할 수 있었.. 공감수 4 댓글수 0 2025. 1. 22.
  • Ubuntu WOL 활성화 현재 나는 Windows / Ubuntu 듀얼부팅 환경에서 GRUB를 통해 OS를 선택하는 환경으로 구성해 두었다. 이 때 WOL을 사용하려면 Windows, Ubuntu 두 OS 모두에 WOL 설정이 되어 있어야만 원활하게 WOL을 사용할 수 있다.이 포스팅에선 기본적인 BIOS 셋팅과, Windows 환경에서의 WOL 설정법, 그리고 네트워크 장비의 WOL 설정 방법에 대해서는 생략한다. 1. 필요 프로그램 설치sudo apt-get install net-tools ethtool wakeonlan`net-tools`, `ethtool`, `wakeonlan` 3가지를 설치해 준다.  2. Network interface 확인$ ifconfigenp7s1: flags=4163 mtu 1500 .. 공감수 0 댓글수 0 2025. 1. 4.
  • RX6800+ROCm VS Tesla T4+CUDA 이전 포스팅을 통해 `RX6800 + WSL2 + ROCm` 의 작동불가를 확인했다.하지만 몇몇 포스팅들을 참고한 결과 네이티브한 Ubuntu 환경에서 작동함을 확인하였고직접 Ubuntu 24.04를 설치하여 실제 ROCm을 구동해 보았다. 이번 포스팅에서는 ROCm을 통해 `RX6800` 의 Pytorch 신경망 처리와Colab 에서 운용되는 `Tesla T4` GPU 간의 연산성능차이를 비교해 보고자 한다.참고로 `Tesla T4` 의 성능은 내 체감상 `RTX 3070` 대비 약 30% 정도 더 느린 속도를 보여준다.  1. 신경망 벤치.소스코드는 워낙 풀려있는게 많기에 GPT o1을 통해서 생성해 줬다.검토해 봐도 큰문제가 없어 보이기에 그대로 사용하였다.Code.pyimport torchimpo.. 공감수 3 댓글수 1 2024. 12. 31.
  • Windows 블루스크린 분석하기 일반적으로 블루스크린은 커널모드에서 문제가 생겨 발생한다. 내 경험상의 원인은 대부분 Windows 자체가 아니라 Intel, AMD, Nvidia, Realtek ... 등에서 만든 드라이버 문제로 인해서 발생한다.이러한 블루스크린이 발생한뒤 분석하는법을 약 3달쯤 알았는데, 오늘 또 블루스크린이 발생했다(...) 3달이나 지나 방법을 또 까먹어 이것저것 찾아보았는데, 이럴바에 내 블로그에 올려두는것이 속 편할듯 하여 포스팅을 쓴다.  1. Dell의 메뉴얼 참조 Windows 디버거를 사용하여 블루 스크린 문제를 해결하는 방법 | Dell 대한민국지침 컴퓨터에 블루 스크린이 나타나는 경우 발생한 상황을 알아내고 문제를 해결하며 재발을 방지하려면 어떻게 해야 할까요? 이 상황에서는 메모리 덤프 파일이 .. 공감수 3 댓글수 3 2024. 10. 29.
  • WSL2 에서 ROCm 사용하기 이전에 Radeon 욕을 좀 했었는데, 최근들어서 다시 Radeon 시스템을 사용하게 되었다.사실 순수 게임용도나, 고전적인 GPU 연산 코딩용도로 Radeon GPU는 나쁘지 않다.하지만 ML 개발자로서 Radeon GPU를 활용하기에는 문서가 꽤나 불친절한 편이다... 가지고 놀아볼 겸, ROCm을 설치하는 과정에서도 여러 문제점이 있었기에, 해당 포스팅에 설치 방법을 정리한다. 1. Ubuntu 22.04 버전을 사용하자 WSL support matrices by ROCm version — Use ROCm on Radeon GPUsAvailable from PyTorch.org nightly builds, not tested extensively by AMD.rocm.docs.amd.com현재 `2.. 공감수 3 댓글수 0 2024. 10. 28.
  • [리뷰] A Comprehensive Evaluation of Quantization Strategies for Large Language Models 해당논문은 LLM모델의 양자화와 성능의 상관관계에 대해서 기술한 논문으로, 최근 ollama 와 같은 local LLM 실행을 편리하게 도와줄 수 있는 기술들이 많이 등장한 가운데에 주목할만한 논문이다.만약 양자화에 대해서 잘 모른다면 아래 포스팅을 참고하길 바란다. [LLM] 양자화 기술양자화는 모델의 가중치와 활성화를 고정밀도 데이터 표현(F32)에서 저정밀도 데이터 표현으로 변환하는 모델 압축 기술쉽게 말해 복잡한 정보를 저장할 수 있는 데이터 유형에서 더 적은 정보velog.io 포스팅에 앞서해당 논문에 관심을 가지게 된 계기는 ollama에 배포된 대부분의 LLM 모델들이 4bit 양자화를 채택하고 있기 때문이다.4bit이면 상당히 낮은 bit의 양자화 수준이라고 할 수 있다. 32bit : 양.. 공감수 11 댓글수 2 2024. 9. 29.
  • 모니터 PPI 추천 1. PPI 란?Pixels Per Inch즉 1인치당 얼마나 많은 픽셀이 들어갈 수 있는지 나타내며, 아래와 같은 공식으로 계산할 수 있다.$$ \text{diagonal} = \sqrt{\text{width}^2 + \text{height}^2} $$대각선(diagonal)의 길이는 피타고라스 공식을 통해 간단히 계산할 수 있으며이 대각선의 길이가 1인치일 때 해당 범위 내의 픽셀이 몇 개인지 구하면 된다.$$ \text{PPI} = \dfrac{\text{diagonal in pixels}}{\text{diagonal in inches}} $$  2. PPI 프리셋1인치당 픽셀이 많을수록, 화면이 더 선명해진다.대중적으로 사용되는 모니터들의 PPI를 살펴보자 FHD(1920 x 1080)InchPP.. 공감수 0 댓글수 0 2024. 9. 7.
  • Firefox는 131 버전에서 세로 탭(Vertical Tab) 기능을 지원할 예정 Firefox Sidebar and Vertical tabs: try them out in Nightly Firefox Labs 131 – Firefox Nightly NewsWe are excited to share that vertical tabs and a new sidebar experience are now available in Nightly 131. This update has been highly anticipated and requested by the community, ...blog.nightly.mozilla.org24년 8월 7일 Firefox 블로그에서 드디어 Vertical Tab 기능을 지원한다는 포스팅을 기재했다.내가 아는 바에 의하면 Vertical Tab을 온전히 지원하.. 공감수 0 댓글수 0 2024. 8. 23.
  • VMware Workstation Pro 다운로드 방법 VMware Workstation Pro 는 가상머신 프로그램으로서Broadcom에 인수된 상황이다.그런데 문제는 Broadcom이 인수하면서 웹사이트의 편의성이 많이 안좋아졌다.따라서 VMware Workstation을 다운로드 하는 방법 역시 까다로워 졌다.아무리 Broadcom 이 B2B에 치중되어 있다지만,유저 경험에 있어서 신경을 안 쓴 치명적인 UI로 여러 커뮤니티에서 욕받이가 되고 있다(...) Broadcom 사이트에서 다운받는게 까다로우니 아카이빙된 파일을 다운받아 사용하는 유저들의 모습을 볼 수 있는데,이는 위험한 방식이다.Broadcom 사이트에서 직접 다운로드 받는것을 추천하며, 그 방법에 대해서 소개한다.   1. Broadcom 사이트에 회원가입 & 로그인 Home - Suppo.. 공감수 4 댓글수 7 2024. 7. 24.
  • Ubuntu SSH 2FA 활성화 방법 기본적으로 Canoncial Ubuntu 공식 홈페이지에서 제공하는 방법을 따른다. https://ubuntu.com/tutorials/configure-ssh-2fa#1-overview ubuntu.com다만 해당 Guideline 기준 다른점이 하나 존재하고,몇몇 설정에 관해 설명이 필요할 듯 싶어 포스팅을 작성한다. 1. 사전에 알아두어야 사항Ubuntu 16.04 LTS 버전 이상을 구동할 수 있는 컴퓨터안드로이드 또는 IOS 휴대폰구성된 SSH 연결비밀번호 도난의 위험성을 이해2FA가 무엇인지, 어떻게 작동하는지 알 필요는 없다.실질적인 준비물은 위에서 3가지 이며, 대부분 사용자가 충족할 것이라 생각된다. '비밀번호 도난의 위험성을 이해' 에 대한 이야기를 하자면,키보드 후킹으로 인해 비밀번호.. 공감수 0 댓글수 0 2024. 7. 7.
  • Docker Desktop 없이 WSL2에 Docker 설치 현재 Docker Desktop은 상업적 이용시 대기업 유료화 정책을 채택하고 있다.때문에 개인적으로 Docker Desktop을 사용하는것을 선호하지 않고,개인 작업 환경에서도 WSL2 를 통해 Docker Engine을 사용하는 방식으로 사용하고 있다. 최근 Ubuntu LTS 버전이 24.04 로 업데이트 되기도 하였고,바빳던 개인 작업이 끝나 Docker 저장소를 밀어버리고WSL2 내부에 Docker를 새로 세팅하려고 작업을 준비하는데 최근 Guideline은 Docker Desktop을 통해 작업하도록 되어있다.이러한 방법은 대부분의 User에게 보다 편한 방법이기에 권장될만하다 본다.하지만 나는 Docker Engine을 직접 설치해 사용하는것을 선호한다. WSL2 에 Docker Engine.. 공감수 0 댓글수 0 2024. 7. 6.
  • [C++] 백준 17142 문제 해설 해당 문제는 골드 3 티어이지만, 나는 동의하지 않는다.골드 2티어에서 골드 1티어까지 부여할만한 문제라고 생각한다.문제 자체를 이해하는 과정이 직관적이지 않기에다른 골드 3 티어 문제보다 난이도가 높다고 생각한다.#include #include #include #include class baekjoon_17142{public: int N, M; int blank_count{}; std::vector> loc_virus; // 바이러스의 위치를 기억할 벡터 std::vector> content; int directions[4][2] = {{1, 0}, {-1, 0}, {0, -1}, {0, 1}}; // 동서남북 const int MAX_INT = 2147483647; // 모든 가능한 조합을 저장할 이.. 공감수 0 댓글수 0 2024. 6. 28.
  • [C++] 백준 14890 문제 해설 해당 문제는 삼성 SW 역량 테스트 에서 출제된 문제로골드 3 티어의 적절한 난이도를 지니고 있는 문제이다. 2차원 벡터를 기준으로 각 행, 열이경사로를 설치하여 '지나갈 수 있는 길인지' 구하는 문제이다. #include #include #include class baekjoon_14890{public: int N, L; bool constraint(const std::vector& line) { int value_before = line[0]; int limitPoint = 0; for (int i = 1; i = 2) return false; // 현재값이 이전 값보다 1 작을 경우. .. 공감수 0 댓글수 0 2024. 6. 20.
  • Surface Pro 8 서멀 그리스 재도포 저는 Microsoft 의 Surface 제품군들을 참 좋아합니다.특히 그 중 Surface Pro 8 을 구입해서 2년여 정도 잘 사용하고 있었는데,최근 들어 발열로 인한 쓰로틀링이 매우 심하게 느껴졌습니다. CPU 클럭이 0.58Ghz 정도까지 다운되는데, 간단한 워드 작업이나,웹서핑 등을 할 때도 간헐적으로 발생해서 짜증이 나는 수준입니다.고작 저런 작업을 하는데 CPU 온도가 78도 까지 상승해 버리니;;아무리 11세대 Intel CPU 가 발열이 심하다고 하지만, 구입 당시에는 이정도가 아니였습니다.때문에 이놈의 서피스에 서멀 그리스 재도포를 하기로 결심 했습니다.서피스와 같은 액정 테블릿을 분해할 때 가장 난이도가 높은 작업은 바로 액정을 분해하는 일입니다.보통 분해시 액정을 깨먹는일이 잦습니.. 공감수 1 댓글수 0 2024. 6. 17.
  • [C++] 백준 1012 문제 해설 해당 문제는 BFS, DFS 를 통해 해결할 수 있는 문제이다.난이도는 실버 2 티어이다. 연습하기 좋은 문제라고 느껴 BFS, DFS 두가지 유형으로 모두 풀어보았다.소스코드에 적절한 주석을 작성해 두었으므로, 보면서 이해하면 좋다. BFS#include #include #include #include class baekjoon_1012_bfs{public: static const int MAX = 50; int field[MAX][MAX]; bool visited[MAX][MAX]; int directions[4][2] = {{-1, 0}, {1, 0}, {0, -1}, {0, 1}}; // 서, 동, 남, 북 int M, N, K; // 핵심은 bfs를 통해서 vi.. 공감수 1 댓글수 0 2024. 6. 16.
  • [리뷰] QWEN TECHNICAL REPORT 해당 논문은 Alibaba Group 내 Alibaba Cloud 가 구축한 Open LLM 인 Qwen 의 기술 리포트 이다.이 모델에 관심을 가지게 된 계기는 몇몇 중국 기업, 특히 알리바바에 관심이 있어서가 첫째이고,최근 나온 Qwen 2.0 의 성능이 GPT 4 에 근접한 성능지표를 보여주었기 때문이다. 실제로 모델을 사용 해 보았을 때 한국어 기준 LLaMA3 보다 더 우수하다고 느꼇다.더 과감하게 발언하자면,24년 6월 기준 모든 Open LLM 기준, Qwen 2.0 의 성능이 가장 우수하다.모든 LLM 으로 범위를 넓히면, Qwen 2.0 보다 더 우수한 성능을 보유하다고 느낀 모델은 GPT-4o 가 유일하다. 참고로 해당 논문은 Qwen 2.0 모델에 관해 설명하는것이 아닌,시초가 된 Q.. 공감수 3 댓글수 0 2024. 6. 14.
  • [C++] 백준 1343 문제 해설 백준 1343 문제는 실버 5티어 정도의 문제로 그다지 어려운 문제는 아니다.#include class baekjoon_1343{public: int run() { std::string input; std::cin >> input; std::string result; int count = 0; for (char ch : input) { if (ch == 'X') { ++count; } else if (ch == '.') { // 짝수가 아닐경우 폴리오미노 제작 불가, 종.. 공감수 0 댓글수 0 2024. 6. 9.
  • Transformer 의 CrossAttention 차이점 Attention Is All You Need 는 Transformer 기술을 소개하는 논문으로서, 이전에 한차례 리뷰한 바가 있다.이 중 CrossAttention 에 대한 한국어 포스팅이 많지 않아보여 작성해본다.Transformer 는 Translation, VC, STT, TTS등 시계열 데이터를 처리하는데에 있어 사용할 수 있다. 즉 Decoder 의 출력은 Text 가 될수도 있고, Mel Spectrogram 형태가 될수도 있으며, 아마 '영상' 쪽으로도 출력을 내는게 가능할 것이다. (여기서는 번역을 기준으로 작성하겠다.)붉은박스로 표시한 CrossAttention 은 좌측의 Encoder 단에서 나오는 출력이, 우측의 Decoder 단으로 들어가는 구조이다. 먼저 코드를 살펴보자.  So.. 공감수 0 댓글수 0 2024. 4. 23.
  • Filen 후기 Filen 은 독일에서 운용하는 Cloud Storage 서비스로, 몇몇 장단점을 가지고 있다. 장점1. 보안기본적으로 Cloud Storage 서비스 제공사들은, 수사기관의 요청에 따라 데이터를 제공해야 할 의무가 있다. 예로 사용자가 아래와 같은 파일을 가지고 있다고 의심되는 경우이다.아동포르노마약거래스너프필름물론 저런 파일을 공유하는 사용자들을 검거하는건 좋다.하지만 문제는 저런 파일들을 검열하기 위해 정상적인 유저들의 파일을 살펴볼 수 있다는 점이다. 가족사진, 내가 짠 소스코드, 백업용 보안키 등등을 Cloud 측에서 확인할 수 있다는것은 사용자 입장에서 매우 찜찜하다. 이는 내가 아는 거의 모든 Cloud 의 운영 방침이다.대표적으로 OneDrive, Google Drive 도 마찬가지이며 M.. 공감수 3 댓글수 0 2024. 4. 18.
  • 행렬 기초 이전 포스팅의 주제인 AdaLoRA 는 행렬에 대해 잘 알지 못하면 그 원리를 근본까지 이해하기 힘든 구성을 지니고 있다. 최종적으로 이해는 했지만 이를 정리해 두지 않으면 한달만 지나면 다 까먹을 것이기 때문에 기록해 둔다.행렬역행렬전치행렬대칭행렬항등행렬(단위행렬)대각행렬직교행렬및 행렬연산 특성에 관해서 설명한다.  1. 행렬(matrix)$$\begin{equation}    \begin{bmatrix}     a_{11} & a_{12} & a_{13}  \\    a_{21} & a_{22} & a_{23}  \\    a_{31} & a_{32} & a_{33}  \\    \end{bmatrix}  \end{equation}$$행렬에 관해서 모르는 사람은 없으리라 본다. Excel 을 다뤄본 .. 공감수 2 댓글수 0 2024. 4. 17.
  • [리뷰] AdaLoRA: Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning 해당 논문은 LoRA 를 개선한 버전인 AdaLoRA 에 대해 제안하는 논문이다. 1. 서론기존 Full Fine-Tuning, LoRA 는 NLP 에서 중요한 패러다임이 되었으나, 일반적으로 '모든' parameter 를 미세 조정하기에 최적의 조정을 수행할 수 없다는 단점이 있다.이러한 문제를 해결하기 위해 가중치 행렬 간 parameter 자원(budget) 을 중요도 점수에 따라 적응적으로 할당하는 AdaLoRA 를 제안한다. 특히 AdaLoRa 는 특이값 분해(Singular Value Decomposition, SVD)의 형태로 증분 업데이트를 parameter 화 한다. 이러한 접근 방식을 통해 중요하지 않은 업데이트의 특이값을 효과적으로 가지치기할 수 있으며, 이는 본질적으로 paramet.. 공감수 1 댓글수 0 2024. 3. 31.
  • [C++] 백준 2002 문제 해설 2002번: 추월입력은 총 2N+1개의 줄로 이루어져 있다. 첫 줄에는 차의 대수 N(1 ≤ N ≤ 1,000)이 주어진다. 둘째 줄부터 N개의 줄에는 대근이가 적은 차량 번호 목록이 주어지고, N+2째 줄부터 N개의 줄에는 영식이www.acmicpc.net처음에는 별생각없이 풀었고, 나중에 다들 map 을 쓴다는걸 알게되어서 추가하였다.두가지 버전 모두 첨부한다.map(X)#include #include int main(){ int N; bool visited[1000] = {false, }; std::vector input; std::vector output; std::cin >> N; std::string temp; // 입력 로직 for(int i = 0; i > temp; input.push_.. 공감수 0 댓글수 0 2024. 3. 28.
  • [C++] 백준 14501 문제 해설 14501번: 퇴사 첫째 줄에 백준이가 얻을 수 있는 최대 이익을 출력한다. www.acmicpc.net 해당 문제에 대해서 여러 풀이가 존재하지만, 이 풀이가 가장 좋아보이기에 주석을 달아 포스팅 해 본다. 해당문제에서 명심해야 할 점은 그냥 최고 급여만 출력하면 된다는 점이다. 날짜는 기록할 필요도 없다. 힌트는 '거꾸로' 계산하는 것이다. 예로 문제 내용을 보면 7일과 6일은 근무일을 넘어가기에 계산에 포함시켜야될 필요도 없다. 5일 = 15 O 4일 = 20 + 15 O 3일 = 10 + 20 + 15 O 2일 = 20 < (10 + 20 + 15) X 1일 = (10 + 20 + 15) == (10 + 20 + 15) O 따라서 최고로 나올 수 있는 값은 45 이다. 위 지식을 기반으로 아래 코.. 공감수 0 댓글수 0 2024. 3. 27.
  • [C++] 백준 1260번 문제 해설 1260번: DFS와 BFS 첫째 줄에 정점의 개수 N(1 ≤ N ≤ 1,000), 간선의 개수 M(1 ≤ M ≤ 10,000), 탐색을 시작할 정점의 번호 V가 주어진다. 다음 M개의 줄에는 간선이 연결하는 두 정점의 번호가 주어진다. 어떤 두 정점 사 www.acmicpc.net DFS, BFS 관련된 문제로 간단한 문제이다. 해석은 주석으로 기재 해 두었으며 코드의 흐름따라 주석과 함께 코드를 읽어보면 쉽게 이해가 될 것이다. #include #include // 이론상 정점의 개수는 1,000 개 이며 1 < N < 1000 이므로 1001 지정. // 간선의 개수는 10,000 개 미만임. // map 을 기준으로 1,000 x 1,000 = 1,000,000 의 간선 지정이 가능. #defin.. 공감수 0 댓글수 0 2024. 3. 27.
  • [리뷰] LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS 1. 서론자연어 처리는 시간이 가면 갈수록 중요해지고 있다. Text to Speech, Speech to Text, Translation, GPT 에 이르기까지 그 발전 가능성은 무궁무진 하다. 특히 핵심적인 혁신은 모델 자체를 수정하는 데에서 오는 경우가 많지만, 그럼에도 불구하고 fine-tuning 은 중요하다.하지만 모델의 사이즈가 점점 커져감에 따라 전체 fine-tuning은 매우 버거운 작업이 되었다. 예로 GPT-3 의 한 모델은 175B 개의 parameter가 존재하는데, 이런 무지막지한 모델을 fine-tuning 하는것은 어지간한 대규모 연구소 수준이 아니면 버거운 일이다.때문에 저자들은 pre-trainied 모델의 가중치를 'freeze' 하고 transformer 아키텍처의 .. 공감수 0 댓글수 0 2024. 3. 19.
  • 모델 훈련시 Epoch 와 Steps 의 차이 모델을 훈련할때 평가과정은 보통 epoch 로 진행하는데, 간혹 특정 예제들은 steps 로 진행되기도 한다. 예로 Seq2SeqTrainingArguments 의 설정 옵션을 살펴보면 evaluation_strategy (str or IntervalStrategy, optional, defaults to "no") - The evaluation strategy to adopt during training. Possible values are: "no": No evaluation is done during training. "steps": Evaluation is done (and logged) every eval_steps. "epoch": Evaluation is done at the end of e.. 공감수 0 댓글수 0 2024. 3. 5.
  • batch_size 란? 여러 모델을 학습시키는데에는 batch_size 옵션을 지정해 주어야 한다. 나의 경우 Transformer 를 학습시킬때 사용되는 Seq2SeqTrainingArguments 의 batch_size 옵션을 지정하기 위해 batch_size 의 계념에 관해 살펴보았다. Seq2SeqTrainingArguments 에서 batch_size 옵션은 per_device_train_batch_size (int, optional, defaults to 8) : The batch size per GPU/XPU/TPU/MPS/NPU core/CPU for training. 로서, 이는 '모델이 한번에 학습하는 데이터 샘플수' 이다. 이러한 batch_size 를 지정하는데는 아래와 같은 장, 단점이 존재한다. 큰 b.. 공감수 0 댓글수 0 2024. 3. 5.
    문의안내
    • 티스토리
    • 로그인
    • 고객센터

    티스토리는 카카오에서 사랑을 담아 만듭니다.

    © Kakao Corp.