Play new and move-first

Part 4 LLM TrainingPart 5 FinetuningPart 6 LLM Inference Part 6에서는 LLM Inference 시의 부하(Load) 변동에 대해서 살펴보도록 하겠습니다.Case 3. LLM Inference Power Consumption: GPT-2 vs. nanoGPT대상 모델: GPT-2, nanoGPT실험 조건: GPU 기반 LLM 추론(inference) 과정의 전력 소모 패턴 분석전력 소모 패턴의 주요 특징1) 급격한 전력 변동공통점: 두 모델 모두 추론 과정에서 저전력(Idle) 상태와 고전력(Active) 상태를 빠르게 오가며, 전력 소모가 급격히 변화함.- 전력 피크: 약 300W까지 순간적으로 상승.- 피크 지속 시간: 25~50초, 표준편차 약 50..

Part 4 LLM TrainingPart 5 FinetuningPart 6 LLM Inference Part 6에서는 LLM Inference 시의 부하(Load) 변동에 대해서 살펴보도록 하겠습니다.Case 3. LLM Inference Power Consumption: GPT-2 vs. nanoGPT대상 모델: GPT-2, nanoGPT실험 조건: GPU 기반 LLM 추론(inference) 과정의 전력 소모 패턴 분석전력 소모 패턴의 주요 특징1) 급격한 전력 변동공통점: 두 모델 모두 추론 과정에서 저전력(Idle) 상태와 고전력(Active) 상태를 빠르게 오가며, 전력 소모가 급격히 변화함.- 전력 피크: 약 300W까지 순간적으로 상승.- 피크 지속 시간: 25~50초, 표준편차 약 50..

지난 Part 3에 이어서 동일한 모델로 Case Study 사례를 분석해 보도록 하겠습니다. 앞으로 살펴볼 Load(부하)의 변동은 1) LLM Training, 2) Finetuning, 3) LLM Inferenence(추론) 까지 총 3가지 종류의 Work에서 보여주는 부하(Load) 변동성 입니다. Case Study : LLM Traning Case study를 위해서 NVIDIA, AMD 사의 GPU와 GPT-2 124M 과 nanoGPT 모델 두가지를 적용하여 Test를 진행 하였습니다. 1. NVIDIA RTX 4090 (w/ GPT-2 124M) _ 124M paramteters a. 학습시간: 22시간 b. 전력 : 평균 414W (최대전력 461w) ..

스탠포드 CME 295 강의 내용을 기반으로한 트랜스포머(Transformer) 와 대형 언어 모델(LLMs) 에 대한 중요한 개념을 요약한 자료 입니다. VIP Cheatsheet 라는 이름으로 공유 되었습니다. 원래 강의 교재는 250페이지 (34달러에 판매)를 5~6페이지로 요약된 자료 입니다. 원본을 사서 보면 좋지만 아쉬운데로 중요한 내용만 5 ~ 6 페이지로 구성된 자료를 참조해 보시면 좋을 것 같습니다. Github URL: https://github.com/afshinea/stanford-cme-295-transformers-large-language-models/tree/main/ko stanford-cme-295-transformers-large-language-models/ko a..

긴 글과 주제를 효과적으로 요약하는 법AI의 한계: 토큰 제약으로 인해 정보를 장기적으로 기억하고 처리하는 능력이 부족하여 대화가 길어질 경우 이전 대화 내용을 다시 알려주는 것이 필요합니다. 1. AI가 문맥을 이해하는 원리(GTP-4)트랜스포머 아키텍처와 지도 학습법을 이용하여 문맥을 이해합니다. - 트랜스포머 아키텍처: 자기-주의(Self-Attention) 메커니즘을 이용해 단어 간의 관계 파악 → 문맥을 파악하고 문장에서 각 단어의 역할 이해 - 지도 학습: 수백억 개의 문장 쌍으로 이루어진 큰 데이터 세트를 이용해 학습(인간의 말과 쓰기 패턴을 반영) → 문맥에서 다음에 올 단어나 문장을 예측하는 방법 습득 실제 경험이 없기 때문에 통계적인 패턴 학습에 기반하기 때문에 애매모호한 상황이나 복잡..

1. 프롬프트란? AI로부터 최적의 답변을 얻어내기 위해 입력한 텍스트를 프롬프트라고 부르며 이를 통해서 질문, 요청, 토론과 같은 다양한 형태로 AI의 답변 최적화가 가능합니다. 프롬프트를 활용하여 창의적 글쓰기, 개념 설명, 사고 질문, 예측등의 결과물을 얻을 수 있습니다. - 창의적 글쓰기: 지구를 처음 방문한 외계인의 시각에서 보는 지구에 대해 이야기해보세요- 개념 설명: 블랙홀이 무엇인지 설명해주세요- 사고 질문: 환경 문제를 해결하기 위한 방법을 알려주세요- 예측: 10년 후 컴퓨터의 발전 트랜드를 알려주세요2. 프롬프트 엔지니어링이란? 원하는 AI 응답을 얻기 위해 프롬프트 설계 및 최적화 하는 것 입니다. 3. 효과적인 프롬프트 작성 원칙3.1 명확성: 모호한 표현을 사용하면 AI가 혼..

AI 용어 일일이 찾아보기 힘드셨죠? 그래서 정리했습니다. ~간단하고 쉽게 설명드릴께요 ~~우선 AI AI 하는데 무엇이 AI 일까요? AI : Artifical Intelligence 인공지능- 인간처럼 스스로 생각하고 행동하는 컴퓨터라고 할 수 있습니다. 인간의 인지, 추론, 지적 능력과 같이 학습한 데이터를 기반으로 새로운 데이터를 생성해 내는 영역까지 확대되고 있습니다.Machine Learning Vs. Deep Learning. - 머신러닝이 딥러닝 보다는 더 큰 개념으로 머신러닝안에 딥러닝이 포함되어 있습니다. 머신러닝(Machine Learning)은 데이터들을 기반으로 학습을 통해 알고리즘을 구축하고 새로운 데이터가 추가되었을 때 알고리즘에 따라 결과를 도출 할 수 있도록 하는 것입니다...