Experience (16) 썸네일형 리스트형 [SKADA] DRAM 내부 회로의 파형 예측 (4) 📁 Transformer 모델을 통한 파형 예측 📌 Sequence-to-Sequence(Seq2Seq)Sequence를 다른 sequence로 바꿔주는 모델Encoder와 Decoder로 구성Encoder: 입력 데이터를 context vector로 압축Decoder: context vector에서 출력 데이터를 유추문제점Context vector의 크기는 고정적Sequence의 길이가 길어지면 정보 손실 발생 📌 Attention특정 출력값을 만들어 내기 위해 입력값 중 관련 있는 부분을 더 집중RNN 기반 Attention Mechanism의 문제점: 병렬 처리 불가 📌 Transformer일반적인 seq2seq 모델과 마찬가지로 Encoder-Decoder 구조RNN 기반 seq2seq 모.. [SKADA] DRAM 내부 회로의 파형 예측 (3) 📁 시계열 모델을 통한 파형 예측 📌 Recurrent Neural NetworkRNN은 시계열 데이터에 적용할 수 있는 대표적인 신경망 모델 📌 RNN 모델의 구현RNN에 데이터를 적용하기 위해 읽어온 데이터를 시계열 데이터 형식으로 변환해 주어야 함Window size: 하나의 data sequence를 구성하는 시간별 데이터의 개수데이터의 전처리window size를 조절하여 sequence의 길이 조절interval를 조절하여 window 내 데이터 사이 시간 간격 조절stride를 조절하여 window 간 시간 간격 조절 📌 RNN 모델 한계Sequence가 길어지면 예전 데이터를 잘 기억하지 못함Short-term memory problemGradient vanishing problem.. [SKADA] DRAM 내부 회로의 파형 예측 (2) 📁 회귀분석을 통한 파형 예측 📌 회귀분석 regression analysis입력 변수와 출력 변수 사이의 관계를 모델링하여, 입력 값에 대한 출력 값을 예측하는 일회귀의 기본 원칙: 잔차 residual error의 최소화잔차를 무조건 최소화하면 좋은가? 아니다학습 데이터에 과도하게 적합된 회귀모델(overfitting)은 일반화가 어려움 📌 회귀 모델설명 변수 $X$로부터 반응 변수 $y$를 예측하는 task$ y’ = f(X; \beta) $목적: 잔차를 최소화하는 $\beta$를 찾는 것 종류: 선형 회귀모델, 비선형 회귀 모델 📌 선형 회귀 모델모델 변수 $\beta_i$ 와 $Y$가 선형 관계장점: 빠르고 효율적, 최적화가 쉬움단점: 복잡한 관계를 모델링하기 어려움 📌 최.. [SKADA] DRAM 내부 회로의 파형 예측 (1) 📌 데이터 분석 언어R오픈소스 (무료)매트랩보다 빠르고 파이썬보다 느림통계 분석에 특화MATLAB상업 프로그램(유료)수식 계산 및 시각화 특화쉬움Python오픈소스 (무료)다양한 목적에 적합일반적으로 가장 빠름신경망 모델을 사용하기에 가장 적합 📌 오픈소스 파이썬 라이브러리pandastxt, csv, excel, json, sql 등의 tabular data를 읽고 처리하기에 적합2차원 데이터를 dataframe 데이터 구조를 활용하여 효율적으로 처리matplotlib: 데이터를 쉽고 빠르게 그래프로 시각화 가능scikitlearn: 분류, 회귀, 클러스터링, 차원 축소 등과 관련한 다양한 알고리즘을 코드 몇 줄로 생성 가능numpy대규모 수치 데이터를 처리하기에 적합C언어 기반으로 작성되어 빠르.. [SKADA] 통신 Core 장비에 대한 이상 징후 감지 (6) 📁 AutoEncoder 모델을 활용한 이상 징후 감지 📌 AutoEncoder대표적인 비지도 unsupervised 딥러닝 모델데이터에 인코딩 된 표현을 학습한 다음 후 학습 된 인코딩 표현에서 입력 데이터를 가능한 한 가깝게 생성하는 것을 목표로 함 📌 오토인코더 구성인코더 encoder: 데이터를 저 차원의 공간으로 축소하는, 입력을 내부 표현으로 변환디코더 decoder: 축소된 데이터를 다시 입력 데이터의 차원으로 복원, 내부 표현을 출력으로 변환 📌 오토인코더 접근 방식입력과 동일한 출력 값이 나오도록 둘의 차이를 줄이면서 학습손실함수로 MSE(mean-squared error), MAE(mean-average error) 등을 사용학습하는 과정 속에서 Latent variabl.. [SKADA] 통신 Core 장비에 대한 이상 징후 감지 (5) 📁 LSTM 모델을 활용한 이상 징후 감지 📌 RNN 기반 딥러닝 모델RNN(Recurrent Neural Network) 순환 신경망반복적이고 순차적인 데이터 학습에 특화된 인공신경망의 한 종류순환 구조를 이용하여 과거의 학습을 가중치를 통해 현재 학습에 반영 📌 CNN vs RNN CNN RNN 설명합성곱 계층을 통해 추출된 특징들을 기반으로 분류하는 딥러닝 분석모델데이터 순서정보를 반영하는 재귀구조의 딥러닝 분석모델장점지엽적 정보 추출에 탁월시계열 정보 반영 가능 입-출력 개수에 따른 다양한 모델 구성 가능 단점전역적 정보 파악이 어려움입력 데이터 전처리 필수 네트워크 가중치 소실 문제 주요분야 이미지 분류영상 인식 텍스트 분류 및 번역 시계열 예측 📌 RNN 구조시퀀스 길이에 .. [SKADA] 통신 Core 장비에 대한 이상 징후 감지 (4) 📁 Prophet 모델을 활용한 이상 징후 감지 📌 ProphetProphet은 페이스북에서 공개한 시계열 예측 라이브러리가법모형 addictive model에 기반하여, 고전적인 통계적 기법을 발전시킨 방법기존 시계열 모델을 보완하기 위해 탄생기존 시계열 모델의 문제점완전 자동화되는 시계열은 튜닝하기 어려움기업 도메인 지식이 뛰어난 사람은 시계열에 대한 지식 부족 “Estimation procedures for structural time series models”에 소개된 기본 3요소를 따름g(t): 주기적이지 않은 변화인 트렌드s(t): 계절성, 주별/연도별 등 주기적으로 나타나는 패턴들 포함h(t): 휴일과 같이 불규칙한 이벤트들e_i: 정규분포라고 가정한 오차 📌 Prophet의 장점트.. [SKADA] 통신 Core 장비에 대한 이상 징후 감지 (3) 📌 이상 징후 감지 (Anomaly Detection)통신 데이터는 이상 발생 빈도가 매우 낮아 충분한 수의 데이터 확보가 어려움이상 발생 후 사후 대처를 하는 것보다 사전 예측하여 발생 자체를 막는 것이 중요이상치주어진 데이터 정상 모집단 내의 관측치와 거리가 먼 관측점손실(실측치와 예측치) 값이 임계치를 초과 시 “이상”이라고 간주시계열 분석 기반 모델 사용하여 이상 징후 탐지전통적 통계모델 → ARIMA, Prophet기계학습/딥러닝 → LSTM, AutoEncoder 📁 ARIMA 모델을 활용한 이상 징후 감지 📌 ARIMA 모델자기 회귀누적 이동평균 모형 Autoregressive Integrated Moving-average과거의 관측값과 오차를 사용하여 현재의 시계열 값을 설명하는.. 이전 1 2 다음
