Always awake,

"개인적으로 트랜스포머를 행렬 연산으로 이해하기 위해 작성한 포스트입니다" 트랜스포머를 공부하다 보면 개념적으로는 이해가 되는데, 아래 내용들이 머릿 속에서 잘 그려지지 않아 이해해보려 합니다!전체 흐름이 어떻게 되는지각 연산(Layer)마다 Tensor 형태가 어떻게 변하는지 (Input, Output)행렬 연산으로는 어떻게 처리되는지본 글에서는 Transformer 의 구조, 개념, 각 층의 상세한 수식 및 의미는 아래 첨부한 글에 나와 있어 생략하고,행렬 연산을 통해 Tensor 의 형태가 어떻게 변해가는지 위주로 작성하였습니다!Transformer 구조출처: https://wikidocs.net/217018그래도 Transformer 구조는 간단하게나마 알아야 하기에 잠깐 설명하겠습니다! Tran..

현상 요약 Tree모델에서 train데이터로 학습하고, train 데이터로 예측하였을 때 예측값이 하나만 나오는 경우가 발생하여 원인을 확인하고자 한다 원인 생각 곰곰히 생각해본 결과 node가 분할되지 않았기 때문이라는 결론을 내렸다 즉, root node에서 분할되지 않았기 때문에(root node만 존재) 어떤 input feature가 들어와도 root node의 평균 값만 내뱉는 것이다 ※ 위의 현상이 발생한 ensemble 모델의 경우, 각 tree의 root node 평균값에 tree들의 가중치를 취하여 더한 값이 예측 값으로 나올 것이다 그러면 어떠한 경우에 분할이 발생하지 않을까? 각 모델 특성별로 root node에서 분할되지 않는 경우를 생각해 보았다 원인 1 data point(sa..

"딥러닝을 이용한 음성인식(STT) 설명에 관한 포스팅입니다." 2019년도 여름에 국비교육으로 음성 지능에 관한 강의를 듣게 되었습니다. 기존에 다루던 스프레드시트 형식의 데이터와 다른 형태의 신호 데이터를 처리하고 모델링하는 것을 보면서 전기전자 분야의 신호처리 이론이 많이 적용되는 것을 느꼈습니다. 제가 이해한 내용을 바탕으로 본 포스팅을 작성하려 합니다. 1탄에서는 음성 신호에 관한 이론과 디지털 신호로 처리하는 방법을 설명하고 2탄에서는 디지털화 한 신호에서 특징을 추출하는 방법을 설명하겠습니다. 마지막으로 3탄에서는 이를 딥러닝 모델에 적용하여 STT(Speech To Text) 모델을 만드는 법을 공유하겠습니다. 본 포스팅을 준비하며 부족하거나 추가 자료가 필요한 부분은 유투브의 "김도현 대..

"딥러닝을 이용한 음성인식(STT) 설명에 관한 포스팅입니다. 자연 신호의 디지털 신호처리에 대한 포스팅은 아래의 1탄을 참고해주시기 바랍니다." [1탄] 딥러닝 음성 인식 - 자연신호의 디지털화 "딥러닝을 이용한 음성인식(STT) 설명에 관한 포스팅입니다. " 2019년도 여름에 우연히 국비교육으로 음성 지능에 관한 강의를 듣게 되었습니다. 기존에 다루던 스프레드시트 형식의 데이터와 다� everyday-tech.tistory.com 본 포스팅에서는 디지털화된 신호에서 특징을 추출하는 기법에 대해 설명하고자 합니다. 데이터 전처리 part 라고 이해하시면 될 것 같습니다. 디지털 음성 신호의 특징 추출 푸리에 변환(Fourier Transformation) 음성 신호는 각 주파사별 신호의 합으로 이루어..