본문 바로가기

전체 글350

비정형데이터분석(강필성교수님)(10)-Document Embedding, Paragraph Vecotr model, Embed Everything Text Representation 2 : Distributed Representations Sentence/Paragraph/Document-level Document Embedding? 아이디어 : 단어를 임베딩 할 수 있다면 centences, phrases, documents도 되지 않을까? 실제로 많이 하는 부분 위의 그림은 각각의 문단들에 대해서 먼저 임배딩을 한 후에 t-SNE를 통해서 차원 축소를 한 후 보여준 그림 하나의 점들은 각각의 paragraph 색상은 해당하는 paragraph가 속한 섹션 주게가 비슷한 위키피디아의 글들의 paragraph들이 나름대로 거리적으로 유사한 위치에 임배딩이 되고 있음 Paragraph Vecotr model? 두 가지 형태 첫번째 형태 : distr.. 2020. 4. 19.
비정형데이터분석(강필성교수님)(9)-Glove 배경, Glove Motivation, Glove Formulation, Homomorphism, Glove Solution, Glove Objective function, Glove Results, FastText, FastText Subword model Text Representation 2 : Distributed Representations Word-level: GloVe Glove 배경? 2014년도에 스탠포드에서 발표된 논문에 나온 알고리즘 Word2Vec이 가지고 있는 제 한계점을 지적 Word2Vec 한계점? 뉴럴 네트워크는 굉장히 많은 시간을 소비를 함 매우 빈번하게 자주 사용되는 단어들에 대해서 많은 시간을 학습을 한다는 얘기 예를 들면 'the' 같은 단어가 주어졌을 때 'the' 다음에 나오는 단어들에 대해 굉장히 많은 그 학습을 하게 됨 Skip-gram의 경우 'the'가 가지고 있는 그레디언트 계속적으로 학습함 다른 단어들은 한번 나올까 말까한 상황에서 'the' 라는 단어를 너무 많이 학습을 하게 되면 학습에 불균형이 존재함 G.. 2020. 4. 15.
다변량통계분석 및 데이터마이닝(김성범 교수님)(11)-뉴럴네트워크 파라미터, 경사하강법, 출력층, 은닉층, 입력층, 오류 역전파 알고리즘 뉴럴네트워크 뉴럴네트워크 파라미터? 파라미터 : 층 간 노드를 연결하는 가중치 $(w_{11},...,z_{11})$ → 알고리즘으로 결정 하이퍼파라미터 : 은닉층 개수, 은닉노드 개수, activation function → 사용자가 임의로 결정 경사하강법 (Gradient Descent Method)? $w_{t+1} = w_{t} - \alpha \cdot L'(w_{t})$ $0 < \alpha < 1$ : learning rate 좀 더 섬세하고 촘촘히? Small $\alpha$ 좀 더 빠르게? Large $\alpha$ 뉴럴네트워크 학습? 입력 (X), 출력 (T), 예측 (O) $D_{1} = (x_{11},x_{12},...,x_{1d},\ t_{11},t_{12},...,t_{1m})$.. 2020. 4. 15.
다변량통계분석 및 데이터마이닝(김성범 교수님)(10)-뉴럴네트워크, 선형회귀모델, 로지스틱 회귀모델, 퍼셉트론, 단순 퍼셉트론, 2중 퍼셉트론, 다층 퍼셉트론, 뉴럴네트워크 파라미터, 활성.. 뉴럴네트워크 선형회귀모델? Y가 연속형: 입력변수(X)의 선형결합으로 출력변수(Y)를 표현 $f(X) = w_{0}+w_{1}X_{1}+w_{2}X_{2}+...+w_{p}X_{p}$ 로지스틱 회귀모델? Y가 범주형: 입력변수(X)의 비선형결합(로지스틱 함수 형턔)로 출력변수(Y)를 표현 $f(X) = \frac{1}{1+e^{-(w_{0}+w_{1}X_{1}+w_{2}X_{2}+...+w_{p}X_{p})}}$ 입력변수의 선형결합 후 선형결합 갑의 비선형 변환(Nonlinear transformation) 퍼셉트론(Perceptron)? 단층 퍼셉트론 - 초기 뉴럴네트워크(1957년 Frank Rosenblatt 개발) 입력값의 선형결합 값을 구하고 그 값이 0보다 큰지를 여부로 분류 단순 퍼셉트론 예.. 2020. 4. 15.