딱 몇페이지만 시리즈/딱 3페이지만17 머신러닝 딱 3페이지만(9)-회귀 계수 및 절편, 훈련과 테스트 세트 성능 비교, Ridge 회귀, L2 규제, Ridge alpha 계수와 절편? 기울기 파라미터(w)는 가중치(weight) 또는 계수(coefficient)라고 하며 lr 객체의 coef_ 속성에 저장되어 있음 편향(offset) 또는 절편(intercept) 파라미터(b)는 intercept_ 속성에 저장되어 있음 print("lr.coef_:", lr.coef_) print("lr.intercept_:", lr.intercept_) lr.coef_: [0.394] lr.intercept_: -0.031804343026759746 intercept_ 속성은 항상 실수(float) 값 하나지만 coef_ 속성은 각 입력 특성에 하나씩 대응되는 Numpy 배열 wave 데이터셋에는 입력 특성이 하나뿐이므로 lr.coef_도 원소를 하나만 가지고 있음 훈련과 테스트 세트.. 2020. 3. 31. 자연어 처리 딱 3페이지만(8)-PMI, 동시발생 행렬 PMI, PPMI, PPMI 행렬 PMI 정의? PMI는 확률 변수 x와 y에 대해 다음 식으로 정의 $PMI(x,y)=log_{2} \frac{P(x,y)} {P(x) P(y)}$ P(x)는 x가 일어날 확률 P(y)는 y가 일어날 확률 P(x, y)는 x와 y가 동시에 일어날 확률 PMI 값이 높을수록 관련성이 높음 자연어에 적용? P(x)는 단어 x가 말뭉치에 등장할 확률 10,000개의 단어로 이루어진 말뭉치에서 "the"가 100번 등장하면 $P("the") = \frac{100}{10000}=0.01$ P(x,y)는 단어 x와 y가 동시발생할 확률 "the"와 "car"가 10번 동시발생했다면 $P("the", "car") = \frac{10}{10000}=0.001$ 동시발생 행렬에서의 PMI? 동시발생 행렬(각 원소는 동시.. 2020. 3. 27. 머신러닝 딱 3페이지만(8)-선형 모델, 회귀 모델, 선형 회귀, 최소제곱법, 평균제곱오차 선형 모델을 위한 일반화된 예측 함수? 회귀의 경우 선형 모델을 위한 일반화된 예측 함수는 다음과 같음 $\hat{y} = w[0]\times x[0]+w[1]\times x[1]+...+w[p]\times x[p] + b$ x[0]부터 x[p]까지는 하나의 데이터 포인트에 대한 특성을 나타냄(특성의 개수는 p+1) w와 b는 모델이 학습할 파라미터 $\hat{y}$는 모델이 만들어낸 예측값 특성이 하나인 데이터셋? $\hat{y} = w[0]\times x[0]+b$ w[0]은 기울기고 b는 y 축과 만나는 절편 특성이 많아지면 w는 각 특성에 해당하는 기울기를 모두 가짐 예측값은 입력 특성에 w의 각 가중치(음수 가능)를 곱해서 더한 가중치 합으로 볼 수 있음 wave 데이터셋에 대한 선형 모델의 예.. 2020. 3. 27. 자연어 처리 딱 3페이지만(7)-유사 단어, argsort(), 상호정보량, 점별 상호정보량 유사 단어의 랭킹 표시? 어떤 단어가 검색어로 주어지면, 그 검색어와 비슷한 단어를 유사도 순으로 출력하는 함수 구현 def most_similar(query, word_to_id, id_to_word, word_matrix, top=5): '''유사 단어 검색 :param query: 쿼리(텍스트) :param word_to_id: 단어에서 단어 ID로 변환하는 딕셔너리 :param id_to_word: 단어 ID에서 단어로 변환하는 딕셔너리 :param word_matrix: 단어 벡터를 정리한 행렬. 각 행에 해당 단어 벡터가 저장되어 있다고 가정한다. :param top: 상위 몇 개까지 출력할 지 지정 ''' # 검색어를 꺼낸다 if query not in word_to_id: print('%s.. 2020. 3. 26. 이전 1 2 3 4 5 다음
