코딩가딩가딩

CBOW와 skip-gram을 비교하며 공부해보았다.

단어의 연관도를 분석하는 인공지능을 탐색하던 중 Word2Vec라는 알고리즘을 발견하여 공부해보았다. 단어를 벡터로 표현하면, 벡터 연산이 가능해진다. 벡터 연산을 하면 앞에서 봤던 것처럼 ‘king – man + woman = queen’이라는 연산이 가능해진다. (단, 벡터가 단어의 의미를 잘 표현하고 있을 경우에 가능) - 단어를 여러 차원에 분산하여 표현했을 때의 장점 1) 적은 차원으로 대상을 표현할 수 있다. 원핫인코딩처럼 표현하면 단어의 수만큼 차원을 사용하지만, word2vec처럼 표현하면 차원의 크기를 설정하여 거기에 맞춰서 벡터가 표현된다. 보통 20~200차원 정도 사용. 2) 입력 데이터에 0이 많으면 데이터에서 정보를 뽑아내기 어렵지만, 각각의 차원이 모두 정보를 가지고 있으면 모..

인공지능을 이용해 영어 단어의 연관성을 분석하고, 그 분석 정보를 바탕으로 영어 단어를 입력했을 때 함께 공부하면 도움이 될 영어단어를 추천해주는 앱을 개발하려고 한다. 그 과정에서 인공지능 부분을 맡게 되면서 인공지능을 이용해 영어 단어의 연관성을 찾는 방법에 대해 공부를 하고 있다. 단어의 연관성 탐색을 하는 인공지능 알고리즘 중에 Word2Vec라는 알고리즘이 있기에 깊이 공부해보려 한다. ▶ Word2Vec란? - 신경망을 기반으로 한 비지도 학습 알고리즘 - 자동으로 단어 사이의 관계를 학습한다. - Word2Vec 아이디어: 비슷한 의미를 가진 단어를 비슷한 클러스터*로 모으는 것 - Word2Vec에서 만든 벡터 공간을 이용하면 간단한 벡터 연산으로 단어를 생성할 수 있다. 예) king -..