[영단어 추천 앱] 시스템 설계 문제

영단어 추천 앱을 만들기 위해 가장 핵심 기능이라고 할 수 있는 연관어 분석 알고리즘 활용에 치명적인 문제가 있다. 지금까지 구현해오던 시스템 설계대로라면 인공지능(tensorflow)에서 어떠한 문장들을 입력 데이터로 받아 word2vec 모델이 학습을 하게 된다. 즉, word2vec 모델에서 A라는 단어와 연관되는 단어를 탐색하고 싶은 경우 A라는 단어가 학습 데이터에 포함이 되어 있어야 한다. 그런데 현재 우리가 사용하는 영어단어 데이터베이스에 있는 모든 단어가 인공지능 학습 데이터에 포함되어 있다고 확신할 수 없다. 또한, DB에 있지 않은 단어가 tensorflow에는 존재할 수 없다. 인공지능과 DB가 따로 놀고 있다고 볼 수 있다.

 

처음에는 이러한 문제를 그냥 DB의 단어와 학습데이터의 단어 중 겹치는 단어들만을 대상으로 하면 되지 않을까라는 생각으로 계속 진행을 해왔다. 하지만 이 방법은 저장공간 활용이 비효율적일 뿐만 아니라, 시스템 설계 관점에서 볼 때 좋지 않은 설계라고 볼 수 있다. 애초에 처음부터 잘못된 것이다.

 

교수님의 조언대로 생각해봤을 때, 인공지능은 연산?을 위한 도구로만 사용되고, DB에 있는 영어단어를 입력했을 때 DB에 있는 단어 사이에서 연관어를 추출해내도록 시스템이 설계되어야 한다. 이를 가능하도록 해줄 방법을 찾아야 할 것 같다.