[빅데이터/머신러닝]

Data 분석이란 측면에서 통계학과 Machine Learning은 근본적으로 동일하다.

그래서 Machine Learning을 하려면 기본적으로 통계를 공부하면 많은 도움이 된다.

 

매사추세츠 주 정부 법원에서 Machine Learning 이용해 본 결과

흑인보다 백인들의 가석방이 늘어나는 현상이 일어났는데,

이는 과거의 데이터가 그랬었기에 그러한 결과가 나온 것이 이유였던 것이다.

 

이럴 때 인종이란 변수를 빼고 적용 가능할 수도 있지만

이러한 사례에서 보듯이 Data가 Bias가 있으면 결과도 Bias가 생기고

Machine Learning이 완벽하다 말할 수는 없는 것이다.

 

 

또한, Data를 다루는 방법에서 잘못하여 주식의 가격을 예측한다 든가,

이미 현재 비즈니스를 운영 중인 회사 위주의 Data로 한다 든가 하는 Survivorship Bias,

Look-ahead Bias에 편향되어 나타난 수익률 예측 등 여러 가지 잘못된 사례가 있다.

또, 현재 증권사에서 사용하는 로보 어드바이저에서 GBM을 AI와 동일시하는데,

GBM은 예측이 불가능한 것이고,

AI는 가능한데, 이것을 동일시하고 적용한 잘못된 사례도 있다.

 

결국 Machine Learning은 Data가 중요한데,

이러한 Data를 편향 없이 제대로 만들어 넣어야 한다.

현재 증권사의 로보 어드바이저는 대개 다 엉망이어서,

모 증권사 대표조차도 그 AI의 수익률 예측을 신뢰하지 않는다고 한다.

 

다만, 최신 Trend를 이용해서 상품 판매를 해야 고객이 관심을 가지고 거래를 늘리고,

이를 통해서 수수료 수익을 얻을 수 있기 때문에 AI 도입 및 홍보에 열을 올린다고 한다.

 

AI Overfitting은 정형 Data를 이용해 통계로 분석하는 것 인데도,

굳이 Machine Learning을 적용해서 엉뚱한 결과를 가져오는 경우도 있다.

또한, 변수 간의 상관관계를 설명해야 하는데, 무조건 많은 변수를 Data로 넣으면서 오류가 발생하기도 한다.

 

 

이는 통계나 Machine Learning에 대해 제대로 배우지 않은 사람들이 이용하는 경우에 자주 발생한다.

Garbage in Garbage out(GIGO), 즉 무엇을 할 것인가 하는 문제 정의가 가장 중요하고,

그 기준에 맞게 양질의 Data를 사용하는 것이 중요하다.

그리고 통계를 쓸지, Machine Learning을 쓸지를 결정하게 된다.

 

통상은 정형 Data는 통계를,

이미지, Text, 감정 등 비정형 Data는 Machine Learning을 사용한다.

비정형 Data를 Machine Learning로 정형화한 후 통계를 사용하는 방법이 최근에는 도입되고 있다.

 

자율 주행(Self-Driving Car)은 카메라를 통해 보이는 물체에 따라 주행의 행태를 결정하도록 입력해 놓은 것인데,

카메라를 통한 input과 운전자의 반응을 축적한 Data를 Output으로 하는 Machine Learning을 사용하는 것이다.

번역도 초기에는 프로그램으로 가능할 것이라 했지만 패턴이 너무 다양해서 결국 실패하고,

여러 도서관의 책을 스캔해서 각국 번역본을 수집, 영어본을 Input으로, 한글본을 Output으로 놓고

Machine Learning을 돌려서 기계가 학습하도록 하였다.

이렇게 Input과 Output이 일관적 이도록 data를 사용한 건 기계도 학습이 가능하고 Machine Learning이 가능한 것이다.

 

 

딥서치는 이러한 Machine Learning을 활용하여 그 결과물에 대해 서비스를 제공하고 있다.

정형화된 Data뿐만 아니라 비정형 Data도 활용하여

뉴스 검색, 인물 검색, 산업 분석, 기업 분석 등 다양한 목적으로 활용하도록 서비스를 제공하고 있다.

정형 Data를 활용하여 관련 있는 기사를 Categorization 해주고, 기계를 이용해서 3줄만 요약하도록 하기도 하고,

긍정적 뉴스와 부정적 뉴스 검색, 분류해 주기도 하는데,

이것은 학습시킨 기계가 긍정, 부정을 나누어 주는 것이다.

 

파트너스 활동을 통해 일정액의 수수료를 제공받을 수 있음