왜 deep learning을 사용하려고 하는가?

tabular 데이터에서 효과적으로 학습하는 deep learning 의 장점은?

1. 자동화된 엔지니어링

deep learning을 이용해 전처리를 대신 할 수 있다.

1. transfer learning

transfer learning을 통해 pre training된 모델을 원하는 테스크에 fine-tuning하여 적용 할 수 있음

1. 단일 모델에서 비정형 데이터 및 다양한 데이터와 결합 가능

트리 계열 모델은 화장이 불가능 하나 딥러닝 기반의 접근 방법에서는 멀티모달과 다른 입력 데이터를 비교적 자유롭게 조합 가능

1. 활용의 유용성

1~3번과 더불이 representation vector 를 생성하여 다양한 방법으로 응용 가능

ex) few shot learning, cross domain recommendation, etc ….

Tabular data에서 deep learning의 성능이 좋지 않은 이유

이렇게 좋은점이 있는데 왜 tabular 데이터에서 XGboost, CatBoostm LightGBM 들과 같은 트리계열 모델 모델을 사용할까?

1. 데이터에 종종 상관 관계가 있으므로 특성이 작은 하위 집합이 대부분 예측을 담당
2. NULL 데이터베이스의 값 형태로 누락된 데이터
3. imbalance
4. 이질적인 데이터가 비정형 데이터에 비해 비교적 많음(목표와 관련 없는 feature)
5. 각 feature 별 의미 단위가 달라 scaling 적용이 어려움
6. 데이터에 비해 실질적인 정보량이 적음
7. feature의 value의 차이값이 거의 없는 데이터가 발생할 가능성이 높음