6.4 Considerations in High Dimensions
Sub-Chapters (하위 목차)
6.4.1 High-Dimensional Data (고차원 데이터)
고전 통계학과 확연히 시대성이 구분되는 빅데이터, 고해상도 정보 데이터의 기원(초 미세 의료 진단기기, 검색 엔진 로그 등)과 극도로 빈약한 관측치 모델 속성을 이야기합니다.
6.4.2 What Goes Wrong in High Dimensions? (고차원에서 발생 가능한 고질적 부작용들)
예측 변수 $p$가 행 자료수치 $n$보다 크게 되면, 기존의 OLS 최소제곱법이 모든 노이즈 패턴 데이터마저 완벽 무결하게 암기 적합해 버려 결국 모델 일반화를 망치는 이유입니다.
6.4.3 Regression in High Dimensions (모델 선택과 축소로 고차원 회귀 대응하기)
앞선 장에서 학습한 라쏘, 릿지 페널티, 부분 집합 축소 전개법이 고차원 다수 변수의 매개 자유도를 가혹할 정도록 억제하기에 오히려 최적의 처방약이 될 수 있는 유효 메커니즘을 증명합니다.
6.4.4 Interpreting Results in High Dimensions (고차원 분석 결과의 지나친 맹신 방지와 해석 윤리 주의사항)
방대하고 유연한 변수들 끼리는 고도의 내부 공선성을 띨 다중공선성 확률 구조가 압도적이라는 사실을 배우며, 어떤 변수가 뽑혀도 대안 중 하나에 불과하며 완전한 결론이라 단정짓지 말아야 함을 안내합니다.
서브목차