인간의 편향은 과적합에서 비롯된다

인간은 스스로의 컴플랙스로 뭔가의 현상을 설명하려하고 그 원인에 대해 하나씩 추가로 찾아 부연하는 특성이 있다.
그리고 그런한 학습의 반복은 나름의 예측(노하우) 능력으로 발휘되곤한다.
문제는 그 예측 능력이 정교해지면 정교해질 수록 예측 능력이 떨어진다는 점이다.
이는 마치 포커나 주식 시장에서 초보가 돈을 더 벌고 (어설프게, 경험이 무르익지 않을동안)배우면 배울수록 더 잃거나 예측이 틀리는 현상을 낳는다.

인공지능이 그렇듯 인간 또한 경험(학습 또는 사회생활) 대비 지식(교육 이수, 스터디)더 급하게 늘어난 경우 정교한(로컬라이제이션한, 특정) 영역에서만 효과릉 빌휘하게 된다.

이런경우, 예측을 할때 다수의 변수 모두를 고랴해서 반영하기보다, 변수들 중 상위 1-2개만 뽑아 예측요인으로 활용해야한다.
마치 주식에서 매입시 매도 시기를 단순시 몇%로 정하고 넘어서면 무조간 파는 습관을 들이는 것과 비슷하다할 수 있다


이런 내용은 생각에 관한 생각에 보다 구체적으로 설명하고 있다.

단순한 통계 규칙이 직관적인 '임상적 판단' 보다 뛰어나다 - https://normalstory.tistory.com/m/entry/%EB%8B%A8%EC%88%9C%ED%95%9C-%ED%86%B5%EA%B3%84-%EA%B7%9C%EC%B9%99%EC%9D%B4-%EC%A7%81%EA%B4%80%EC%A0%81%EC%9D%B8-%EC%9E%84%EC%83%81%EC%A0%81-%ED%8C%90%EB%8B%A8-%EB%B3%B4%EB%8B%A4-%EB%9B%B0%EC%96%B4%EB%82%98%EB%8B%A4


인간의 편향 또한 결국 경험 또는 학습의 과적합에서 비롯되기 때문이다


전문가(스페셜리스트) 일반인 보다 더 세부적이고 디테일한 부분까지 포착하는 능력이 있다.
일반인이 미처 고려하지 못하는 부분까지 고려한다.
하지만 이 점은 특정 로컬(영역)을 벗어나는 순간 무용지물이 된다.
그래서 예측은 스페셜리스트가 아닌 제너럴리스트의 몫이된다. (물론 여기서 제너럴리스트는 일반인 같이 무지?한 제너럴이 아닌 다수의 스페셜이 패키지된 제너럴이다.)
종종 집단지성으로 난제를 풀어내는 경우가 이런 상황과 비슥하다고 볼 수 있다.


어쩌면 그래서
오프라인 전문 집단인
택시회사에서 타다나 카카오택시를 만들지 못하고
변호사 단체가 로톡을 만들지 못하는 까닭이다.

반면에 몇몇 온라인 전문 집단은 유연한 문화를 가지고 있는 편이다.
구글과 메타는 그들만의 디테일과 조건에 대한 충족능 기다리느라 과적합한 서비스를 만들거나 괴적합한 정책(비즈니스모델)을 수립한 반면 오픈ai는 일단 최소모델로 오픈해서 서두자가 될 수 있었고, 구글과 메타는 안주하거나 변화를 수용해서 집나간 소를 이끌고나와 소 외양간을 소 스테이션으로 변화시킨다.
그래서 잘하는 곳들은 린스타트업, 에자일 하나보다.