데이터리드가 될 예정입니다.

[실무로 통하는 인과추론 with 파이썬]을 읽고 내용을 정리한다.(스터디) 실무로 통하는 인과추론 with 파이썬 - PART 4에서 이어집니다. PART 5. 대안적 실험 설계10장 지역 실험과 스위치백 실험지역 실험 & 스위치백 실험: 실험 대상의 수가 적을 때 대안적 실험 설계 방법 통제집단합성법목표: 전체 실험 대상의 평균 행동을 근사하는 소규모 실험 대상 집단을 찾는 것장점: 실험 대상의 수가 상대적으로 적을 때 매우 유용하다.평균을 잘 재현하는 실험 대상에 처치할 수 있다.이월 효과의 차수가 커서 처치효과가 사라지는 데 오랜 시간이 걸리는 경우에 적합하다. → 이월 효과의 차수가 작을 때는? 스위치백 실험 f: 각 실험 대상이 전체 평균에 기여하는 가중치w: 가상의 실험군에 대한 가중치v: ..

[실무로 통하는 인과추론 with 파이썬]을 읽고 내용을 정리한다.(스터디) 실무로 통하는 인과추론 with 파이썬 - PART 3에서 이어집니다. PART 4. 패널데이터8장 이중차분법패널데이터- 시간에 따라 반복해서 관측되는 데이터 구조 → 랜덤화가 불가능할 때 인과효과를 식별할 수 있는 대안- 여러 기간에 걸쳐 동일 실험 대상을 관측함으로써, 대상 및 시간에 걸쳐 상관관계를 활용하여 누락된 잠재적 결과 Y(1)을 추정할 수 있다. 여러 시간대 t에 걸친 여러 실험 대상 i시간 벡터 t = { 1, 2, ... , Tpre, Tpre+1, ..., T }개입(처치)은 개입 후 기간(t > Tpre)의 실험군(D = 1)에만 발생처치변수 및 개입 후에 대한 조합 W = D * 1(t > Tpre)   ..

Dataquest: Spark 강의 의 내용을 공부한 후 정리한 글입니다. Spark 등장 배경데이터 수집 추세가 증가함에 따라 기존 기술로는 대량의 데이터를 분석할 수 없었기 때문에 작업을 수행할 수 있는 새로운 도구와 접근 방식을 구축해야 했다.엔지니어들은 처음에 더 크고 강력한 컴퓨터를 사용하여 데이터를 처리하려고 시도했지만 여전히 많은 계산 문제로 인해 한계에 부딪혔다. 그 과정에서 그들은 결과를 계산하기 위해 수백 또는 수천 대의 컴퓨터에 계산을 효율적으로 분배하는 MapReduce와 같은 패러다임을 개발했다. 즉, Hadoop은 빠르게 빅 데이터를 위한 지배적인 처리 도구 키트가 된 오픈 소스 프로젝트이다.더보기MapReduce분산 서버를 마샬링(메모리 상에 형상화된 객체 데이터를 적당한 다른..

[실무로 통하는 인과추론 with 파이썬]을 읽고 내용을 정리한다.(스터디) 실무로 통하는 인과추론 with 파이썬 - PART 2에서 이어집니다. PART 3. 이질적 효과와 개인화6장 이질적 처치효과실험 대상 i마다 처치 효과 Γi가 다를 수 있다. 어떤 대상이 처치에 더 잘 반응하는지 아는 것은 처치 대상을 결정하는 데 중요한 역할을 한다.ex) 할인에 더 민감한 고객이라면 할인 쿠폰을 주면 유익하지만, 그렇지 않다면 쿠폰의 효과가 없을 수 있다.  평균 처치효과 ATE이산형일 때연속형일 때조건부 평균 처치효과 CATE: X에 대한 조건부는 각 실험 대상이 공변량 X로 정의된 특성에 따라 처치효과가 다를 수 있음을 의미한다. 머신러닝의 목적: 결과(Y) 예측 CATE의 목적: 결과에 미치는 처치(..

[실무로 통하는 인과추론 with 파이썬]을 읽고 내용을 정리한다.(스터디) 실무로 통하는 인과추론 with 파이썬 - PART 1에서 이어집니다. PART 2. 편향 보정4장 유용한 선형회귀회귀분석: 인과추론의 핵심이자 가장 많이 사용되는 방법으로 응용 방법론의 주요 구성 요소이기도 하다.*선형회귀분석은 평균제곱오차(MSE, Mean Squared Error)를 최소화하는 매개변수를 찾는다.보정 공식을 적용하려면? 데이터를 특성 X에 따라 여러 그룹으로 나눠야 한다.데이터가 특성이 많고 일부가 이산형이 아닌 연속형이라면? → 차원의 저주 발생 차원이 늘어날수록 데이터 포인트 간의 거리 계산, 데이터의 밀도, 그리고 모델의 학습 및 일반화가 어려워 지는 현상1. 데이터 희소성: 고차원 공간에서는 데이터 ..

[실무로 통하는 인과추론 with 파이썬]을 읽고 내용을 정리한다. PART 1. 인과추론 기초1장 인과추론 소개연관관계(association)는 인과관계(causation)가 아니다. 하지만 연관관계는 때로 인과관계가 될 수도 있다.연관관계: 두 개의 수치나 확률변수가 같이 움직이는 것인과관계: 한 변수의 변화가 다른 변수의 변화를 일으키는 것인과추론: 연관관계로부터 인과관계를 추론하고 언제, 그리고 왜 서로 다른지 이해하는 과학적 방법론원인과 결과의 관계를 알아야만 원인에 개입하여 원하는 결과를 가져올 수 있다.u: 모델 외부의 변수 (모델링하지 않을 변수)T: 처치변수←: 등호 대신 화살표를 사용하여 인과관계의 비가역성(nonreversibility)을 표시Y ← f(T, u): 처치변수 T는 다른..