데이터리드가 될 예정입니다.

책 제목: 대격변 AI 시대, 데이터로 사고하고 데이터로 리드하라저자: 알렉스 거트맨, 조던 골드마이어기록해두고 싶은 문장1장 무엇이 문제일까데이터는 복잡하다. 데이터에 관한 문제는 대부분 근본적으로 어렵다. 설사 가장 명석한 분석가가 방대한 데이터를 확보해서 적절한 도구와 분석 기법으로 작업하더라도 실수를 피하기 어렵다.3장 통계적 사고를 위한 준비를 갖추자오늘날 데이터 과학의 혜택은 실재하며 그 어느 때보다도 중요하다. 예측이 점점 정확해짐에 따라 데이터 과학 결과물의 가치는 더욱 높아질 것이며 이 분야에 대한 관심도 커질 것이다. 하지만 간혹 이런 발전은 우리를 안주하게 하고 결함을 감춰버리기도 한다. 확률적 추론과 증거에 대한 평가를 더 깊이 이해하는 것은 데이터 리드가 갖춰야 할 기본 소양이다...

Dataquest: Spark 강의 의 내용을 공부한 후 정리한 글입니다. Spark 등장 배경데이터 수집 추세가 증가함에 따라 기존 기술로는 대량의 데이터를 분석할 수 없었기 때문에 작업을 수행할 수 있는 새로운 도구와 접근 방식을 구축해야 했다.엔지니어들은 처음에 더 크고 강력한 컴퓨터를 사용하여 데이터를 처리하려고 시도했지만 여전히 많은 계산 문제로 인해 한계에 부딪혔다. 그 과정에서 그들은 결과를 계산하기 위해 수백 또는 수천 대의 컴퓨터에 계산을 효율적으로 분배하는 MapReduce와 같은 패러다임을 개발했다. 즉, Hadoop은 빠르게 빅 데이터를 위한 지배적인 처리 도구 키트가 된 오픈 소스 프로젝트이다.더보기MapReduce분산 서버를 마샬링(메모리 상에 형상화된 객체 데이터를 적당한 다른..

아직 2개월 반이 남긴 했지만, 올해는 저에게 정말 다사다난한 한 해였습니다. 다양한 스쿼드에서 전담 데이터분석가로 일했고, 여러 직무의 동료들과 협업했으며, 분석 업무 외에도 경험해보지 못했던 많은 업무들을 맡았어요. 그러다가 3분기에 들어서서는 아예 1개의 스쿼드만 맡도록 바뀌었어요. 고객이 좋아할만한 템플릿을 추천해주는 추천스쿼드 담당 DA가 된거죠. 스쿼드 내에는 추천모델을 개발하는 개발자님들이 계셨고, 그분들이 개발하신 추천모델이 고객이 실제로 좋아하는지 체크할 필요가 있었습니다. 그러기 위해서 스쿼드에서 선택한 방법은 'AB테스트'였습니다. 데이터직군이라면(데이터직군 외에도) 누구나 AB테스트에 관심이 많을 거라 생각해요. 그래서 저는 오늘 저희 팀이 진행해 온, 또 앞으로도 진행할 'AB테..

📝 강의를 듣게 된 계기 일을 잘하고 싶었다. 나를 비롯한 직장인이라면 누구나 직장을 다니는 동안 계속해서 하는 고민일테지만, 정말로 일을 잘하고 싶었다. 현재 맡은 업무를 잘 해내서 더 비중 있고 회사에서 중요하게 생각하는 프로젝트를 맡고 싶었고, 그런 프로젝트를 맡은 경험을 하나둘 쌓아나가면서 내 커리어를 발전시켜나가고 싶었다. 학생 때 제일 좋아하던 과목이 수학이었는데, 수학은 답이 명확히 정해져 있기 때문이었다. 하지만 “일을 잘한다”는 명제에는 답이 명확히 정해져 있지 않았고, 그랬기에 더욱 어려웠다. 나는 최선을 다했는데 이게 다른 팀원에게도, 고객에게도, 궁극적으로 회사 서비스 차원에서도 최선이 맞을까? 업무를 수행하는 데에 있어서 더 나은 방법은 없었을까? 등의 고민을 계속했지만 답이 나오..