본문 바로가기

전체 글

 (71)
[도서 리뷰] 데이터 파이프라인 핵심 가이드 이번 포스팅에서는 데이터 엔지니어링 관련 책 한 권을 추천하고자 한다. "데이터 파이프라인 핵심 가이드" 책 제목에서 알 수 있듯이 데이터 파이프라인의 정의 및 작동 방식에 대해 설명하고, 클라우드 플랫폼을 포함한 최신 데이터 인프라에서 데이터를 이동하고 처리하는 방법에 대해 다루고 있다. 또한 데이터 엔지니어가 파이프라인을 구축하는 데 사용하는 공통 도구 및 제품들에 대해 설명하고, 파이프라인이 분석 및 보고 요구사항을 지원하는 방법과 파이프라인 유지 관리, 테스트 및 경고에 대한 고려사항들을 다루고 있다. 데이터 파이프라인이 무엇이며 어떻게 구현되는지 이해하고자 하는 데이터 엔지니어와 분석팀 구성원이 이 책의 주요 독자이며, 독자가 데이터 웨어하우스 개념에 대한 기본적인 이해가 있다고 가정한다. 내가..
Data Engineer로 가는 길 학부 과정에서 정보통계학을 전공했기 때문에, 교수님과 선배들로부터 데이터 분석과 머신러닝 및 딥러닝 분야가 굉장히 핫하고 전망이 밝다는 소리를 많이 들었다. 그러다 보니 자연스레 해당 분야에 관심이 가게 되었고, 어느 순간 머신러닝과 딥러닝 공부를 하고 있는 나 자신을 발견할 수 있었다. 비록 컴퓨터공학을 전공하지는 않았지만, 나름 코딩도 잘 할 줄 알고 통계적 지식도 있었기 때문에 데이터 분석 또는 머신러닝 및 딥러닝 쪽으로 공부를 해서 취업하는 것이 나에게 적합한 길이라고 생각했다. (한편으로는 비전공자들보다 훨씬 더 취업에 유리할 것이라고 생각하기도 했었다) 그리고...마침내 데이터 사이언티스트라는 직무로 회사에 취업을 해서 일을 하기 시작했다! 초창기에는 학부 과정에서 배운 내용을 토대로 다양한 ..
[킥복싱 일지] 2023.02.26 금요일과 토요일에 맛있는 것들을 너무 많이 먹은 탓에...몸이 매우 무거워진 게 느껴졌다. 일요일 오전까지만 해도 "아...주말인데 무슨 운동이냐! 그냥 쉬자.."라는 생각으로 낮잠 잘 준비를 하다가, 누군가의 "오늘 개인 운동한다고 하지 않았어..?ㅋ"라는 말 한 마디에 흔들렸던 마음을 다잡고 운동을 하러 갔다 ^^; 오늘은 간단한 스트레칭과 줄넘기, 그리고 맨 몸 스쿼트로 몸을 풀어줬다. 오늘따라 줄넘기가 조금 잘 되는 느낌적인 느낌? 그리고 내가 팔 근육이 많이 약하다는 걸 나 스스로도 알기 때문에, 가벼운 아령을 들고 펀칭 연습을 진행했다. 아령이 작고 색깔이 예뻐서 누가봐도 여성 분들이 쓸 법한 아령이구나 하고 쉽게 생각했는데, 실제로 저걸 들고 펀칭 연습을 오래하면 팔이 뻐근하다..ㅠ 그래도 ..
[킥복싱 일지] 2023.02.20 두 번째 킥복싱 일지!! (공부 일지보다 운동 일지를 더 많이 쓰는 것 같네) 같이 운동을 하는 분들께 내가 킥복싱하는 모습을 찍어달라고 부탁할 만큼 실력이 좋지 않기 때문에, 관장님이 운동하는 수강생들을 촬영하신 짤(.gif)로 포스팅을 하도록 하겠다. 지금 다니고 있는 킥복싱장은 요일 별로 다른 프로그램들이 진행되는데, 기본적으로 월요일/화요일/목요일에는 "서킷 트레이닝"을 진행한다. 서킷 트레이닝이 무엇이냐고 물으신다면.... 아래와 같이 그냥 진짜 죽어라 몸을 굴리는 유산소 운동이다 ^^; (그렇다고 단순한 유산소 운동은 아니고, 하체 및 코어 운동도 같이 진행한다) 약 15 ~ 20분 간의 서킷 트레이닝이 끝나면, 본격적으로 글러브를 끼고 비슷한 체구의 파트너와 미트 혹은 샌드백을 치는 연습을 ..
[킥복싱 일지] 2023.02.12 오늘부터 킥복싱 일지를 작성하고자 한다! (거의 한 달만에 포스팅을 하는 것 같다. 나란 녀석...게으르다) 주중에는 킥복싱장에 가서 코치님들한테 수업을 받고, 주말에는 배운 내용들 위주로 개인 연습을 진행한 뒤 운동 기록을 틈틈이 블로그에 포스팅 해 나아갈 예정이다. 시작이 반이니까...^^ 우선 줄넘기와 스트레칭을 통해 간단하게 몸을 풀고나서 기본적인 동작들(ex. 잽, 잽원투, 원투훅, 투훅투 등) 위주로 연습을 해봤는데, 찍고 나서 영상으로 내 모습을 보니 자세가 영...별로다. 아직 갈 길이 멀구나를 다시 한 번 느꼈다. 지금까지는 주중에 배운 내용들을 주말에 따로 연습을 하지는 않았는데, 이렇게 주말에 개인 연습을 하면 실력 향상에 큰 도움이 될 것이라 믿는다! :) 비록 지금은 볼 품 없지만..
새로운 취미 생활, 킥복싱! 정말 오랜만에 포스팅을 하는 것 같다...!! (최근까지 야근에 쩔어사느라 공부고 취미생활이고 나발이고 잠시 다 던져버렸...) 오늘은 공부 기록이 아닌, 취미 생활을 공유해 보고자 한다. "그래서 무슨 취미 생활인데?" 바로... 킥.복.싱이다! 킥복싱은 이전에 접해보지 않았다면 초보자가 섣불리 배우기 어렵운 운동이라고 생각할 수 있다. 물론 나 또한 그러했다. 그러나 이 모든 것은 나의 편견이었으며, 킥복싱을 배운지 어느 덧 4개월 차인 지금은 운동을 하는 매 순간이 너무 행복하고 즐겁다! 처음에 복싱 또는 킥복싱을 배우기로 마음 먹고 난 뒤, 나에게 적합한 체육관을 찾기 위해 여러 곳에 방문하여 상담을 받았다. 그렇게 추리고 추려서 두 곳의 체육관이 후보군(A: 복싱, B: 킥복싱)에 올랐다. 먼저..
[Git] 기본 명령어 (clone, commit, push, merge 등) Git은 컴퓨터 파일의 변경사항을 추적하고, 여러 명의 사용자들 간에 파일들의 작업을 조율 하기위한 분산 버전 관리 시스템으로 소프트웨어 개발에서 소스코드 관리에 주로 사용된다. 또한 Working Directory(Local), Staging Area, Repository 이렇게 3가지 영역으로 구분되며, 각 영역 별 역할은 아래와 같다. 이번 포스팅에서는 Git의 기본적인 명령어에 대해 정리해 보도록 하겠다. 1. 저장소(Repository) 생성 및 복제 로컬에 저장소 생성 (저장소를 생성할 원하는 폴더에 들어가서 아래의 명령어 실행) git init 기존 GitHub에 있는 저장소를 로컬에 복제 2021년 8월 13일부터 GitHub는 Git 작업을 인증할 때, 비밀번호 대신 토큰을 사용하도록 변..
[FastCampus-DE] 4. Hadoop & HDFS 이번 포스팅에서는 Hadoop의 각 버전 별 특징과 HDFS에 대해 다뤄보도록 하겠다. 우선 현재 Hadoop은 v3까지 나왔으며, 간단하게 각 버전 별 특징에 대해 살펴보면 다음과 같다. Hadoop v1 HDFS(분산 저장)과 MapReduce(병렬 처리)로 구성됨 Hadoop v2 Job Tracker의 병목 현상을 제거하기 위해, YARN 아키텍처를 도입함 클러스터 관리: Resoure Manager, Node Manager 작업 관리: App Master, Container Hadoop v3 Erasure Coding 지원 기존의 블록 복제를 대체하는 방식으로 HDFS 사용량 감소 YARN 타임라인 서비스 v2 도입 JAVA8 지원 NameNode 이중화 기능 강화 다음으로 HDFS에 대해 알아..

티스토리툴바