공부한 것 꼭꼭 씹어먹기

데이터 복제에는 두 가지 방법이 있습니다. 데이터 복제 방법 1. 마스터 슬레이브 말그대로 주인과 하인의 관계를 만들어 내는 복제 방법입니다. 우선 데이터가 마스터 서버에 저장이 되고나면 이 데이터들은 슬레이브 서버로 복제됩니다. 읽기 작업은 마스터 서버 뿐 아니라 모든 슬레이브 서버들에서 가능하지만 쓰기 작업은 마스터 서버에서만 가능합니다. 만약 읽기에 대한 request가 증가할 경우 슬레이브 서버를 추가하여 효율적으로 처리할 수 있습니다. 그러나 쓰기 작업의 경우는 마스터 서버에서만 감당하므로, 만약 쓰기에 대한 request가 증가할 경우 성능 저하가 있을 수 있습니다. 따라서 마스터 슬레이브 복제 방법은 쓰기 작업이 많지 않고 읽기 작업이 많은 데이터 세트에 최적화된 방법이라고 할 수 있습니다...

데이터 저장의 기본 개념을 살펴보겠습니다. 외부 데이터는 대체로 직접 처리할 수 있는 상태가 아니기 마련입니다. 데이터를 저장하고 처리해서 사용하려면 데이터 랭글링(data wrangling)을 통해 데이터를 잘 다듬어야 하지요. 즉, 데이터를 여과하고 정제 및 통합하는 과정을 데이터 랭글링이라고 합니다. 처음에는 데이터의 복사본이 원본 형식으로 저장되고, 랭글링이 끝나면 처리된 데이터가 다시 저장되는 것인데요. 빅데이터의 데이터 세트를 원본이나 복사본으로 저장해야 하기 때문에 확장성 좋고 저렴한 저장 솔루션이 필요하게 됩니다. 이러한 저장 기술 관련하여 알아야 할 몇가지 개념들을 정리해 보겠습니다. 클러스터 클러스터(clusters)는 서버(or 노드)들의 모음입니다. 여러대의 컴퓨터들이 하나의 시스템..

looker 인터페이스 훑어보기 Explore를 클릭하면 3가지의 샘플 데이터가 나오는데요, E-Commerce Training, FAA, Looker Basics는 model이고 각각의 model 이하에 있는 Events, Order items... 등은 각 모델의 explore 입니다. 가장 심플해 보이는 FRUIT BASKET을 선택해 보겠습니다. Fruit Basket이라는 explore에는 Color, Fruit Type, Price 등의 dimension과 Average Price, Count, Total Price 등의 measures가 있습니다. dimension 중 Fruit Type과 Price를 선택하고 measure는 Total Price를 선택하고 Run 버튼을 클릭하면 아래 화면..

Cloud Skills Boost에서 연습하기 이제 looker를 실제로 좀 써봐야 하는데요, looker 홈페이지에 가입해서 demo 신청하고 lesson 듣고 해도 되지만 좀 더 가볍게 체험할 수 있는 방법이 있습니다. 구글 클라우드에서 제공하는 Google Cloud Skills Boost (a.k.a Qwiklabs)홈페이지에 들어갑니다. https://www.cloudskillsboost.google/ Google Cloud Skills Boost Qwiklabs에서는 개발자와 IT 전문가가 클라우드 플랫폼 및 Firebase, Kubernetes와 같은 소프트웨어를 학습하는 데 도움이 되는 실제 Google Cloud 환경을 제공합니다. www.cloudskillsboost.google 우선 ..

Looker is a tool that helps you explore, share, and visualize your company's data so that you can make better business decisions. 2020년에 구글에 인수된 looker는 데이터를 가공하고 시각화하는 툴입니다. 구글 빅쿼리와 구글 데이터 스튜디오가 있는데 looker는 왜 필요한 걸까? 하는 의문점과 함께 looker를 공부해 보도록 하겠습니다. 현재 구글은 looker와 data studio를 통합하려고 베타 테스트 중이라고 합니다. 아래 페이지에서 양식을 신청하면 테스트 해볼 수 있다고 하네요. https://cloud.google.com/blog/products/data-analytics/looke..