AOC55

시작하며 금번 회사에서 진행하는 신규 프로젝트에서 MongoDB를 사용함에 따라서, MongoDB 학습중에 정리한 사항을 남겨봅니다. 모든 내용의 기반은 아래 문헌을 참고하였습니다. 또한 아래 글의 내용 중에 틀린 내용이 있을 수 있습니다. 참고문헌 몽고DB 완벽가이드 | 한빛미디어 https://product.kyobobook.co.kr/detail/S000001810370 CRUD 사용법 보기 https://aoc55.tistory.com/55 배열 연산자란? Document 에서 특정 필드에 대한 값이 배열일 경우, 해당 배열을 제어하기 위한 연산자를 의미합니다. 값이 배열인 경우 예시 db.student.findOne({"name":"aaa"}) // 실행결과 { "_id" : ObjectId("..

시작하며 금번 회사에서 진행하는 신규 프로젝트에서 MongoDB를 사용함에 따라서, MongoDB 학습중에 정리한 사항을 남겨봅니다. 모든 내용의 기반은 아래 문헌을 참고하였습니다. 또한 아래 글의 내용 중에 틀린 내용이 있을 수 있습니다. 참고문헌 몽고DB 완벽가이드 | 한빛미디어 https://product.kyobobook.co.kr/detail/S000001810370 삽입 (insert) 단일 삽입 (insertOne) db.student.insertOne({ "name" : "lee", "age" : 18 }) 복수 삽입 (insertMany) 입력한 순서에 대해 보장이 필요한 경우 (기본) db.student.insertMany([ { name: "kim1", age: 11 }, { name..

목표 구글에서 제공하는 GKE를 활용하는 것이 아니라, GCP의 Compute Engine을 통해서 VM을 생성한 뒤 Master Node, Worker Node를 직접 생성한 뒤, Docker Engine 설치 및 Kubeadm을 통해 Kubernetes Cluster를 직접 구현해보겠습니다. 이전편 보기 https://aoc55.tistory.com/53?category=979845 이번편 주요내용 kubeadm, kubelet, kubectl 설치하기 쿠버네티스 클러스터 구축하기 네트워킹을 위한 CNI 설치하기 샘플용 POD 실행시켜보기 kubeadm, kubelet, kubectl 설치하기 (중요) 아래 작업은 VM 4개 모두 공통으로 각각 진행해줍니다. 이제 kubernetes 클러스터 설치를 ..

목표 구글에서 제공하는 GKE를 활용하는 것이 아니라, GCP의 Compute Engine을 통해서 VM을 생성한 뒤 Master Node, Worker Node를 직접 생성한 뒤, Docker Engine 설치 및 Kubeadm을 통해 Kubernetes Cluster를 직접 구현해보겠습니다. 이전편 보기 https://aoc55.tistory.com/51 이번편 주요내용 도커 런타임 설치 도커 cgroup driver 설정 방화벽 및 네트워크 설정 작업준비 앞편에서 작업했던 VM 4개(master 1, worker3)에 대해 모두 앞편의 설정했던 대로 SSH 로 로그인 합니다. 본인은 작업하기 편하게 아래와 같이 터미널 창을 띄어 놓고 했습니다. 반복되는 명령어가 많아서 창을 동시에 띄어놓고 복붙으로..

Why (잡담)? kubernetes를 업무에 사용하게 되면서 공부용으로 나만의 클러스터가 필요하게 되었는데 지금 가지고 있는 노트북은 VM을 3개이상 띄울경우 힘들어하고, Docker Desktop에 있는 k8s이나 minikube 같은 경우 node가 1개뿐이라 실질적인 클러스터 환경으로 진행하기 어려웠습니다. 그래서 클라우드 서비스를 이용하기로 했고, GKE 같은 경우 이미 다 구축되어 있는 상태에서 제공해주는 서비스이기에 공부용이라는 목표랑은 안어울려서 (그리고 비쌉...) 결국 직접 GCP에 VM을 찍고 클러스터를 구축하게 되었습니다. 목표 구글에서 제공하는 GKE를 활용하는 것이 아니라, GCP의 Compute Engine을 통해서 VM을 직접 생성한 뒤 Master Node, Worker N..

공부하는 입장에서 작성한 내용이라, 틀린 부분이 있을 수 있습니다. 발견 시 지적해주시면 감사하겠습니다. Batch Gradient Descent (BGD) 먼저 알고리즘 명의 Batch의 개념은 Total Trainning Dataset 을 의미한다. (데이터를 분할 시 사용했던 batch 의미의 용어는 여기서 mini-batch로 통용) 전체 데이터 셋에 대해 에러를 구한 뒤 ⇒ 기울기를 한번만 계산하여 모델의 파라미터를 업데이트 하는 방식이다. 특징 전체 데이터에 대해서 업데이트가 한번에 이루어지므로 업데이트 횟수 자체는 적다. 그러나 한번의 업데이트에 모든 Trainning Data Set을 사용하므로 계산 자체는 오래 걸린다. 전체 데이터에 대해 Error Gradient 계산하므로 Optima..

2020년 말 취득 기준으로 작성됨. SQLD SQL(주로 Oracle, MS SQL Sever) 활용능력에 대해 평가하는 시험입니다. (물론 취지는...) 오프라인 시험으로 시험지를 본 후, OMR 마킹하는 전형적인 방식입니다. 총 50문제 및 100점으로 주관식도(10문제 안팎) 포함되어 있습니다. 과목은 아래 두 과목으로 이루어져 있습니다. 1과목: 데이터 모델링의 이해 (10문제) 2과목: SQL 기본 및 활용 (40문제) 평균 60점 이상이면 합격이나, 한 과목이라도 40점 미만이면 과락으로 총합 상관없이 불합격이다. (특히 1과목이 과락 발생하지 않도록 주의!) 공부방법 전반적으로 자격증이 DB 및 SQL에 대해 얕고 폭 넓게 다루고 있으므로, DB에 대해서 어느 정도 알고(ex 기초적인 쿼리..

2020년 말 취득시점 기준으로 작성됨 PSM (Professional Scrum Master) https://www.scrum.org/ 위 스크럼 (공식?)단체 에서 주관하는 스크럼 마스터 자격증이다. 회사에서 스크럼의 중요성을 어필하면서 자격증 취득을 권장해서 취득하였다. (PSM 중에서도 Level 1~3까지 있는 데, 본인이취득한 것은 가장 낮은 단계인 Level1이다.) 다만 아직까지 국내에서는 생소한 자격증인 것 같다. (구글링했을때 국내 자료는 거의 못본 것 같다) 시험 주요내용 시험의 주요내용은 아래와 같다. Scrum Project 개념 프로젝트 내 역할별 Role (P.O, Scrum Master, Developer) Scrum Project 진행방법 Scrum Project의 주요 산..

2020년 12월 기준으로 작성됨 Google에서 주관하는 Tensorflow Developer 자격증을 취득하여 (정확히는 Level 1) 간단히 후기를 남겨보고자 합니다. Google Tensorflow Developer Certificate 시험시간은 5시간입니다. (온라인 시험으로 언제든지 응시가능) 유효기간은 3년입니다. 준비물로 여권사본과 웹캠(이 지원되는 노트북)이 있어야합니다. IDE는 Pycharm 을 활용하여 보게 됩니다. 응시료는 100$입니다. 시험은 총 5문제이며 기본적인 회귀, 이미지 분류(CNN 등), 텍**스트 분석** 등으로 구성되어 있습니다. 내 PC에 GPU가 없다면? ⇒ 코랩과 PyCharm을 동시에 사용하면 됩니다! 자격증 대비 강의수강 본인은 회사에서 기업교육을 온..

아래 내용은 '케라스 창시자에게 배우는 딥러닝' 서적의 내용을 정리한 내용임 보편적인 머신러닝/딥러닝의 작업 흐름 1) 문제 정의와 데이터 셋 수집 - 입력데이터는 무엇이고, 어떤 것을 예측할 것인지? - 가용가능한 훈련데이터는 무엇이고 충분한지? - 어떤 종류의 문제인지? ex) 이진분류/다중분류/회귀/다중레이블다중분류/ 군집/강화학습 등? 문제 유형을 식별하게 되면, 모델 구조와 손실함수 선택에 도움이 된다 - 가설 주어진 입력으로, 출력을 예측 할 수 있다 가용한 데이터에 입력과 출력 사이의 관계를 학습하는 데 충분한 정보가 있다 -> 실제 모델이 작동하기 전 까지는, 이는 가설에 불과 2) 성공지표 선택 -정확도, 정밀도, 재현율, 고객 재방문율 등 -결정한 성공의 지표가 모델이 최적화할 손실함수..