AOC55

Cloud, Devops, Backend, Kubernetes, Openstack, ...

전체 글 33

데이터 :: [케라스 및 딥러닝] 머신러닝의 기본요소-1

아래 내용은 '케라스 창시자에게 배우는 딥러닝' 서적의 내용을 정리한 내용임 머신러닝 4가지 분류 지도학습 비지도학습 ex) 차원 축소, 군집 등 지도학습 풀기전 데이터셋 이해를 위해 필수로 거침 자기지도학습 사람이 만든 레이블 사용하지 않고, 학습과정에 사람이 개입하지 않는 지도학습, ex) 오토인코더 강화학습 환경에 대한 정보를 받아 보상을 최대화 하는 행동을 선택하도록 학습 머신러닝 모델의 평가 훈련 / 검증 / 테스트 데이터 세트 정보누설 방지 모델은 간접적으로라도 테스트 세트에 대한 정보 얻으면 안됨 검증방법 단순 홀드아웃 검증 K-겹 교차검증 셔플링을 사용한 반복 k-겹 교차검증 유념사항 - 대표성 있는 데이터: 레이블 분포 등을 확인하여, 셔플 등을 진행 - 시간의 방향: 과거로부터 미래를 ..

IT/Data & AI 2020.08.28

데이터 :: [캐글 Kaggle] Competitions 카테고리 타입

캐글 입문 하는 중에, Competitions 중에서도 카테고리 타입이 여러개 있어서, 차이점을 보던중 정리한 글이다. 일반적인 유형 Featured - 캐글의 가장 잘 알려진 대표적인 타입 - Full-scale의 머신러닝 과제들, 다소 어렵고 실제 상업적인 목적을 가진 과제들에 대한 예측 - 과제에 대한 상금도 있고, 그에 따라 전문가들도 많이 참여해서 참여시 스킬/테크닉 들을 배울 수 있을 것 같다 Research - 주로 실험적인 주제 들에 대한 Competitions - 실험적인 주제인 만큼, 상금이나 포인트 등이 주어지지는 않는 것 같다. - 실험적인 주제인 만큼 깔끔하거나 쉬운 솔루션이 없을 수 있음! Getting Started - 가장 쉽고, 접근하기 좋은 주제들 (New User를 위한..

IT/Data & AI 2020.08.04

IT :: 개발 시 보안 관련하여 주의해야할 사항2 (시큐어코딩/Secure Coding)

사내 교육 시, 교육 받았던 내용에 대해서 간단히 정리한 내용임. > 주의사항 1편 접근 제어 및 권한 관리 부적절한 인증/인가 정의/원인 - 인증(신원 식별)과 인가(자원 권한 확인)가 제대로 진행되지 않아 발생하는 취약점 - 접근 불가능한 시스템 자원, 권한 없는 메뉴, 결제 금액 변조 등 수행 가능 대응방안 - ACL(Access Control List)을 이용하여 권한에 따라 적절한 기능 사용 - 서버측에서 권한 체크 - 파라미터 최소화 및 세션 활용 - 중요 정보는 암호화 - 최종 단계에서 인증 및 권한 체크 -(결제 금액 등은 클라이언트 사용된 값이 아닌 서버측 값을 사용, 클라이언트 값 사용하려면 서버측에서 크로즈 검증) 쿠키 및 세션 관리 정의/원인 - 세션ID를 탈취하여, 공격자가 해당 ..

IT :: 개발 시 보안 관련하여 주의해야할 사항1 (시큐어코딩/Secure Coding)

사내 교육 시, 교육 받았던 내용에 대해서 간단히 정리한 내용임. > 주의사항 2편 입력값 검증 부분 SQL Injection 정의/원인 - SQL문 Code Injection 기술로 악의적인 SQL문 주입하여 비정상적인 동작 유도 (ex OR 1=1) - 입력데이터에 대한 유효성 검증을 하지 않고 DB쿼리 일부로 사용하는 경우 대응방안 - 정적 쿼리를 사용하여, 쿼리문 구조 변경 방지 - 특수문자 및 키워드 필터링 처리 - 500 에러를 통한 오류정보 노출 방지 XSS 정의/원인 - 악의적인 스크립트가 웹사이트에 주입되어 공격하는 취약점 - 외부에서 입력된 값, 외부에서 입력된 정보를 갖고 있는 DB를 사용하여 동적페이지 생성 시 악의적인 스크립트를 응답의 일부로 사용하여 발생 1) Reflective..

데이터 :: Reducible error 과 Irreducible error

통계적 방법에 의해(ex Linear Regression)으로 f를 추정할때 실제 관측 결과와 예측값에는 오차가 발생하는데 이를 Prediction Error라고 함. Prediction Error에 대해 이야기 할때 보통 두가지 Error에 대해 이야기함. 1) Reducible Error & 2) Irreducible Error 1) Reducible Error Reducible Error는 f̂ 와 f의 불일치로 발생하는 오류로, 예측 수행 시 향상된 방법 등을 통해서 갭을 줄여나갈 수 있음. 2) Irreducible Error Irreducible errors는 X들로는 완전히 Y에 대해 결정할 수 없다라는점에서 기인함. X와는 의존적이지 않지만, Y에 영향을 미치는 요소들을 Irreducibl..

IT/Data & AI 2020.01.22

IT용어 :: Dedi Sever(데디서버, Dedicated Server)

회사 정책상 업무 시 담당하고 있는 서비스의 서버가 VM과 Dedi로 나누어져 복합적으로 이루어져 있다. 여기서 속칭 "데디서버" 란 Dedicated Server -> 단독으로(전용으로) 쓰는 서버 -> 물리적 서버 1대가, 기능상으로도 서버 1대의 역할만 하는것임. 즉, ㅇ VM 서버는 물리적 서버 1대 위에서, 우리 서비스 말고도 다른 서비스들 서버도 VM을 통해서 같이 실행중 ㅇ Dedi 서버는 물리적 서버 1대 위에, 우리 서비스만 실행중 라고 생각하면 될 것 같다.

IT용어 :: WSDL(Web Services Description Language)

업무 시 다른 시스템과 연동을 위한 개발 진행 시 WSDL를 주고 받는 경우가 많다. WSDL이란? - 웹서비스가 제공하는 정보를 XML로 기술 - 웹서비스에 대한 구체적 내용이 들어있다 (서비스 제공장소, 메시지 포맷, 프로토콜 등등) - 주로 SOAP과 XML 결합 - 즉, WSDL을 해석하면 SOAP을 통해 해당 서비스 필요 객체를 실행할 수 있다.

자격증 :: ADsP(데이터분석 준전문가) 취득후기

2020년 1월 기준으로 작성됨 ADsP를 취득하였습니다. 취득후기 자격증, 특히 IT 자격증에 대한 효용성(?)을 평소 신뢰하는 편은 아니었으나 .. 회사에서 자격증 취득 시 응시료를 전액 지원해주기 때문에, 요즘 너무 나태해진 것 같아 겸사겸사 나름 데이터분석이 무엇인가 곁눈질이라도 해보려고 취득했습니다. 책은 위 책을 메인으로 하였으나 ... (응시시점 기준으로 해당 책 외에는 별로 다른 선택지는 없었는 걸로 기억...) (역시나 책은 다 못보고) 구글링을 통해 얻은 요약 정리본을 통해 벼락치기 했습니다. 시험 자체는 주로 이론적인 내용이 많았던 것 같고, 시험 내용중에 R에 대한 파트도 있었으나 .. R을 다룬적이 거의 없어도 풀 수 있을 정도로. 아주 간단한 정도? 함수명 외우기? 정도 였던 것..

IT/자격증 2020.01.02

파이썬:: PyQt5 - QtPlainTextEdit 객체에 텍스트 append 할때 바로 반영이 안되는 경우

최근 PyQt5를 이용해서 UI를 만들고, 로직을 짜던 중... 1) QtPushButton 클릭 2) 버튼명.clicked.connect에 연결된 함수 실행 3) 함수 내부에서 QtPlainTextEdit / QtTextEdit 에 텍스트 append 하기 (appendPlainText) 4) QtPlainTextEdit 에 append된 텍스트 확인 이 단순한 로직에서, 3번->4번에서 QtPlainTextEdit UI에 텍스트가 추가되는데 Delay가 발생한다거나, 텍스트가 한번에 출력이 안되고 해당 부분을 드래그해야 출력되는 문제가 있었다. 삽질을 거듭한 결과(PyQt5는 검색해도 별로 나오는게 없다..) 해결책은 1QCoreApplication.processEvents()cs 위 코드를 appe..

BackEnd/Python 2019.03.17

파이썬 :: logging 모듈을 활용한 로그 찍기

파이썬:: 표준 라이브러리 모듈인 'logging' 을 활용한 로그 찍기 로그 LEVEL : debug -> info -> warn -> error -> critical 순 1) 기본적인 로그 찍기123456import logginglogging.debug("debug log")logging.info("info log")logging.warn("warn log")logging.error("error log")logging.critical("critical log")cs 출력) 기본 level은 'warn'이기에, warn 이상 레벨의 로그만 찍히는 걸 알 수 있다.(debug와 info 레벨의 로그는 안 찍힘) 2) 로그레벨 설정하기 12345678import logginglogging.basicConf..

BackEnd/Python 2019.02.10