티스토리

코딩일기

검색하기

블로그 홈

코딩일기

wjswhdgur123.tistory.com/m

전종구 님의 블로그입니다.

구독자: 0

방명록 방문하기

주요 글 목록

[부스트캠프 AI Tech] day18 Review seq2seq 단어 시퀀스를 받아 단어 시퀀스를 출력하는 자연어 처리 모델로 입력된 단어 시퀀스를 처리하는 인코더 rnn과 출력할 단어 시퀀스를 처리하는 디코더 rnn으로 이루어져 있다.(파라미터 공유x) 느낀점 이론설명, 실습과 과제를 통해 해당 모델을 더 잘 이해할 수 있었다. Peer Session 과제 리뷰, cnn을 이용한 사진을 종류별로 판별하여 삭제하거나 저장하게 해주는 어플리케이션 소개(내가 발표하였다.)등에 대해 이야기 하였다. 공감수 0 댓글수 0 2021. 2. 17.
[부스트캠프 AI Tech] day16 Review NLP 자연어를 처리 low level 단계에선 문장을 의미별로 분해한다. stemming은 단어의 어근을 추출(의미) word and phrase level에선 New York Times와 같은 띄어쓰기를 포함하는 것을 하나의 고유 명사로 인식 해야한다. Sentence level에선 문장의 긍정,부정을 판별한다. Multi sentence and paragraph level에선 문장간 논리적 내포나 모순을 예측하거나 문서를 요약하거나 대화를 수행할수 있는 시스템, 독해기반의 질의 응답등 고차원의 작업을 수행한다. 텍스트마이닝 과거의 정보들을 빠르고 지능적으로 처리하여 키워드를 추출하거나 분석한다. Bag of Words 원핫 인코딩을한다, 단어의 순서는 고려할 수 없다. Naive Bay.. 공감수 1 댓글수 0 2021. 2. 15.
[부스트캠프 AI Tech] day15 Review Generative model 생성몸델이란 주어진 학습 데이터를 학습하여 학습데이터의 분포를 따르는 유사한 데이터를 생성하는 모델 학습 데이터 속에 샘플마다 픽셀들의 분포를 알 수 있응ㄴ데, 이를 이용해 유사한 데이터를 생성한다. 학습데이터의 분포와 차이가 적을수록 더욱 실제와 유사한 데이터를 생성할 수 있다. 베르누이 분포 매 시행마다 오직 두가지 가능한 결과만 일어난다고 가정할 때, 두개중 하나의 값으로 표현되는 데이터확률분포 Peer Session 팀원들끼리 깃헙다루는 명령어들에 대하여 공부하였고(작업을 진행하다가 이전 커밋상태로 돌아가기위한 checkout 명령어, fork한 저장소를 최신 원본과 동기화 시키기위한 방법,다른 브랜치의 일부파일 복사하는 방법 등) LSTM을 라이언이 공.. 공감수 0 댓글수 0 2021. 2. 5.
[부스트캠프 AI Tech] day13 Review CNN(Convolutional Neural Network) Convolution이란 이미지를 블러처리 하거나, 뽀샤시해지는 효과, 강조하는 효과등을 내기위한 과정이다. 커널이라고 하는 행렬의(stride와 padding에 따라 이동하는 방법이 바뀐다) 이동에따라 결과값이 도출된다. Stride는 옆으로 몇칸씩 건너가며 연산을 수행할 지 알려주고, Padding은 연산을 적용할 데이터의 테두리를 얼마두께로 두를지를 알려준다. 1x1 convolution layer는 말 그대로 input채널과 행과 열의 사이즈가 같다. 하지만 차원이 더 적을 수 있다. 차원의 수를 줄임으로써, 파라미터의 수를 줄여 더 효율적으로 모델을 구성하기 위하여 사용한다. AlexNet,ResNet,VGGNET,Goog.. 공감수 0 댓글수 0 2021. 2. 3.
[부스트캠프 AI Tech] day 12 Review Training error와 Test error는 다른 것이다. 이둘의 차이를 최소한으로 줄이는 것을 Generalization Performance를 좋게 한다고 말 할 수 있다. 데이터를 k개의 partition으로 분할한 뒤 k-1개의 셋으로 학습을 시키고 1개의 셋으로 테스트를 진행(validation dataset은 학습 데이터에 포함)하면서 최적의 하이퍼 파라미터 셋을 찾아가는 과정을 Cross Validation이라고한다. 다만, 테스트 데이터는 건드리지 않는게 좋다(일종의 치팅) 고정된 학습데이터를 분리하여 모델을 여러개 만들어 전체 모델의 성능향상을 꾀하는 것을 일반적으로 Bootstraping 이라고하는데, Bagging 기법이란, 학습데이터 셋을 여러개 만들고 여러모델을 .. 공감수 0 댓글수 0 2021. 2. 2.
[부스트캠프 AI Tech] day11 Review 인공지능 인간의 지능을 모방한다 라는 큰 슬로건 그안에 데이터를 통해 학습하는 Machine Learning 분야가 있고 그안에 Deep Learning이 존재한다. Deep Learning 먼저 무엇인가를 학습하기위한 data를 필요로하고 모델이 필요하며, 이 모델을 학습하기 위한 Loss function, loss를 최소화 하기위한 알고리즘을 필요로한다. 크게 classification(고양이 인지 개인지 등을 구별하는 문제), Semantic Segmentation(이미지를 픽셀별로 구분해내는 문제), Detection(이미지 안의 물체를 bounding box로 나타내주는 문제), Pose Estimation(사람의 skeleton 정보 등을 시각화), Visual QnA(이미지,문장.. 공감수 0 댓글수 0 2021. 2. 1.
[부스트캠프 AI Tech] day9 Review 이산확률변수 vs 연속확률변수 문제에 맞게 손실함수를 적절히 사용하기위해 확률론을 공부하자. 이산확률변수란 연속되지 않는 변수를 뜻하고,(ex. 횟수,요일...) 연속확률 변수란 연속되는 변수를 뜻한다.(ex. 키,몸무게..) 데이터 공간에서 연속확률변수를 구간을 나눠 샘플링을 통해 이산확률변수로 바꿔 사용하기도 한다. pandas.groupby 통상적으로 split => apply => combine 과정을 거친다. 하나 또는 여러개 항목을 기준으로 묶어 sum,mean등 각종 연산을 지원한다. 엑셀의 기능들을 pandas에서 지원한다. 레벨을 지정해주면 series 데이터형으로 바뀌므로 각종 연산이 가능하다. 기대값 확률분포가 주어지면 데이터를 분석하는데 사용 가능한 여러종류의 통계적 범.. 공감수 1 댓글수 0 2021. 1. 28.
[부스트캠프 AI Tech] day8 Review layer 층이 깊을수록 목적함수를 근사하는데 필요한 노드(뉴런)의 수가 적으므로 효율적이다. Softmax 입력받은 값을 출력으로 0~1 사이의 값으로 모두 정규화하며, 출력값들의 총합은 항상 1이되는 특성을 가진 함수 분류하고 싶은 클래스의 수만큼 출력 갯수를 구성한다. 학습을 시킬때 주로 사용되는 활성화 함수이고 통상적으로 추론을 할때는 잘 사용하지 않는다. 신경망 선형모델과 활성함수를 하나의 묶음으로 보면, 여러묶음의 선형모델+활성함수로 구성되어있다. 활성함수란 입력 신호의 총합을 출력 신호로 변환해주느 함수로, 보통 선형을 비선형으로 근사하기 위하여 사용한다. Numpy & Pandas Numpy는 같은 데이터타입의 다차원배열을 지원하고, 난수생성이가능하며 연산가능하다. Pandas.. 공감수 1 댓글수 0 2021. 1. 27.
[부스트캠프 AI Tech] day7 Review 경사 상승& 하강법 미분값을 더해주며 함수값이 최대화 되는 위치를 찾는다.(경사 상승법) 미분값을 빼주며 극소값을 구한다(경사 하강법) 그레디언트 벡터 다변수 함수(벡터가 입력) 인 경우, 편미분을 변수 갯수만큼 계산 가능하다. 이 그레디언트 벡터를 통해 모델을 개선해나간다. 확률적 경사하강법(SGD) mini batch(데이터의 일부)를 통해 볼록한 모양이 아닌 목적식을 최적화한다. 구간마다(mini batch) 목적식의 모양이 바뀌므로 조금더 괜찮은 결과를 도출할 수 있다. 데이터를 조금씩 가져와 모델을 학습시키므로, 하드웨어적 한계를 해결할 수 있다. 느낀점 어렴풋이 알고 있었던 경사하강법과, 확률적 경사하강법에 대하여 조금 더 심도깊은 이해를 할 수 있었고, 정확한 원리에 대해서 배울.. 공감수 1 댓글수 0 2021. 1. 26.
[부스트캠프 AI Tech] day10 Review Selenium 브라우저 및 플랫폼에서 웹 응용 프로그램을위한 무료 자동화 테스트 도구 BeautifulSoup에 비하여 동적인 크롤링이 가능하다.(사람이 클릭 하는 것과 마찬가지로 기존의 크롤러와 달리 마우스,키보드 등의 동작과 html과의 상호작용이 편하고 원할하다.) 페이지 정보를 받아오지 않고 실제로 브라우저를 실행시킨다. 후에, 브라우저 드라이버(별도 설치 필요)를 통하여 정보들을 가져오게된다. matplotlib & seaborn matplotlib은 대중적이고, 많은 파이썬 라이브러리의 근간이 된다. 복잡한 구조로 인해 요즘 사용 빈도와 대중성이 떨어지지만 초심자가 사용 해보기 좋은 시각화 라이브러리이다. seaborn은 matplotlib을 기반으로 제공되어, 상호호환이 가능하.. 공감수 2 댓글수 0 2021. 1. 25.
[부스트캠프 AI Tech] day5 Review Exception 예상가능한 오류와 예상 불가능한 오류(인터프리터 과정에서 발생하는)가 있다. 프로그램이 종료되는걸 방지하기 위하여, 적절한 Exception Handling을 필요로한다. 예외를 던지는 코드는 좋지 못한 코드이다. 주로 if문은 로직에서의 분기를 의미하고 try/except는 파일 문제에 자주 사용된다. file 크게 text file과 binary file로 나뉘는데, binary file의 경우에는 컴퓨터만 이해가능한 파일로 메모장에서 열면 깨진다. 이에 반해 text file은 메모장으로 읽기가 가능하다. log 핵을 잡거나, 특정 사용자의 비정상적 행위를 감지하고 제지하기 위하여 log를 남겨주는게 좋다. DEBUG -> INFO -> WARNING -> ERROR .. 공감수 0 댓글수 0 2021. 1. 22.
[부스트캠프 AI Tech] day4 Review OOP 파이썬은 객체지향언어 중 하나이다. 객체란 action과 attribute로 이루어져 있다. 클래스명을 작성할때에는, camelCase를 따른다. 파이썬 파일구조 파이썬에서 모듈이랑 .py 파일을 의미하고, import하는 순간 특정(내가 지정한) 모듈은 메모리에 로딩된다. import 시에, 모듈전체가 메모리에 로딩 되기 때문에, if name=='main' 을 이용하여 import되어 부속품으로 사용되어지는 모듈이 아니라 그 모듈 자체를 돌릴때 main함수가 실행되게 할 수 있다. 별칭(alias)를 설정하여 보다 간단하게 이름을 바꿀 수 있다. 가상환경 파이썬 관련 설치 모듈들을 가상환경 별로 관리 할 수 있다. 강의 맨 마지막 부에 언급을 해주셔서 따라 했는데 잘.. 공감수 0 댓글수 0 2021. 1. 21.
[부스트캠프 AI Tech] day3 Review Pythonic Code 다른사람의 코드를 참고하거나 일관성 있는 코드작성, 효율성 등의 이유로 pythonic한 코드를 작성하여야 한다(거의 표준). 아래와 같은 방법으로 pythonic한 code를 만들 수 있다. split & join 리스트가 주어져 있을때 '기준'.join(list)와 같은식으로 각각의 원소들을 기준으로 합칠 스 있고, str을 str.split(기준) 과 같이 자를 수 있다. List Comprehension import pprint case1=['A','B','C'] case_2=['1','2','3'] a=[i+j for i in case1 for j in cas.. 공감수 0 댓글수 0 2021. 1. 20.
[부스트캠프 AI Tech] day2 Review Python에서 새로 안 내용 print(f"{}")과 같은 형태로 출력을 해주는 fString문법 리스트를 복사할때 ex)arr1=[1,2,3,4] , arr2=arr1 과 같은 과정을 진행하게 되면, arr1,arr2 이 두변수 중 어느것 하나만 리스트의 값을 바꿔도 참조하는 메모리가 같기때문에 둘 다 값이 바뀐다.(같은 값) arr1=arr2[:]와 같은 방법으로 복사 할 수 있고, 2차원 이상의 리스트는 copy library의 deepcopy를 사용하여 복사해준다. function type hints라는 것은 처음보는 사용자나 협업시에 조금더 한눈에 파라미터의 타입과 리턴타입을 파악하기위해(파이썬은 동적으로 변수의 타입이 정해지므로, 조금 더 한눈에 알아보기쉽게 바꿔준다.)사용한다... 공감수 0 댓글수 0 2021. 1. 19.
[부스트캠프 AI Tech] day1 강의내용 복습 파일시스템이란? 파일시스템이란 파일을 저장하는 트리구조의 저장체계이다. 일반적으로 폴더와 디렉토리는 같은말이고 이 폴더(=디렉토리) 안에 파일이 저장되는 구조이다. Shell & Kernel & Terminal 이란 ?? 커널은 하드웨어를 통제하는 핵심 코어(OS)라고 할 수있고, 쉘은 이러한 커널을 통제하는 명령어 체계를 말한다.(맥에서 bash, zsh 등) 터미널은 명령어들의 입출력 값을 받는곳을 의미한다. Python이란? 운영체제에 상관없이 돌아가는 프로그램 인터프리터언어로, 소스코드를 실행 시점에 해석하여 작성이 간단하고 메모리를 적게잡아먹는 이점이 있지만 실행속도가 느리다.(최근에는 많이 개선되었다.) 실행순서가 아닌 단위모듈 중심으로 프로그램이 작성되어진다. 실행시점에 데이터.. 공감수 0 댓글수 0 2021. 1. 18.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.