원문 : Vaswani, Ashish, et al. “Attention is all you need.” Advances in neural information processing systems. 2017. 초록 [기존] 성능이 좋은 시퀀스 변환 모델은 encoder와 decoder를 포함한 RNN, CNN 모델을 활용 가장 훌륭한 성능은 attention mechanism을 통해 encoder와 decoder를 연결했음 [논문이 제안하는 바] Transformer - RNN과 CNN을 제거한 Attention 메커니즘만을 이용한 network architecture를 제안 2가지 기계 번역 태스크에서 RNN, CNN 보다 성능이 우수하고 학습 속도가 빠른 실험을 진행 Introduction RNN, LS..

Task Performance Experience 1) Task = data - classification: n차원의 벡터를 특정한 클래스로 나눈다. - 결측치 처리 - regression - transciption: unstructured data -> structured data (예: OCR, STT) - machine translation - structured output - 이상탐지 anomaly detection - imputation of missing values - denoising 저해상도 이미지 > 고해상도 이미지 - density estimation or probability mass function estimation 모집단의 데이터를 추정하고 싶다. 2) Performance ..

보호되어 있는 글입니다.

따봉 챗지피티야 고마워 Mission 브라운코퍼스에서, 연달아 나타나는 2개의 단어에 대해서, 각 카테고리 별로 몇번 나타나는지를 출력해 주는 함수를 정의하고자 한다. My Code from nltk.corpus import brown def freq2word(word1,word2): genres=brown.categories() for genre in genres: #brown corpus의 단어들 중 'genre' 카테고리에 있는 단어쌍 저장하기 bigrams=list(nltk.bigrams(brown.words(categories=genre)) #빈도수 받을 변수 생성 fdist=nltk.FreqDist(bigram for bigram in bigrams) #fdist의 빈도수 받아내기 freq=f..

1. 조건부 확률 : B가 주어졌을 때 A가 발생할 확률 P(A∣B)=P(A∩B)/P(B) 2. 독립 : B가 일어나든, 일어나지 않든 A의 확률은 변하지 않는다. P(A∣B)=P(A) P(B∣A)=P(B) - 독립이면 correlation이 0이지만, correlation이 0이면 반드시 독립은 아님. 3. 조건부 독립 : A and B are conditionally independent given C if and only if P(A∩B|C) = P(A|C)P(B|C) - C가 주어졌을 때만 A, B 독립 - 예) C가 교도관, A, B가 수감자 => 교도관의 명령이 있다는 걸 알면 A, B 각각 움직임(서로의 행동에 관계 없이, 독립임). C가 없으면 A는 B가 앞으로 움직인 걸 보고 움직일 것임..

* 서울시립대 AI 대학원 딥러닝 강의를 바탕으로 공부한 내용을 정리한 블로그입니다. 1. Linear Statistical Model 선형 모형 알고리즘 Linear Statistical Model relating a random response Y (dependent variable, target variable) to a set of independent variables(input variable, input feature) x1, x2, ...xk is of the form Y=β0+β1x+β2x2+...+ㅌ (노이즈) where β0,...βk are unknown parameters, ㅌ is random variable, and the x1, x2... assume know values. ..