Twin neural network regression is a semi-supervised regression algorithm
Wetzel, Sebastian J., Roger G. Melko, and Isaac Tamblyn. “Twin neural network regression is a semi-supervised regression algorithm.” Machine Learning: Scienc...
Posts by Category
- Time-series 14
- Deep Learning paper 8
- Spatio-Temporal Data 8
- consistency injection 4
- Clustering 3
- Generative Adversarial Network 2
- Tensorflow 2
- cs231n 2
- Attention 2
- recommender systems 2
- django 2
- Keras 1
- spark 1
- unsupervised learning 1
- nlp 1
Time-series
Multi-Granularity Residual Learning with Confidence Estimation for Time Series Prediction
Hou, Min, et al. “Multi-Granularity Residual Learning with Confidence Estimation for Time Series Prediction.” Proceedings of the ACM Web Conference 2022. 202...
time series representation learning with consistency
Temporal consistency Tonekaboni, Sana, Danny Eytan, and Anna Goldenberg. “Unsupervised Representation Learning for Time Series with Temporal Neighborhood Cod...
SOM-CPC: Unsupervised Contrastive Learning with Self-Organizing Maps for Structured Representations of High-Rate Time Series
Huijben, Iris AM, et al. (ICLR poster 2023)
The Capacity and Robustness Trade-off: Revisiting the Channel Independent Strategy for Multivariate Time Series Forecasting
Han, Lu, Han-Jia Ye, and De-Chuan Zhan (2023)
Dynamic Time Warping(DTW)
두 시계열 데이터간의 유사도를 어떻게 계산할 수 있을까? 두 시계열이 동일한 길이의 시퀀스라면 단순히 상관계수를 구하는 것이 가능하지만, 현실 세계의 시계열 데이터는 그렇지 않은 경우가 많습니다. 예를 들어 아래와 같은 두 시계열 데이터를 살펴보겠습니다.
Detecting Spacecraft Anomalies Using LSTMs and Nonparametric Dynamic Thresholding
Kyle Hundman et al (2018 KDD, NASA)
RobustSTL : A Robust Seasonal-Trend Decomposition Algorithm for Long Time Series
Qingsong Wen et al (2018, Alibaba Group)
시계열 분석 part6 - Spectral analysis
지금까지 우리는 time domain에서의 여러가지 시계열 모델을 살펴보았습니다. 이번 포스팅은 주어진 시계열 데이터를 frequency domain에서 분석하는 방법에 대해서 설명하도록 하겠습니다. 수학적으로 다소 복잡해보이지만, 실제로는 numpy 등을 통해서 쉽게 활용할수 있...
시계열 분석 part5 - ARMAX, ARFIMA, ARCH, GARCH
지금까지 우리는 시계열 데이터를 설명하기 위해 ARMA모델을 살펴보고, non-stationary 시그널의 경우 differecing을 통해서 stationary 시그널을 얻은 후, ARMA를 적용하는 ARIMA 모델을 공부하였습니다. 또한 여러개의 시그널을 동시에 모델링하도록 V...
시계열 분석 part4 - VAR
지금까지는 시계열 데이터가 univariate일 경우를 모델링하는 방법을 알아보았습니다. 이번 포스팅에서는 여러개의 시계열 데이터가 존재할 경우, 즉 multivariate 모델인 Vector AutoRegression (VAR) Model을 알아보도록 하겠습니다.
시계열 분석 part3 - Non-stationary
Part1에서는 stationarity를 가정으로, 시계열 데이터의 기본 모델인 AR과 MA에 대해서 알아보고 모델의 파라미터를 추정하기 위해서 Yule-Walker Equations을 알아보았습니다. 또한 모델의 order를 결정하기 위해 ACF, PACF를 이용하는 방법을 살...
시계열 분석 part2 - practical example
지난 포스팅에서는 시계열 데이터를 모델링하기 위한 모델과 모델의 파라미터를 추정하기 위한 이론적 배경을 살펴보았습니다.
시계열 분석 part1 - Auto-Regressive, Moving-Average
시계열 데이터는 일정 시간동안 수집된 일련의 데이터로, 시간에 따라서 샘플링되었기 때문에 인접한 시간에 수집된 데이터는 서로 상관관계가 존재하게 됩니다. 따라서 시계열 데이터를 추론하는데, 전통적인 통계적 추론이 적합하지 않을수 있습니다. 현실 세계에서는 날씨, 주가, 마케팅 데이...
Deep Learning paper
Detecting Spacecraft Anomalies Using LSTMs and Nonparametric Dynamic Thresholding
Kyle Hundman et al (2018 KDD, NASA)
RobustSTL : A Robust Seasonal-Trend Decomposition Algorithm for Long Time Series
Qingsong Wen et al (2018, Alibaba Group)
How does batch normalization help optimization?
Shibani Santurkar, Dimitris Tsipras, Andrew Ilyas et al. (2018, MIT)
Self-Supervised Generative Adversarial Networks
Ting Chen et al. (Google Brain, 2018)
Deep Spatio-Temporal Residual Networks for Citywide Crowd Flows Prediction
Junbo Zhang, Yu Zheng, Dekang Qi (Microsoft Research) 2017
Clustering and Unsupervised Anomaly Detection with l2 Normalized Deep Auto-Encoder Representations
Caglar Aytekin, Xingyang Ni, Francesco Cricri and Emre Aksu (Nokia) 2017
Attention is All You Need
Ashish Vaswani et al. (Google Brain), 2017
Paper I read
Unsupervised Deep Embedding for Clustering Analysis, J. Xie, R. Girshick, A. Farhadi (University of Washington, Facebook AI Reaserch), 2016 Visualizing ...
Spatio-Temporal Data
시계열 분석 part6 - Spectral analysis
지금까지 우리는 time domain에서의 여러가지 시계열 모델을 살펴보았습니다. 이번 포스팅은 주어진 시계열 데이터를 frequency domain에서 분석하는 방법에 대해서 설명하도록 하겠습니다. 수학적으로 다소 복잡해보이지만, 실제로는 numpy 등을 통해서 쉽게 활용할수 있...
시계열 분석 part5 - ARMAX, ARFIMA, ARCH, GARCH
지금까지 우리는 시계열 데이터를 설명하기 위해 ARMA모델을 살펴보고, non-stationary 시그널의 경우 differecing을 통해서 stationary 시그널을 얻은 후, ARMA를 적용하는 ARIMA 모델을 공부하였습니다. 또한 여러개의 시그널을 동시에 모델링하도록 V...
시계열 분석 part4 - VAR
지금까지는 시계열 데이터가 univariate일 경우를 모델링하는 방법을 알아보았습니다. 이번 포스팅에서는 여러개의 시계열 데이터가 존재할 경우, 즉 multivariate 모델인 Vector AutoRegression (VAR) Model을 알아보도록 하겠습니다.
시계열 분석 part3 - Non-stationary
Part1에서는 stationarity를 가정으로, 시계열 데이터의 기본 모델인 AR과 MA에 대해서 알아보고 모델의 파라미터를 추정하기 위해서 Yule-Walker Equations을 알아보았습니다. 또한 모델의 order를 결정하기 위해 ACF, PACF를 이용하는 방법을 살...
시계열 분석 part2 - practical example
지난 포스팅에서는 시계열 데이터를 모델링하기 위한 모델과 모델의 파라미터를 추정하기 위한 이론적 배경을 살펴보았습니다.
시계열 분석 part1 - Auto-Regressive, Moving-Average
시계열 데이터는 일정 시간동안 수집된 일련의 데이터로, 시간에 따라서 샘플링되었기 때문에 인접한 시간에 수집된 데이터는 서로 상관관계가 존재하게 됩니다. 따라서 시계열 데이터를 추론하는데, 전통적인 통계적 추론이 적합하지 않을수 있습니다. 현실 세계에서는 날씨, 주가, 마케팅 데이...
Deep Spatio-Temporal Residual Networks for Citywide Crowd Flows Prediction
Junbo Zhang, Yu Zheng, Dekang Qi (Microsoft Research) 2017
위경도 - 기상청 격자 맵핑
기상청은 전국을 5km×5km 간격의 촘촘한 격자화하여 읍,면,동 단위로 상세한 날씨를 제공하는 동네예보를 제공합니다. 구역별 기상데이터를 관리하기 위해 한반도를 가로로 149개, 세로로 253개의 선을 그어 그리드형태로 관리하며, 위경도 데이터를 이 그리드 상의 좌표로 변화하는 ...
consistency injection
Semi-Supervised Learning on Meta Structure: Multi-Task Tagging and Parsing in Low-Resource Scenarios
Lim, K., Lee, J. Y., Carbonell, J., & Poibeau, T. (2020, April). Semi-Supervised Learning on Meta Structure: Multi-Task Tagging and Parsing in Low-Resour...
Twin neural network regression is a semi-supervised regression algorithm
Wetzel, Sebastian J., Roger G. Melko, and Isaac Tamblyn. “Twin neural network regression is a semi-supervised regression algorithm.” Machine Learning: Scienc...
Multi-Granularity Residual Learning with Confidence Estimation for Time Series Prediction
Hou, Min, et al. “Multi-Granularity Residual Learning with Confidence Estimation for Time Series Prediction.” Proceedings of the ACM Web Conference 2022. 202...
time series representation learning with consistency
Temporal consistency Tonekaboni, Sana, Danny Eytan, and Anna Goldenberg. “Unsupervised Representation Learning for Time Series with Temporal Neighborhood Cod...
Clustering
Clustering and Unsupervised Anomaly Detection with l2 Normalized Deep Auto-Encoder Representations
Caglar Aytekin, Xingyang Ni, Francesco Cricri and Emre Aksu (Nokia) 2017
클러스터링을 평가하는 척도 - Rand Index
클러스터링을 평가하는 척도 - Mutual Information와 이어집니다. 클러스터링 결과를 평가하기 위해 Rand Index 도 자주 쓰입니다. Rand Index는 주어진 N개의 데이터 중에서 2개을 선택해 이 쌍(pair)이 클러스터링 결과 U와 V에서 모두 같은 클러스터...
클러스터링을 평가하는 척도 - Mutual Information
클러스터링은 주어진 데이터에 대한 명시적인 정보가 많지 않을 때 유용하게 쓸수있는 머신러닝 기법 중 하나입니다. 다양한 사용자 정보를 이용해 몇가지 고객군으로 분류하여 고객군별 맞춤 전략을 도출한다던지, 유사한 상품(동영상, 음원까지도)군의 속성을 분석하여 의미있는 인사이트를 도출...
Generative Adversarial Network
Self-Supervised Generative Adversarial Networks
Ting Chen et al. (Google Brain, 2018)
from GAN to WGAN
이 글은 lilianweng의 from GAN to WGAN 포스팅을 동의하에 번역한 글입니다.
Tensorflow
Deploying Keras models using TensorFlow Serving and Flask
이 글은 Himanshu Rawlani의 Deploying Keras models using TensorFlow Serving and Flask을 참고하여 작성한 글입니다.
RNN for Quick drawing
Tutorial : https://www.tensorflow.org/tutorials/sequences/recurrent_quickdraw
cs231n
cs231n - 이해하기 2
cs231n http://cs231n.stanford.edu/
cs231n - 이해하기
cs231n http://cs231n.stanford.edu/
Attention
Attention is All You Need
Ashish Vaswani et al. (Google Brain), 2017
Attention? Attention!
이 글은 lilianweng의 Attention? Attention! 포스팅을 번역한 글입니다.Attention은 최근 딥러닝 커뮤니티에서 자주 언급되는 유용한 툴입니다. 이 포스트에서는 어떻게 어텐션 개념과 다양한 어텐션 메커니즘을 설명하고 transformer와 SNAIL...
recommender systems
recommender systems 2
추천시스템에 대해서 알아보자! - 지난 1편에서는 앤드류 응의 강의를 통해서 추천시스템의 전반적인 내용에 대해 알아보았습니다. 이번에는 Collaboratvie Filtering에 대해서 더 자세히 알아보고자 합니다.
recommender systems
추천시스템에 대해서 알아보자! 앤드류응의 머신러닝 강의 중 추천시스템 부분에 대해서 정리하였습니다.
django
django - AWS 배포하기
django application을 Amazon Web Service(AWS)에 배포하는 과정을 요약한 포스팅입니다. 이 블로그를 주로 참고하였고, 수행 중 발생하는 문제에 대한 trouble shooting 과정을 기억하기 위해 작성하였습니다.
django를 이용한 대시보드 만들기
django는 python 기반의 웹프레임워크로 비교적 쉽고 빠르게 웹어플리케이션을 제작할수 있도록 도와줍니다. django와 여러가지 오픈소스 라이브러리를 이용해 간단한 대시보드를 제작해보았습니다. 이 포스트에서는 1차 프로토타입을 소개하고, 사용한 라이브러리를 소개하도록 하겠습...
Keras
Quick drawing - dogs and cats
개와 고양이는 어떻게 구분되는가
spark
Big Data Analysis with Scala and Spark
https://www.coursera.org/learn/scala-spark-big-data/home/welcome
unsupervised learning
SOM-CPC: Unsupervised Contrastive Learning with Self-Organizing Maps for Structured Representations of High-Rate Time Series
Huijben, Iris AM, et al. (ICLR poster 2023)
nlp
Semi-Supervised Learning on Meta Structure: Multi-Task Tagging and Parsing in Low-Resource Scenarios
Lim, K., Lee, J. Y., Carbonell, J., & Poibeau, T. (2020, April). Semi-Supervised Learning on Meta Structure: Multi-Task Tagging and Parsing in Low-Resour...