아마존 EC2에 S3 마운트 하기

Ec2에 S3 마운트 하기 S3 AWS에서는 크게 세가지의 저장 서비스를 제공한다. EBS, S3, Glacier로 모두 데이터 저장 서비스이지만, 사용 목적이 약간 다르다. 오늘 사용할 Simple Storage Service, S3는 AWS에서 서비스하는 인터넷 스토리지 서비스이다. 이름 그대로 간단한 저장소이다. 그냥 버킷을 하나 만들어 놓고 거기다 데이터를 넣어두면 알아서 요금이 적용된다. 데이터는 객체라는 기본 개체로 저장된다는데 사실 무슨 […]

Jupyter notebook 아이패드 연동 앱, 서버 설정하기

Juno 라는 주피터-아이패드 연동앱이 출시되었다. 주피터를 아이패드에서 돌리는 건 아니고 외부의 주피터 서버에 접속하여 쓰는 방식. 기본적으로 Azure notebook, COCALC 서버가 지원된다. 두 서버는 어느정도 무료로 사용가능. 문제는 내 주피터 서버에 접속하여 사용하고 싶을 때 이다. 뭐 때문인지는 잘 모르겠지만.. 하여튼 어렵다. 나는 노트북 1인 맥북과 아이패드를 먼저 연동해보았다. 먼저 ssl 인증을 받아야하는데 그 과정은 […]

클라우드 컴퓨팅과 AWS 이해

Cloud Computing 클라우드 컴퓨팅은 인터넷을 통해 필요한 IT 자원이나 어플리케이션을 사용하는 것을 말한다. 자원에는 GPU, CPU, Storage 등등 물리적인 것들도 있고 migration, security, image detection 등등 SW적인 것도 있다. 대부분의 클라우드 서비스를 제공하는 기업은 하드웨어나 여러가지 서비스를 제공한다. 클라우드 서비스를 사용하는 개인은 인터넷 접속으로 다른 하드웨어를 사용하고 어플리케이션을 사용하는데 이것들은 다 어딘가에 위치한 데이터센터 안에 […]

나의 우분투 개발환경

처음에는 잘 몰랐는데 개발환경 세팅하는게 상당히 골치아프다.. 원래 맥에서는 그냥 주피터 하나만 설치하면 끝이었는데 말이다. 내가 우분투에서 어떤 개발환경을 맞추는 지 저장용으로 작성한다. vim 설치

vim 환경설정 다음과 같이 접속한다.

다음을 작성하고 저장한 후 나간다 :wq

gdb 설치

아나콘다 설치 www.anaconda.com 위 사이트에서 설치한 후 bash Anaconda2-4.2.0-Linux-x86_64.sh로 설치 진행, 설치 완료 […]

AWS scp,로컬에서 EC2 서버로 파일 전송

EC2를 사용한다면 보통 로컬에 있는 파일을 올려서 작업을 해야할 때가 대부분이다. 나 같은 경우는 딥러닝에 필요한 학습데이터를 로컬에서 서버로 옮긴 후 학습을 시킨다. scp라는 걸 모르기 전까진 주피터에 접속해서 일일이 upload를 했다는…  앞으론 다음과 같이 파일을 전송하자. 맥을 기준으로 쓴다. 서버 접속 서버는 편한 방식으로 접속하자.

파일 전송 다음 새 터미널을 열어서 파일을 전송한다. […]

개미 집단 알고리즘,최적화, ACO

Ant Colony optimization algorithms Ant colony optimization(ACO)는 계산문제를 푸는 확률적 해법 중 하나로 그래프에서 최적의 경로를 찾는 데 쓰인다. dijkstra 같은 polynomial time을 가지는 알고리즘은 노드가 증가함에 따라 경로 탐색에 걸리는 시간이 오래 걸리는 단점이 있다. 그렇기 때문에, heuristic search로 접근하여 최적의 경로가 아니더라도 빠른 시간 내에 적절한 경로를 찾는 방법을 사용할 필요가 있다. ACO, […]

Drop out in Deep learning – paper review

Dropout: A Simple Way to Prevent Neural Networks from Overfitting – Geoffrey Hinton et tal. 많은 뉴런과 레이어가 있는 인공신경망은 이전에 있었던 기계학습과는 비교할 수 없이 강력한 기계학습 방법이다. 하지만 모든 기계학습이 그렇듯, 인공신경망도 overfitting이라는 난간을 마주친다. 인공신경망의 특성상 overffiting은 아주 빈번하고 항상 일어나는 문제이다. Geoffrey Hinton은 drop out이라는 방법을 소개하여 overfitting을 소개한다. Motivation Drop […]

No Prop 알고리즘

The No Prop algorithm: A new learning algorithm for multilayer neural networks Bernard Widrow∗, Aaron Greenblatt, Youngsik Kim, Dookun Park 요즘 다시 또 각광 받는 인공신경망은 사실 이전에도 몇번 각광을 받아왔다. 하지만 그때마다 풀지 못했던 문제를 만나 역사 속으로 사라지곤 했다. 지금 다시 대세된 인공신경망은 딥러닝이라 불리고 이전에 풀지 못했던 것을 해결했기에 다시 대세가 될 […]

Semi-supervised self-training – Paper review

Semi-supervised self-training for decision tree classifiers Afar Tanha et tal. 이번에 본 논문은 semi-supervised에 관한 논문이다. 먼저 semi-supervised learning란 라벨이 되어있는 데이터와 라벨이 없는 데이터 둘다 쓰는 것이다. 그래서 semi-supervised self-training은 이러한 데이터를 가지고 자기자신을 학습시키는 학습을 의미한다. 자기 자신을 학습시킨다는 말은 라벨이 없는 데이터에 라벨을 주는 과정을 뜻한다. 이런 학습을 해야할 상황은 꽤 자주 […]

Hybrid decision tree, Naive Bayes Classifier – Paper review

Hybrid decision tree and naive Bayes classifier for multi-class classification tasks, Dewan Md. Farid et tal. 이 논문은 Decision tree와 Naive Bayes classifier 의 정확성을 향상시키는 방법에 대한 논문이다. 논문 제목에서 볼 수 있듯이 저자는 이 둘은 결합한 알고리즘을 제안한다. Decision tree(DT)와 Naive Bayes Classifier(NB)는 둘다 오랫동안 자주 쓰인 알고리즘이다. 오랜 기간 쓰인 만큼 알고리즘도 […]