Colab을 사용해보며
Posted
https://colab.research.google.com
Google의 Colab이라는 서비스가 있다.
이를 간단하게 정의 하자면
“Free Jupyter Notebook based on docker with GPU”
도커 위에서 작동하기 때문에 일정 시간동안 리눅스 시스템을 사용할 수 있는 도구라고 볼 수 있으며, GPU, Disk (약 40기가), 메모리 12기가 등 대부분의 학습은 이곳에서 편리하게 사용이 가능하다.
팁이라고 하자면 Notebook setting을 python3에 Hardware Accelerator를 GPU로 잡으면 Disk를 358.27GB 까지 사용할 수 있기 때문에 큰 데이터를 활용하는 학습에서도 활용 가능하다.
또 한가지가 있다면 Colab Notebook은 웹기반이다. 따라서 쉘 환경과는 달리 브라우저는 출력이 많을수록 컴퓨터에 부하를 가하게 된다. 예를 들어, 12만개의 파일을 가지고 있는 zip파일을 그냥 unzip 명령으로 풀게 되면 12만 파일 하나하나 extract 하고 있다는 output을 하게 되는데 이는 컴퓨터를 멈추게 만들지도 모른다. 따라서 unzip -q 나 unzip -qq 등의 silent output 모드를 활성화할 것을 추천한다.
github, google drive와의 연동도 가능한데,
장점이자 단점이 도커이기 때문에 잘 활용하면 강력한 무기가 될 수 있을 것 같다.
구글이 무서운 이유가 바로 이런 무지막지한 녀석들을 클라우드를 통해 쓸 수 있도록 열어버린다는 점. 강력한 소셜 중앙 빅데이터 스토어의 역할을 하는 kaggle부터 모든 이미지의 저장소인 google photos, 클라우드 기반의 office 시스템인 google drive 등 다른 회사들이 쉽게 따라하지 못하는 공격적인 시도들이 지금의 구글을 더 강력하게 만드는 것이 아닐까? 느낌이지만 구글이 클라우드 사업을 시작한 이래로 이런 압도적인 서비스들을 보여주는 것 같다.