Запуск Jupyter Notebook на AWS

Если вы только приступаете к глубокому обучению и у вас нет лишних денег, чтобы тратить их на компьютеры, использование облачного сервиса будет рентабельным. В этом руководстве обсуждается, как запустить Jupyter Notebook в облачном сервисе AWS.

Первый шаг – зарегистрироваться на и подтвердите свой аккаунт.

Во время регистрации я не смог подтвердить свою учетную запись с помощью мобильного телефона, поэтому мне пришлось обратиться в службу поддержки AWS. Как только вы подтвердите свою учетную запись, следующим шагом будет посещение

Выберите предпочтительный регион, а затем нажмите «Запустить экземпляр», чтобы начать подготовку вашей первой виртуальной машины в облаке.

После нажатия на «Запустить экземпляр» вы попадете на страницу, где вы можете выбрать свой образ машины Amazon (AMI). Это машина, с которой вы будете работать. В этом уроке я буду использовать Deep Learning AMI (ubuntu), так как для запуска глубокого обучения не требуется никакой специальной настройки.

После выбора вашего AMI на следующей странице вы сможете настроить аппаратные характеристики вашей машины.

Для целей этого урока я выберу p2.xlarge

Для глубокого обучения с поддержкой графического процессора экземпляр p2.xlarge является мощным, но экономичным, его стоимость составляет всего около 0,90 доллара США за час использования (по состоянию на 2018 год). Инстансы P2 предоставляют до 16 графических процессоров NVIDIA K80, 64 виртуальных ЦП и 732 ГиБ
память хоста с объединенными 192 ГБ памяти графического процессора, как показано на снимке экрана выше.

Следующим шагом является настройка группы безопасности нового экземпляра для разрешения Jupyter Notebook. Создайте пользовательскую запись TCP с адресом, установленным на «localhost», и портом, установленным на «8888».

На этом снимке экрана показано, как я добавил пользовательскую запись TCP

Нажмите «Обзор и запуск».

Нажав «Запуск», вы перейдете на другую страницу, где вы создадите и загрузите пару ключей для вновь созданного экземпляра. Убедитесь, что загруженная пара ключей (.pem) находится в вашем рабочем каталоге.

Нажмите «Запустить экземпляры», чтобы запустить свои экземпляры.

Теперь экземпляры запущены и работают! 🕺🕺💃💃

Пришло время запустить наш Jupyter Notebook. Прежде чем мы начнем запускать наш Jupyter Notebook, мы должны принять во внимание некоторые вещи:

1. Ваш загруженный парный ключ (имя файла .pem)
2. Общедоступный DNS (IPv4)

Ваш публичный DNS (IPv4) выделен на картинке.

Откройте терминал, создайте каталог проекта с помощью этой команды mkdir deeplearningи перейдите в созданный вами каталог.

Как только вы окажетесь в каталоге проекта, выполните следующую команду:

chmod 0400 <your .pem file name>ssh -L localhost:8888:localhost:8888 -i <your .pem file name> ubuntu@<Public DNS (IPv4)>

У нас сейчас все настроено.

Поэтому в любое время, когда вы хотите запустить свой сервер, введите следующую команду:

ssh -L localhost:8888:localhost:8888 -i <your .pem file name> ubuntu@<Public DNS (IPv4)>

jupyter notebook

После запуска первой команды вы должны получить вывод, аналогичный показанному на скриншоте ниже.

тогда ты бежишь jupyter notebookчтобы ваш сервер работал

Теперь вы можете получить доступ к Jupyter Notebook через браузер.

блокнот юпитер

Следующим шагом будет загрузка ваших файлов и начало построения моделей.

Для загрузки файлов с моего локального компьютера в экземпляр AWS я буду использовать программу Secure Copy (SCP).

Выполните следующую команду, чтобы загрузить файлы с помощью SCP:

scp -i ~/deeplearning/<your .pem file name> ~/deeplearning/Cat_Dogs.zip ubuntu@<Public DNS (IPv4)>:~/data/

Эта команда загрузит «Cat_Dogs.zip» из вашего каталога ~/deeplearning/ в ~/data/ на экземпляре Amazon.

Мы успешно загрузили наш файл в наш экземпляр Amazon. Теперь мы можем начать строить модели.

Удачного строительства !! 😀😀😀

Жду отзывов и конструктивной критики. Со мной можно связаться в твиттере @h_bushroh. Спасибо.