Настройка платформы Python для проектов машинного обучения

Существует множество подробных руководств о том, как начать работу с машинным обучением с использованием Python. В этих руководствах основное внимание уделяется использованию фреймворков глубокого обучения (например, TensorFlow, PyTorch, Keras и т. Д.), Например, как настроить базовую задачу контролируемого обучения или как создать простую нейронную сеть и обучить ее и т. Д. Но даже раньше можно начать экспериментировать с такими учебными пособиями, рабочая платформа Python должна быть доступна на хост-машине, на которой можно проводить эти практические занятия.

Несколько лет назад, когда я начинал заниматься машинным обучением, я не мог найти ни одного хорошего руководства о том, как настроить рабочую платформу на моей машине. Было доступно множество вариантов / конфигураций, и я не мог определиться ни с одной из них. Мне пришлось просмотреть множество веб-страниц, прежде чем я смог определиться с конфигурацией, и мне потребовалось около 2 недель, чтобы наконец получить рабочую платформу. Пару месяцев назад одна из моих коллег столкнулась с той же проблемой, поэтому я помог ей настроить платформу, что сэкономило ей немало времени. Поэтому я решил написать об этом подробную статью.

Я разделил эту статью на две части и остановлюсь на них отдельно.

• Часть 1. Выбор и установка дистрибутива Python и IDE.
• Часть 2: шаги, необходимые при создании нового проекта

Часть 1 — Распространение Python и IDE

В этой статье я буду использовать следующий дистрибутив Python и IDE.

• Распространение Python: Anaconda
• IDE Python: PyCharm

Что такое Анаконда? Anaconda — это дистрибутив Python и языка R с упрощенным управлением пакетами и развертыванием. Используя anaconda, проще иметь несколько сред Python с разными конфигурациями и переключаться между ними. Менеджер пакетов anaconda упрощает разрешение конфликтов между несколькими версиями пакета, необходимыми для разных пакетов. Подробное объяснение плюсов и минусов использования Anaconda можно найти здесь.

Скачать и установить: Дистрибутив Anaconda можно скачать здесь. Инструкции по установке довольно просты.

Что такое PyCharm? PyCharm — одна из многих IDE, доступных для python. Я предпочитаю PyCharm, потому что он гораздо более удобный, мощный и настраиваемый по сравнению с другими IDE. Он обеспечивает интеграцию с git, имеет собственный терминал и консоль python, поддерживает различные удобные плагины и множество полезных сочетаний клавиш.

Загрузить и установить: чтобы загрузить PyCharm, перейдите по этой ссылке, загрузите последнюю (бесплатную) версию сообщества и следуйте инструкциям по установке.

Часть 2 — Шаги, необходимые при создании нового проекта

Для другого проекта, над которым вы будете работать, потребуются другие ресурсы и пакеты с разными требованиями к версии. Поэтому всегда рекомендуется использовать отдельную виртуальную среду Python для каждого проекта. Это также гарантирует, что вы случайно не перезапишете какую-либо из существующих рабочих версий определенных пакетов другими версиями, что сделает их бесполезными для ваших текущих проектов.

Ниже приведены шаги, которые следует предпринять при создании нового проекта.

Шаг 1. Создайте новую виртуальную среду Anaconda:

Откройте команду Anaconda Prompt и введите

conda create -n myenv python==3.5

Это создаст новую виртуальную среду с именем myenv, которая будет установлена ​​и загружена вместе с python версии 3.5.

Создав среду, вы можете проверить ее, активировав среду с помощью

conda activate myenv     #For Windows
source activate myenv    #For MAC OS

Вы можете найти местоположение созданного env myenv, набрав

which python
# The output will look something like this
# /Users/aqeelanwar/anaconda/envs/myenv/bin/python

Мы будем использовать это, чтобы найти нашу среду на шаге 2.

Шаг 2: Установите необходимые пакеты:

После активации среды вы можете установить любые необходимые пакеты, используя

#General Format:
conda install package_name
#Example:
conda install numpy    #To install numpy

Шаг 3: Полезные команды Conda:

Ниже приведены полезные команды conda, которые пригодятся при управлении средами conda.

# Activate an environment
conda activate env_name
# Deactivate an environment
deactivate           #Windows
source deactivate    #Linux and macOS
# Listing all the created environments
conda env list
# Listing packages install in an environment
conda list
# Installing a package
conda install package_name
# Cloning a conda environment
conda create --clone name_env_to_be_cloned --name name_cloned_env

Шаг 4: Создайте новый проект в PyCharm

• Откройте PyCharm и выберите «Создать новый проект».

• Выберите местоположение и имя для вашего проекта (в данном случае medium_tutorial).
• Разверните опцию Project Interpreter и выберите Existing Interpreter.
• Найдите свою среду, щелкнув три точки в крайнем правом углу под существующим интерпретатором.

• На этом этапе мы найдем нашу среду myenv (если ее еще нет в списке Project Interpreter: подробнее об этом позже), используя местоположение, которое было отображено из команды which python на шаге 1. Кроме того, мы хотим, чтобы эта среда была доступны для других проектов, которые мы создадим в будущем, поэтому мы установим флажок «Сделать доступным для всех проектов»

• Нажмите «ОК», а затем «Создать».

• Теперь в проекте будет использоваться среда myenv. Вы можете использовать встроенный терминал PyCharm для установки пакетов в эту среду.
• Создайте новый файл .py (скажем, main.py) и запустите его, используя

run >> run main.py

Шаг 5. Переключение между средами conda (необязательно)

Если в будущем вы когда-нибудь захотите переключаться между разными средами conda для одного и того же проекта, вы можете сделать это, выполнив следующие действия.

• PyCharm может выбирать только среды, которые были включены в его список Project Interpreter.
• Чтобы добавить вновь созданную среду (скажем, с именем PyCaffe) в список Project Interpreter

settings >> Project:project_name >> Project Interpreter

• Нажмите значок шестеренки в правом верхнем углу и выберите «Добавить».

• Выбирать

Conda Environment > Existing environment > <three dots>

и найдите вновь созданную среду и нажмите ОК

• Теперь среда добавлена ​​в список Project Interpreter, и ее можно увидеть в раскрывающемся меню.

• В этом списке показаны существующие среды, и любая выбранная вами среда будет использоваться для проекта.
• Примечание. Терминал PyCharm не активирует автоматически текущую выбранную среду. Если вы выбрали, скажем, PyCaffe, env из списка интерпретаторов проекта и теперь хотите установить в него новый пакет, вам нужно сначала активировать среду в терминале, а затем использовать conda install package_name. В противном случае пакет будет установлен в ранее активированной среде conda.

Теперь все готово к работе с платформой. На этом этапе вы можете установить желаемый фреймворк ML (TensorFlow, Keras, PyTorch) и начать экспериментировать с учебными пособиями по ML.

Резюме

В этом руководстве мы рассмотрели предварительные условия для работы над проектами машинного обучения (или над любым проектом Python, если на то пошло). Мы увидели, как с помощью Anaconda и PyCharm мы можем иметь несколько сред Python и переключаться между ними.

Если у вас возникнут какие-либо проблемы при следовании этому руководству, просто прокомментируйте проблему ниже, и я отвечу с решением.

Если эта статья была для вас полезной, не стесняйтесь хлопать в ладоши, делиться ей и отвечать на нее. Если вы хотите узнать больше о машинном обучении и науке о данных, подпишитесь на меня @ Aqeel Anwar или свяжитесь со мной в LinkedIn.