Недетерминированное поведение для обучения нейронной сети на GPU, реализованное в PyTorch, и с фиксированным случайным начальным числом

17.09.2020Рубрика: ВопросыАвтор: admin

Я наблюдал странное поведение конечной точности, когда я запускаю точно такой же эксперимент (тот же код для обучения нейронной сети для классификации изображений) с одним и тем же случайным семенем на разных графических процессорах (машинах). Я использую только один GPU. Точнее, когда я провожу эксперимент на одной машине_1, точность составляет 86,37. Когда я провожу эксперимент на machine_2, точность составляет 88,0. Когда я провожу эксперимент несколько раз на одной машине, вариативности нет. Версии PyTorch и CUDA одинаковы. Не могли бы вы помочь мне выяснить причину и исправить?

Machine_1: NVIDIA-SMI 440.82 Версия драйвера: 440.82 Версия CUDA: 10.2

Machine_2: NVIDIA-SMI 440.100 Версия драйвера: 440.100 Версия CUDA: 10.2

Чтобы исправить случайное семя, я использую следующий код:

random.seed(args.seed)
os.environ['PYTHONHASHSEED'] = str(args.seed)
np.random.seed(args.seed)
torch.manual_seed(args.seed)
torch.cuda.manual_seed(args.seed)
torch.backends.cudnn.benchmark = False
torch.backends.cudnn.deterministic = True

Отвечает ли это на ваш вопрос? Обучение моделей PyTorch на разных машинах приводит к разным результатам </ а> — person Evgeny Krivosheev schedule 18.05.2021

Post Views: 135

См. также: Использование нескольких функций потерь в pytorch

1 cnn pytorch random-seed

Комментарии: 1

Evgeny Krivosheev 17.09.2020 в 00:00
Вот что я использую:
```
import torch
import os
import numpy as np
import random

def set_seed(seed):
    torch.manual_seed(seed)
    torch.cuda.manual_seed_all(seed)
    torch.backends.cudnn.deterministic = True
    torch.backends.cudnn.benchmark = False
    np.random.seed(seed)
    random.seed(seed)
    os.environ['PYTHONHASHSEED'] = str(seed)

set_seed(13)
```
Убедитесь, что у вас есть единственная функция, которая устанавливает семена с одного раза. Если вы используете Jupyter notebooks, время выполнения ячейки может вызвать это. Также может быть важен порядок функций внутри. У меня никогда не было проблем с этим кодом. Вы можете часто вызывать set_seed() в коде.
Ответить

Добавить комментарий