Если вы говорите об обновлении значений входных переменных, и вы просто хотите оценить форвард графика и не собираетесь вызывать .backward(), вы можете использовать volatile=True для входных Variable (Variable) в Pytorch 0.3.

Эта функция удаляется в 0,4 в пользу менеджера контекста with torch.no_grad():

Обычно это делается во время вывода. Если вы это сделаете, график не будет создан, что позволит избежать накладных расходов.

Обновить

Pytorch 0.3

Из Pytorch 0.3 docs:

Volatile рекомендуется для режима чисто умозаключений, когда вы уверены, что даже не будете вызывать.backward(). Он более эффективен, чем любые другие настройки автографа - он будет использовать абсолютный минимальный объем памяти для оценки модели. volatile также определяет, что require_grad - False.

а также

Volatile отличается от require_grad тем, как распространяется флаг. Если даже один нестабильный вход в операцию, его выход также будет неустойчивым. Волатильность распространяется по графику намного проще, чем не требующий градиента - вам нужен только один летучий лист, чтобы иметь volatile output, в то время как вам нужны все листья, чтобы не требовать градиента, чтобы иметь выход, который не требует градиента. Используя флажок volatile, вам не нужно изменять какие-либо параметры параметров модели, чтобы использовать их для вывода. Его достаточно для создания неустойчивого ввода, и это гарантирует, что никакие промежуточные состояния не будут сохранены.

Поэтому, если вы используете Pytorch 0.3 и хотите сделать эффективный вывод, вы используете volatile=True на ваших входах.

Pytorch 0.4

Диспетчер контекста был введен в Pytorch 0.4. Из руководства по миграции Pytorch между 0,3 и 0,4:

Флагманский флаг теперь устарел и не имеет никакого эффекта. Раньше любое вычисление, которое включает переменную с volatile = True, не отслеживалось автографом. Теперь это заменено набором более гибких контекстных менеджеров, включая torch.no_grad(), torch.set_grad_enabled (grad_mode) и другие.

Поэтому, когда вы говорите: "Тогда, если есть способ превратить все переменные этого графа в энергонезависимые, я могу просто выполнить вывод". , установка входа как volatile или использование no_grad сделает именно это.

Что касается примера использования torch.no_grad(), посмотрите на test функцию в этом скрипте.

Статические графики во время обучения

Я не знаю ни одного метода, чтобы избежать создания графика на каждой итерации в режиме обучения в Питорче. Динамические графики стоят дорого. Если вы хотите это, конвертируйте свою модель в Tensorflow/Caffe2/любую библиотеку, поддерживающую статические графики, хотя, по моему опыту, они не обязательно будут быстрее.