У меня есть больший набор данных, который содержит до 5 М слов. Общие слова не будут вписываться в ОЗУ, поэтому я начал использовать генераторы. Я тренировал свою модель с помощью метода fit_generator. Во время обучения в течение первой эпохи значение потерь начинается с 4.7 в конце первой эпохи, значение потерь уменьшено до 1,7. Для второй эпохи потеря должна продолжаться с 1,7, но это не так, снова начинается с 4.7. Может кто-нибудь помочь мне решить эту проблему?
Вот мой код:
https://gist.github.com/chatrapathik/fbd37f42984c6310dde200528f36c4f5
Заранее спасибо.
Я не вижу проблемы, потери в тренировках, которые вы видите, - это текущее среднее значение, которое является приблизительной реальной потерей обучения, и в вашем случае кажется, что некоторые примеры в начале дают более высокую потерю. Вы запустили свой код, скажем, 10 эпох и постоянно наблюдаете этот эффект?