在机器学习的场景中，训练数据经常会特别大，训练可能要持续好几天甚至上周。如果中途机器断电或是发生意外不得不中断训练过程，那就得不偿失。
使用keras 高阶API，可以很简单的保存训练现场，可以让我们很容易的恢复到上次落下的地方继续训练。
存在两个巨大的问题：
继续训练会有这样一个影响，就是我们的学习率如果是不固定的，比如前100 epoch 学习率0.1，后100 epoch 学习率要0.01，这样的话，epoch这个数据比需要被记录下来。
如果设save_best_only=True，会一遍遍覆盖旧的.h5文件，当重新加载的时候，self.best是正负无穷（正负取决于mointor是val_loss还是val_acc等）
要做到从上次落下的地方继续训练，首先需要明确我们保存模型的方法是什么！
保存全部训练数据(save_weights_only=False) or 只保存weights(save_weights_only=True)
保存最棒的版本(save_best_only=True) or 保存最新的版本(save_best_only=False)
新.h5文件覆盖老的文件 or 每一个文件都使用epoch区别开来
使用'./path/to/somename-{epoch:04d}.h5'.作为文件名即可使得每次存储的文件名都有个epoch数作为后缀。
原因在于，在keras/callbacks.py中源码是如此定义的：
def on_epoch_end (self, epoch, logs=None ):or {}format (epoch=epoch + 1 , **logs)
其次，我们必须知道继续训练 的充要条件是什么：
知道在中断时，执行到哪一个epoch，
知道在中断时，最高的val_acc或最小的val_loss是多少
针对上面提出来的7点问题，我们下文将探讨如何设计一个能满足上述要求的方法。
from keras.callbacks import ModelCheckpointimport h5pyimport numpy as npimport keras
上述引入使用的是keras自身API，如果您需要使用tensorflow.keras请导入如下依赖：
from tensorflow.keras.callbacks import ModelCheckpointimport h5pyimport numpy as npfrom tensorflow import keras
其中ModelCheckpoint就是我们今天的猪脚。
有关于更多callback的内容，请参阅官方文档：https://keras-cn.readthedocs.io/en/latest/other/callbacks/
为了快速演示，我们使用mnist数据集
(train_images, train_labels), (test_images, test_labels) = keras.datasets.mnist.load_data()1000 ]1000 ]1000 ].reshape(-1 , 28 * 28 ) / 255.0 1000 ].reshape(-1 , 28 * 28 ) / 255.0
如果下载数据集的过程中出现问题，请选择代理 或 在keras api和tensorflow.keras之间切换，前者将数据托管在amazon上，后者在google上。请酌情选择。
def create_model ():512 , activation="relu" , input_shape=(784 ,)),0.2 ),10 , activation="softmax" )compile (optimizer=keras.optimizers.Adam(),'accuracy' ])return model
_________________________________________________________________
创建h5模型输出的目录
import osif not os.path.exists('./results/' ):'./results/' )
从ModelCheckpoint继承一个子类用于拓展
class MetaCheckpoint (ModelCheckpoint ):def __init__ (self, filepath, monitor='val_loss' , verbose=0 , save_best_only=False , save_weights_only=False , mode='auto' , period=1 , training_args=None , meta=None ):super (MetaCheckpoint, self).__init__(filepath,True or {'epochs' : [], self.monitor: []}if training_args:'training_args' ] = training_argsdef on_train_begin (self, logs={} ):if self.save_best_only:if 'acc' in self.monitor or self.monitor.startswith('fmeasure' ):max (self.meta[self.monitor], default=-np.Inf)else :min (self.meta[self.monitor], default=np.Inf)super (MetaCheckpoint, self).on_train_begin(logs)def on_epoch_end (self, epoch, logs={} ):if self.save_best_only:if self.monitor_op(current, self.best):True else :False super (MetaCheckpoint, self).on_epoch_end(epoch, logs)'epochs' ].append(epoch)for k, v in logs.items():format (epoch=epoch, **logs)if self.new_file_override and self.epochs_since_last_save == 0 :with h5py.File(filepath, 'r+' ) as f:'meta' )'training_args' ] = yaml.dump('training_args' , '{}' ))'epochs' , data=np.array(self.meta['epochs' ]))for k in logs:
其中meta是.h5文件里面的group，意思就是指训练过程中的数据信息，相当于一个数据子集，和data，label等并列。
下面我将讲解MetaCheckpoint的关键代码
在类初始化的时候，初始化epochs，和monitor(一般即val_acc或val_loss)
self.meta = meta or {'epochs' : [], self.monitor: []}
on_train_begin当训练开始的时候，如果是save_best_only状态的话
self.best = max (self.meta[self.monitor], default=-np.Inf)
把最优值赋值为meta里面保存的最优值
如果越小越优的话：
self.best = min (self.meta[self.monitor], default=np.Inf)
反过来即可。
on_epoch_end在一个epoch训练结束之后：
self.meta['epochs' ].append(epoch)
把结果附加到meta里面去
然后视情况而定，是否要保存到.h5文件
self.new_file_override说明经过判断，认为此次训练产生了更好的val_acc或val_loss（取决于你的设定），best值被更新。self.epochs_since_last_save == 0说明模型文件已经存储至你指定的路径。
如果满足以上两点要求，我们就可以往模型文件里面附加本次训练的meta数据。
创建MetaCheckpoint实例
checkpoint = MetaCheckpoint('./results/pointnet.h5' , monitor='val_acc' ,True , save_best_only=True ,1 )
开始训练：
model.fit(train_images, train_labels, epochs = 10 ,
Train on 1000 samples, validate on 1000 samples
定义一个函数来加载meta数据：
import yamldef load_meta (model_fname ):''' Load meta configuration ''' with h5py.File(model_fname, 'r' ) as f:'meta' ]'training_args' ] = yaml.load('training_args' ])for k in meta_group.keys():list (meta_group[k])return meta
调用之：
last_meta = load_meta("./results/pointnet.h5" )
{'acc': [0.659, 0.878, 0.924, 0.957, 0.967, 0.985, 0.99, 0.992, 0.996],
可以轻易看出epochs只记录到第八次，因为我们save_best_only.
手动删除.h5模型文件
然后回到上一次fit的时候
model.fit(train_images, train_labels, epochs = 10 ,
运行过程中强行结束：
Train on 1000 samples, validate on 1000 samples----> 3 callbacks = [checkpoint])
再执行
last_meta = load_meta("./results/pointnet.h5" )
{'acc': [0.658],
果然，就记录到第1次输出的时候。
创建一个函数来加载关键数据：
def get_last_status (model ):1 if os.path.exists("./results/pointnet.h5" ):"./results/pointnet.h5" )"./results/pointnet.h5" )'epochs' )[-1 ]return last_epoch, last_meta
last_epoch, last_meta = get_last_status(model)
这个输出结果是正确的，我们只要从，第last_epoch+1次继续训练就好。val_acc或val_loss等都会被妥善在on_train_begin时处理好。
再次构建一个带有meta属性的回调函数：
checkpoint = MetaCheckpoint('./results/pointnet.h5' , monitor='val_acc' ,True , save_best_only=True ,1 , meta=last_meta)
重新训练：（指定起始epoch）
model.fit(train_images, train_labels, epochs = 10 ,1 )
Train on 1000 samples, validate on 1000 samples
可以看见，确实是从第2个epoch开始训练的。
这！就是我们想要的效果。
https://github.com/HarborZeng/resume_traning
