ml.dmlc.xgboost4j.java

类 ExternalCheckpointManager

java.lang.Object

ml.dmlc.xgboost4j.java.ExternalCheckpointManager

public class ExternalCheckpointManager
extends Object

此类包含管理训练过程状态所需的方法。训练状态存储在分布式文件系统中，该文件系统由 UBJ（通用二进制 JSON）模型文件组成。该类提供了保存、加载和清理检查点的方法。

构造器摘要

构造器

构造器和说明
ExternalCheckpointManager(String checkpointPath, org.apache.hadoop.fs.FileSystem fs) 此构造函数在指定文件系统中的指定路径处创建一个新的外部检查点管理器。

方法摘要

修饰符和类型	方法和说明
void	cleanPath() 此方法清理检查点路径中存在的所有目录和文件。
void	cleanUpHigherVersions(int currentRound) 此方法清理所有高于当前轮次的检查点版本。
List<Integer>	getCheckpointRounds(int firstRound, int checkpointInterval, int numOfRounds) 获取需要检查点的迭代列表。
Booster	loadCheckpointAsBooster() 从检查点路径读取检查点。
void	updateCheckpoint(Booster boosterToCheckpoint) 此方法将助推器检查点更新为最新或当前版本，并删除所有以前版本的检查点。

从类 java.lang.Object继承的方法

clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait

构造器详细信息

ExternalCheckpointManager

public ExternalCheckpointManager(String checkpointPath,
                                 org.apache.hadoop.fs.FileSystem fs)
                          throws XGBoostError

此构造函数在指定文件系统中的指定路径处创建一个新的外部检查点管理器。

参数

checkpointPath - 检查点将存储的目录路径。

fs - 用于存储检查点的文件系统。

抛出

XGBoostError - 如果检查点路径为 null 或为空，则抛出此错误。

方法详细信息

cleanPath

public void cleanPath()
               throws IOException

此方法清理检查点路径中存在的所有目录和文件。

抛出

IOException - 删除检查点路径时抛出的异常。

loadCheckpointAsBooster

public Booster loadCheckpointAsBooster()
                                throws IOException,
                                       XGBoostError

从检查点路径读取检查点。读取检查点路径后，我们从所有检查点版本中获取最新版本的检查点，并将其加载到助推器中以进行预测。

返回

用于进行预测的助推器对象。

抛出

IOException - 读取检查点路径时发生的任何异常。

XGBoostError - 将模型加载到助推器时发生的任何异常。

updateCheckpoint

public void updateCheckpoint(Booster boosterToCheckpoint)
                      throws IOException,
                             XGBoostError

此方法将助推器检查点更新为最新或当前版本，并删除所有以前版本的检查点。

参数

boosterToCheckpoint - 要检查点并保存为模型文件的助推器对象。

抛出

IOException - 将模型文件写入检查点路径时发生的任何异常。

XGBoostError - 从助推器保存模型时发生的任何异常。

cleanUpHigherVersions

public void cleanUpHigherVersions(int currentRound)
                           throws IOException

此方法清理所有高于当前轮次的检查点版本。当多个训练实例正在运行并且我们希望确保只保留当前训练实例的检查点时，这很有用。

参数

currentRound - 当前训练轮次。

抛出

IOException - 删除检查点文件时发生的任何异常。

getCheckpointRounds

public List<Integer> getCheckpointRounds(int firstRound,
                                         int checkpointInterval,
                                         int numOfRounds)
                                  throws IOException

获取需要检查点的迭代列表。

参数

firstRound - 第一次训练轮次。

checkpointInterval - 保存检查点的间隔。

numOfRounds - 要训练的轮次数。

返回

需要检查点的整数轮次列表。

抛出

IOException - 获取轮次列表时发生的任何异常。