使用Xgboost模型需使用单独的Xgboost库，该库提供了两种Python接口风格。一种是XGBoost自带的原生Python API接口，另一种是sklearn风格的API接口，两者的实现方案基本一致，仅有细微的API使用的不同（此外，部分原生的参数并未在sklearn风格的API接口中实现，因此原生参数对模型的控制更加精细），在执行效率上原生接口往往更胜一筹，但sklearn风格更容易与其它sklearn中的算法模型进行比照。

1. 两类API接口

1.1 原生Python API接口

原生Python API接口的建模逻辑如下图所示：

（1）将需要训练和测试的数据用DMatrix进行封装
DMatrix是xgboost内置的数据类型，其可接收pandas.DataFrame、numpy.array，spicy.sparse等数据类型进行转换，也可直接接收指定txt所在路径。

import xgboost as xgb
data_train = xgb.DMatrix(X_train, y_train)
data_test = xgb.DMatrix(X_test, y_test)

导入时还可同时设定样本权重(参数weight)、缺失值填充值(参数missing)、特征名称(参数feature_names)和特征数据格式(参数feature_types)等参数。

注意：若训练数据带有features_names（如pandas.DataFrame），则模型会记录这些属性，因此测试数据也必须具有同样的features_names，否则会报错。

（2）定义xgb的参数字典params
其相当于xgboost算法中的基学习器参数。完整的params设置包括：

params = {eta, gamma, max_depth, min_child_weight, max_delta_step, subsample, colsample_bytree,
colsample_bylevel, colsample_bynode, lambda, alpha, tree_method, sketch_eps, scale_pos_weight, updater,
refresh_leaf, process_type, grow_policy, max_leaves, max_bin, predictor, num_parallel_tree}

这些参数的意义将在后面详细介绍。

（3）对模型进行训练xgb.train()
其作用相当于sklearn中fit方法，train方法配置如下，其相当于xgboost算法中的框架参数。

xgb.train (params, dtrain, num_boost_round=10, evals=(), obj=None, feval=None, maximize=False,
early_stopping_rounds=None, evals_result=None, verbose_eval=True, xgb_model=None, callbacks=None,
learning_rates=None)

（4）利用训练好的模型进行预测xgb.predict()
其作用相当于sklearn中predict方法。

1.2 原生Python API接口

为了便于sklearn的使用者更方便的使用xgboost算法，该库提供了一套更符合sklearn使用习惯的API接口。其建模逻辑与sklearn中的其它机器学习模型一致。

（1）实例化分类器实例对象est=xgb.XGBClassifier(params)或者回归器实例对象est=xgb.XGBRegressor(params)，其中的模型参数params既包括基学习器的参数，也包括框架参数。

# 以XGBRegressor为例
est = xgboost.XGBRegressor (max_depth=3, learning_rate=0.1, n_estimators=100, silent=True,
objective='reg:linear', booster='gbtree', n_jobs=1, nthread=None, gamma=0, min_child_weight=1, max_delta_step=0,
subsample=1, colsample_bytree=1, colsample_bylevel=1, reg_alpha=0, reg_lambda=1, scale_pos_weight=1,
base_score=0.5, random_state=0, seed=None, missing=None, importance_type='gain', **kwargs

（2）模型训练est.fit()

est.fit(self, X, y, sample_weight=None, eval_set=None, eval_metric=None, early_stopping_rounds=None, 
verbose=True, xgb_model=None,sample_weight_eval_set=None)

（3）模型的使用est.predict()

2. 模型主要参数

xgboost中主要包含三种类型的数据：框架参数、基学习器参数以及其它配置参数。

除了上述模型，在xgboost的fit方法中，还涉及到几个重要参数：
（1）sample_weight：表示样本权重
（2）eval_set：在训练的同时进行验证的数据集
（3）eval_metric：验证集的评价指标
（4）early_stopping_rounds: 根据模型在验证集表现的早停轮数阈值。具体而言，若模型在连续early_stopping_rounds次迭代过程中，其在eval_set上的eval_metric并无提升，则模型停止迭代。

3. 模型的调参

Xgboost库的模型参数众多（尤其是原生API的更甚），其基础的调参过程类似于GBDT模型，即一般着重调节如下参数。
（1）根据问题类型和场景，选择合适的booster和objective。
（2）联合调节n_estimators和learning_rate。
（3）调节基学习器的相关控制参数。
（4）调节其它超参数。
（5）适当缩小learning_rate和增大n_estimators，提高总模型的泛化能力。