使用 Keras 对不平衡数据集进行多重损失

小能豆

使用 Keras 对不平衡数据集进行多重损失

我的模型：

我建立了一个孪生网络，它有两个输入，有三个输出。所以我的损失函数是：

total loss = alpha( loss1) + alpah( loss2) + (1_alpah) ( loss3)
loss1`是损失函数，从总共 8 个类别中对类别身份进行分类。 `loss2`是函数（欧几里得距离损失），用于验证两个输入是否来自同一类别或不同类别。`categorical cross entropy``loss3``similarity loss

我的问题如下：

alpha如果我有不同的损失，我想使用其值取决于 epoch 数的变量来加权它们。所以我必须通过回调设置值 pf。我的问题是，是否可以通过inalpha传递这个 alpha 变量，其值随 epoch 数而变化（即不是标量）。文档说：loss_weights``model.complie

loss_weights：可选列表或字典，指定标量系数（Python 浮点数）以加权不同模型输出的损失贡献。模型将最小化的损失值将是所有单个损失的加权总和，由 loss_weights 系数加权。如果是列表，则预计它与模型的输出有 1:1 的映射。如果是张量，则预计它将输出名称（字符串）映射到标量系数。

例子

alpha = K.variable(0., dtype=tf.float32)

def changeAlpha(epoch,logs):
    new_alpha = some_function(epoch)
    K.set_value(alpha, new_alpha)
    return

alphaChanger = LambdaCallback(on_epoch_end=changeAlpha) 

model.compile(loss= [loss1, loss2, loss3], loss_weights = [alpha, alpha, (1-alpha)])

我的数据集不平衡，所以我想使用class_wights。model.fit()因此，对于具有三个损失的相同模型，我只想将应用于class weights分类交叉熵损失（损失 1 和损失 2），那么如果我将其传递给，它会对两个损失都起作用，除了第三个损失吗model.fit？知道第三个损失是自定义损失函数。
如果我想对暹罗网络进行分类，我的指标是model.compile(metrics= ['out1':'accuracy', 'out2':accuracy']])？但最终准确率需要是两者的平均值，我可以通过构建自己的自定义指标来解决这个问题。但有没有办法对两个指标进行加权求和。

阅读 23

2024-11-19

共1个答案

小能豆

问题 1：动态损失权重通过回调更新

model.compile中的loss_weights要求是静态的标量值（Python 浮点数），不支持动态变化的值。要实现动态更新alpha，需要将alpha集成到自定义损失函数中，而不是使用loss_weights参数。

解决方案

创建一个 Keras 变量alpha。
使用回调动态更新alpha的值。
将alpha直接集成到自定义损失函数中。

示例代码如下：

import tensorflow as tf
from tensorflow.keras.callbacks import LambdaCallback
from tensorflow.keras import backend as K

# 定义 Keras 变量 alpha
alpha = K.variable(0.5, dtype=tf.float32)

# 定义自定义损失函数
def combined_loss(y_true1, y_pred1, y_true2, y_pred2, y_true3, y_pred3):
    # 损失 1：分类交叉熵
    loss1 = tf.keras.losses.categorical_crossentropy(y_true1, y_pred1)
    # 损失 2：分类交叉熵
    loss2 = tf.keras.losses.categorical_crossentropy(y_true2, y_pred2)
    # 损失 3：相似性损失（欧几里得距离）
    loss3 = tf.reduce_mean(tf.square(y_true3 - y_pred3))

    # 总损失
    total_loss = alpha * loss1 + alpha * loss2 + (1 - alpha) * loss3
    return total_loss

# 定义回调函数动态更新 alpha
def update_alpha(epoch, logs):
    new_alpha = some_function(epoch)  # 根据 epoch 动态计算 alpha
    K.set_value(alpha, new_alpha)

alpha_callback = LambdaCallback(on_epoch_end=update_alpha)

# 编译模型
model.compile(optimizer='adam', loss=combined_loss)

通过这种方式，alpha会动态更新，并参与到训练中。

问题 2：不平衡数据的 `class_weight` 应用

在 Keras 中，class_weight 只适用于分类损失（例如 categorical_crossentropy），不会对自定义损失函数（如 loss3）产生影响。如果您在训练中传递 class_weight，它会应用到与 loss1 和 loss2 相关的输出层，但不会影响 loss3。

示例

# 定义分类损失的 class weights
class_weights = {0: 1.0, 1: 2.0, 2: 0.5, 3: 1.5, 4: 1.0, 5: 2.0, 6: 0.5, 7: 1.5}

# 训练模型
model.fit(
    x_train,
    [y1_train, y2_train, y3_train],
    class_weight=class_weights,  # 仅适用于损失 1 和损失 2
    callbacks=[alpha_callback],
    epochs=20,
    batch_size=32
)

注意：
- class_weight 只影响与分类交叉熵相关的输出（loss1 和 loss2），而 loss3 不受影响。
- 这种设置可以直接使用，不需要额外修改。

问题 3：对两个输出的分类准确率进行加权求和

如果希望对 out1 和 out2 的分类准确率进行加权求和，可以通过定义自定义指标实现。Keras 支持自定义指标函数。

示例代码

# 自定义加权准确率
def weighted_accuracy(y_true1, y_pred1, y_true2, y_pred2):
    acc1 = tf.keras.metrics.categorical_accuracy(y_true1, y_pred1)
    acc2 = tf.keras.metrics.categorical_accuracy(y_true2, y_pred2)
    # 加权平均
    weighted_acc = 0.6 * acc1 + 0.4 * acc2
    return tf.reduce_mean(weighted_acc)

# 编译模型时添加自定义指标
model.compile(
    optimizer='adam',
    loss=combined_loss,
    metrics=[weighted_accuracy]
)

这样，weighted_accuracy 会显示在训练日志中，直接反映两个分类输出的加权平均准确率。

如果需要分别显示两个输出的准确率：

可以直接在 metrics 中为每个输出指定准确率：

model.compile(
    optimizer='adam',
    loss=combined_loss,
    metrics={
        'out1': 'accuracy',
        'out2': 'accuracy'
    }
)

总结：
- 加权求和需要自定义指标函数。
- 如果想单独查看每个输出的准确率，可以在 metrics 参数中为每个输出指定指标。

关键点总结

动态损失权重：通过 Keras 变量和回调机制实现，而不是依赖 loss_weights。
不平衡数据的 class_weight：仅适用于分类交叉熵损失（loss1 和 loss2）。
加权准确率：通过自定义指标实现，或者分别计算每个输出的准确率。

2024-11-19