lora_config.json

{
    "step": 151,
    "lora_params": {
        "transformer": {
            "lora_rank": 64,
            "lora_alpha": 128,
            "target_modules": [
                "add_k_proj",
                "add_q_proj",
                "add_v_proj",
                "to_add_out",
                "to_k",
                "to_out.0",
                "to_q",
                "to_v"
            ]
        },
        "transformer_2": {
            "lora_rank": 64,
            "lora_alpha": 128,
            "target_modules": [
                "add_k_proj",
                "add_q_proj",
                "add_v_proj",
                "to_add_out",
                "to_k",
                "to_out.0",
                "to_q",
                "to_v"
            ]
        }
    },
    "target_components": [
        "transformer",
        "transformer_2"
    ]
}