Погиб в ночь с 17 на 18 февраля 1945 года в концлагере Маутхаузен.
При одной из попыток немцев завербовать генерала он ответил: "Убеждения не выпадают вместе с зубами, выбитыми при пытках".
А последними перед смертью были ставшие знаменитыми слова:
"Бодрей, товарищи! Думайте о Родине, и мужество не покинет вас!"
...
Надпись на памятнике Карбы...