Как остановить программу, занимающую всю доступную память при отладке в Linux?

В C++ вы можете определить глобальный распределитель:

void *operator new(size_t sz);
void *operator new[](size_t sz);
void operator delete(void *p);
void operator delete[](void *p);

и то же самое для не-бросающих версий.

Эти функции будут вызываться каждый раз, когда вам требуется память из кучи, используя new для экземпляров или массивов.

Что вы можете сделать, так это создать модуль с реализованными функциями, который ограничит общую сумму 100 Мб, а затем сломается с отладчиком, когда этот предел будет передан, чтобы узнать, кто выделяет память.

Обратите внимание, что эти пользовательские функции распределения будут вызываться только для памяти, выделенной new, а не для памяти, выделенной с помощью malloc. Также обратите внимание, что вы можете использовать malloc/free для реализации своей версии (конечно, вы не можете использовать new потому что это будет просто рекурсивный вызов).

Один досадный факт состоит в том, что вы должны помнить размер выделенных блоков самостоятельно, потому что нет портативного способа задать размер блока malloc -ed. Простой способ сделать это - перераспределить, скажем, 8 байт и сохранить размер блока прямо перед выделенной областью памяти.