Q:

Как добиться появление ошибки "Недостаточно памяти" в программе при выделении памяти?

#include <iostream>
#include <malloc.h>

using namespace std;

class Students {
    long double s;
public:
    void * operator new(size_t size, char* str = "New");
    void operator delete(void* ptr); 

    void * operator new[](size_t fullsize, char* str = "New []");
    void operator delete[](void* ptr);
};

#include "Student.h"

void * Students::operator new(size_t size, char* str) 
{

cout << "\n" << str << "\n";

void*ptr = malloc(size);

if (!ptr)
{
    cout << "\nError memory new\n";
} else {

    cout << "\nMemory new - OK\n";
}

return ptr;
}

void * Students::operator new[](size_t fullsize, char* str)
{

    cout << "\n" << str << "\n";

    void*ptr = malloc(fullsize);
    if (!ptr) {

        cout << "\nError memory new[]\n";

    }
    else {
        cout << "\nMemory new - OK\n";
    }

    return ptr;

}

void Students::operator delete(void* ptr)
{

    free(ptr);
    cout << "\nDelete memory\n";

}

void Students::operator delete[](void* ptr) 
{

    free(ptr);
    cout << "\nDelete [] memory\n";

}

#include <iostream> 
#include "Student.h"

using namespace std; 

int main() {

    Students* student = new Students;
    Students* a = new Students;

    delete a;
    delete[] student;

    system("pause");
    return 0;
}

A:

Можно попробовать нечто такое:
int main()
{
    auto size = -1ull;
    new int[size];
}

Результат:

terminating with uncaught exception of type std::bad_alloc: std::bad_alloc

Т.е. new не смог выделить память и выкинул исключение std::bad_alloc, как того требует стандарт языка С++. Мы это исключение никак не ловили, поэтому вызвался std::terminate, который и привёл к завершению программы. 
По сути это и есть ошибка "Недостаточно памяти". Можно довесить обработчик и вывести уже свою строку, если хочется, но сути дела это не меняет.
Любопытно заметить, что если убрать переменную size (или сделать её const), то ошибку получим ещё на стадии компиляции:
new int[-1ull];

error: array is too large (18446744073709551615 elements)

