Q:

Fazer mouseout uma unica vez

Gostaria de saber como posso fazer este script funcionar uma unica vez, pois não consigo fazê-lo:
// intenção de sair
function addEvent(obj, evt, fn) {
    if (obj.addEventListener) {
        obj.addEventListener(evt, fn, false);
    }
    else if (obj.attachEvent) {
        obj.attachEvent("on" + evt, fn);
    }
}

// gatilho 
addEvent(document, 'mouseout', function(evt) {

    if (evt.toElement == null && evt.relatedTarget == null ) {
        $('#lightbox_overlay').slideDown();
    };

});

// fechando o popup           
$('#lightbox_overlay, #close').on('click', function(event) { 
    $('.lightbox').slideUp();                            
});

A:

Usando a opção {once: true} indica que o evento será disparado no máximo 1 vez antes de ser automaticamente removido (documentação):
obj.addEventListener(evt, fn, {once : true});

Infelizmente o IE11 não dá suporte, mas é suportado por 93% dos navegadores no Brasil e 86% global (veja no Can I Use).

