Q:

Чаю vs. чая: what ending is correct?

Is чаю or чая more correct in the sentences

Я бы не отказался от чашки ча* 

and 

Можно мне ещё ча*?

and what's the grammatical explanation?

A:

Это пример так называемого частичного падежа (партитива). В русском языке он используется редко и в основном с существительными, обозначающими еду или напитки.

Выпить воды (не всю воду, а немножко воды)
Поесть хлеба
Выпить коньяку

Частичный падеж по форме обычно совпадает с родительным, но многие существительные мужского рода, такие как, например, чай, коньяк, бензинчик, и т.п., имеют две формы частичного падежа:  чая/чаю, коньяка/коньяку, бензинчика/бензинчику. Оба варианта правильные, но последний (который совпадает по форме с дательным) более разговорный.
Таким образом, в случае второго предложения

Можно мне ещё ча*?

оба варианта правильные, так как здесь используется партитив. В случае же первого предложения мы имеем дело с обычным родительным падежом и, следовательно, правильно будет

Я бы не отказался от чашки чая.

A:

Используйте окончание -я в любой ситуации, ошибки не будет.
Окончание -ю можно считать устаревшим, встречается в литературе до 70-ходов XX века или как ироничное в разговорной речи, при имитации речи жителя дореволюционной России, например, "А не испить ли нам чаю?"
То же самое касается коньяк-а и коньяк-у, используйте родительный падеж и не ошибётесь.

