Riferimento: Problema quando entrano nel mio server
Se per "cosa java" intendi dire OUT OF MEMORY può significare più cose.
Probabilmente il gioco è troppo appesantito da qualche mod installata o non java non ha a disposizione sufficiente memoria RAM per eseguire il gioco correttamente.
Il mio consiglio è come quello di J1e3s, cioè faglielo reinstallare.
Altrimenti, se il pc dispone di almeno 3 o 4 GB di ram, prova a fargli cliccare Pannello di controllo, cercare Java. Una volta aperta la schermata spostarsi da generale a java, cliccare visualizza, e nella stringa parametri runtime fagli inserire questo -Xincgc -Xmx2048M (io ho impostato 2048 perchè 2 gb di ram sono quelli messi a disposizione per java, non i miei GB di RAM totali!).
spero di essere stato utile, ciao.