Vediamo di capirci qualcosa.
Innanzitutto hai creato da matlab un .jar per lanciare un tuo programma matlab da java:
http://www.ioprogrammo.it/java/exceptionaccessviolation_0xc0000005_jvm-t21680.0.html
Dato il problema che hai riscontrato col .jar hai pensato di aggirare l'ostacolo facendo generare a matlab un .exe anzichè un .jar ed hai chiesto come si fa a lanciare un .exe da java
http://www.ioprogrammo.it/java/lanciare_un_exe_da_java-t21710.0.html
Infine lanciato il .exe è sorto un altro problema
http://www.ioprogrammo.it/ambienti_di_programmazione/matlab_undefined_function-t21711.0.html
Se così fosse permettimi di farti notare che hai aperto tre differenti thread quando poteva essere sufficiente il primo nel quale sviluppavi tutto il discorso in modo permettere di essere più efficaci per eventuali suggerimenti.
Ad ogni modo dall'ultima domanda posta deduco che tu abbia avuto problemi a lanciare il .exe anche da java e quindi stai provando a lanciarlo prima da console DOS. Esatto? Dal messaggio sembra che manchi la definizione della variabile o funzione A che in particolare dici essere una matrice.
Senza il codice che hai scritto l'unica cosa è fare una ricerca sul web usando come parole chiave quelle del messaggio di errore che sembra essere abbastanza comune. Questo mi sembrava interessante:
http://groups.google.com/group/comp.soft-sys.matlab/browse_thread/thread/e4784feaffa27a2f?pli=1
in quanto spiega che "Function M-Files have their own workspace that differs from the base workspace.  That is why you must pass arguments into a function!"
Magari non è esattamente il tuo caso ma potrebbe darti qualche dritta. E comunque ci sono decine di altri articoli a riguardo. Con un po' di pazienza magari becchi proprio quello che fa per te.