Posts Tagged ‘ Java ’

JNI su HP-UX, le dimensioni dello stack contano

Arrugginito forse un po’, quando si passa tanto tempo a fare altro ci si dimentica di avere anche uno spazio web dove annotare quei piccoli successi che potrebbero tornare utili ad altri, ma anche a te semmai te ne dovessi dimenticare :)

Il problema di fondo era che la chiamata JNI_CreateJavaVM produceva il segnale SIGABRT quando invocato all’interno di un altro framework, nello specifico stavo utilizzando l’SDK BoKS.

La porzione di codice interessata, a parte dovuti accorgimenti, era del tutto coerente con quanto riportato da HP al link

http://www.docs.hp.com/en/JAVAPROGUIDE/JNI_java2.html

Provando ad utilizzare i parametri di inizializzazione della VM più svariati non si è cavato un ragno dal buco, seguendo comunque le linee guida riportate qui http://www.docs.hp.com/en/JAVAPROGUIDE/JNI_java2.html#primordial, si è ipotizzato da subito un problema con lo stacksize su HP-UX, su Solaris, infatti, non erano stati riscontrati problemi di sorta.

Una sessione con tusc ha confermato quanto supposto:

[19196] #6 kwakeup(PTH_CONDVAR_OBJECT, 0x60000000000ea400, WAKEUP_ONE, 0x9fffffff7f63cb50) = 0
[19196] #2 ksleep(PTH_CONDVAR_OBJECT, 0x60000000000ea400, 0x60000000000d75b8, NULL) = 0
[19196] #6 gettimeofday(0x9fffffff7f63cb30, NULL) ........ = 0
[19196] #2 write(1, 0x9fffffffef4c0400, 43) .............. = 43
E r r o r   o c c u r r e d   d u r i n g   i n i t i a l i z a
t i o n   o f   V M \n
[19196] #2 write(1, 0x60000000001683a0, 28) .............. = 28
j a v a . l a n g . S t a c k O v e r f l o w E r r o r
[19196] #2 write(1, 0xc000000015cf08b8, 1) ............... = 1
\n
[19196] #2 unlink("/var/tmp/hsperfdata_boksa/19196") ..... = 0
[19196] #2 sigaction(SIGILL, 0x9fffffffef7c6740, NULL) ... = 0
[19196] #2 sigprocmask(SIG_UNBLOCK, NULL, 0x9fffffffef4c0b80) = 0
[19196] #2 sigaction(SIGABRT, NULL, 0x9fffffffef4c0ba0) .. = 0
[19196] #2 getpid() ...................................... = 19196 (19194)
[19196] #2   Received signal 6, SIGABRT, in kill(), [0x9fffffffef76bfd0]
[19196] #2     Siginfo: sent by pid 19196 (uid 600), si_errno: 0

La soluzione?

Un semplice export della variabile PTHREAD_DEFAULT_STACK_SIZE a 524288.

export PTHREAD_DEFAULT_STACK_SIZE=524288

Si sarebbe anche potuta usare la chiamata pthread_default_stacksize_np(), ma poiché la parte di codice che crea i thread non è personalizzabile in quel dato SDK, l’export della variabile d’ambiente è stata l’unica soluzione attuabile.

Alla prossima!

2010
03/09
POSTED BY
CATEGORY
Development
Information Technology
TAGS






Write comment

Shutdown HSQLDB

Ultimamente sto usando Hypersonic SQL DB in un software che sto scrivendo. Il driver utilizzato è “embedded” ovvero non è presente un server in attesa di ricevere comandi SQL, ma il database è un file gestito direttamente dal driver di hypersonic.

Con questo tipo di accesso però, avevo notato perdite di dati sul database, non tutto infatti diventava persistente e, certo di non aver scritto codice errato, iniziavo a pensare di non capirci più nulla.

Il fatto è che, a differenza di quanto ero solito fare con altri RDBMS, non è sufficiente chiudere una connessione con

connection.close()

al termine dell’esecuzione del programma, il driver effettua caching delle tabelle per ottimizzare gli accessi al file system e non tutte le modifiche vengono scritte sul file.

È necessario fornire al driver l’istruzione di “SHUTDOWN” di modo che tutti i dati eventualmente ancora in cache vengano correttamente resi persistenti:

Statement shutdown = connection.createStatement("SHUTDOWN");
shutdown.execute();
shutdown.close();
connection.close();

Esiste inoltre, una funzione di shutdown che effettua anche una riorganizzazione del database ed una compressione dei dati. Essendo un’operazione lenta è bene non usarla troppo di frequente, il criterio d’uso è lo stesso di “SHUTDOWN”, “SHUTDOWN COMPACT”.

Alla prossima :)

2009
05/23
POSTED BY
CATEGORY
Database
Development
Information Technology
TAGS






Write comment

Java – Esecuzione comandi su CLI parte II

Se vi ricordate di un pezzo di codice scritto da me e che funzionava particolarmente bene per invocare comandi su UNIX… Beh… Scordatevelo! O meglio, dovrete fare qualche piccola modifica.

Il codice in questione sembra, infatti, causare un piccolo problema chiamato deadlock.

La cosa non si presenta sempre, ma dipende fortemente dalla quantità di output che genera il comando e da come il sistema operativo gestisce il buffering della system call “write”. Lanciando truss da dentro al codice java, infatti, notavo che l’esecuzione delle system call si bloccava in attesa:

ioctl(1, TCGETA, 0xFFBEDF34) Err#22 EINVAL
fstat64(1, 0xFFBEDFA8) = 0
brk(0x00068A70) = 0
brk(0x0006AA70) = 0
write(1, " D A T A ".., 5120) = 5120
write(1, " * - > *".., 5120) = 5120
llseek(0, 0, SEEK_CUR) Err#29 ESPIPE
write(1, " * - > * * * * * ".., 635) (sleeping...)

Non è stato facilissimo arrivare alla causa, il metodo è infatti molto semplice, ma adesso che ho identificato il problema l’errore appare quasi evidente. Il problema risiede infatti nel canale di standard error letto prima dello standard output:

  1. Prima di poter leggere lo standard error è necessario che il processo che esegue il comando termini, e non è detto che vi siano errori;
  2. Prima di poter avere tutto l’output disponibile c’è bisogno di qualcuno che consumi i dati nel buffer, ma quel qualcuno è in attesa sullo standard error;
  3. Deadlock!

Sinceramente, questa spiegazione, seppur sensata non mi convince ancora appieno e appena avrò più tempo analizzerò meglio i trace delle system call, nonostante ciò riporto di seguito la versione del metodo che risolve il problema.

public static String execCommand(String cmd) throws IOException{
String result = null;
String temp = null;
BufferedReader stdout = null;
BufferedReader stderr = null;

Process proc = Runtime.getRuntime().exec(cmd);

/*consume the output*/
stdout = new BufferedReader(new InputStreamReader(
proc.getInputStream()));
temp = stdout.readLine();

while(temp!=null){
if(result==null)
result = temp+”\n”;
else
result += temp+”\n”;
temp = stdout.readLine();
}

stdout.close();

/*check if errors occurred*/
stderr = new BufferedReader(new InputStreamReader(
proc.getErrorStream()));
temp = stderr.readLine();

if(temp!=null){
result = temp+”\n”;
temp = stderr.readLine();
while(temp!=null){
result += temp+”\n”;
temp = stderr.readLine();
}

stderr.close();
throw new IOException(result);
}

stderr.close();
/*if no exceptions occurred then proceed to return the output*/
return result;
}

Questo è quanto, il metodo main d’esempio del post precedente però è ancora valido :)

2009
02/04
POSTED BY
CATEGORY
Development
Information Technology
TAGS


Write comment

Statement vs PreparedStatement

Quando frequentavo l’università mi chiedevo quale fosse effettivamente la differenza tra uno Statement e un PreparedStatement Java. Fondamentalmente mi permettevano di raggiungere lo stesso risultato in maniera lievemente diversa.

In realtà i due costrutti sono molto più diversi di quanto non si creda. Ogni comando SQL ricevuto dal DBMS viene elaborato seguendo 3 fasi:

  1. Compilazione (parsing del comando SQL);
  2. Esecuzione;
  3. Fetching (restituzione del risultato al client).

Supponendo che vengano eseguite molte operazioni, la classe PreparedStatement permette di eseguire il passo di compilazione una sola volta, la prima, e poi di aggiornarne i valori in seguito:

PreparedStatement pstmt = conn.prepareStatement(
         "SELECT * FROM TABELLA WHERE CAMPO = ?");
Iterator ricerca = lista.iterator();
while(ricerca.hasNext()){

   pstmt.setString(1, (String)ricerca.next());
   ResultSet rs = pstmt.executeQuery();

   while(rs.next()){
      //Get results
   }
   //...
}

Questo si concretizza in un miglioramento delle performance, generalmente. Ciò non è sempre vero, ci sono altri fattori che entrano in gioco che possono rendere uno Statement più veloce di un PreparedStatement. A mio avviso anche se fosse, una leggera diminuzione di performance (che dipende moltissimo dal database utilizzato) per il PreparedStatement è sicuramente ben accetta data la sua grande flessibilità. Non solo, dalle FAQ Oracle ho appreso anche che ci sono dei benefici in termini di sicurezza nell’utilizzo di PreparedStatement: il binding dei dati, infatti, eviterebbe un considerevole numero di attacchi di tipo SQL Injection. La FAQ infatti riporta:

“Statements may be slightly faster if you are only going to execute the SQL once. PreparedStatements are much faster when the SQL will be executed more than once. If you are using the statement cache, which you should, getting a statement from the cache is the same as executing the same statement.

In general we strongly recommend that you use PreparedStatements. This is especially true if you are sending user provided data in the SQL. By binding the data to a PreparedStatement parameter you can prevent most SQL injection attacks. Any performance advantage of using Statements is negligible.”

Insomma, per i miei gusti, non c’è motivo di usare Statement e PreparedStatement è la classe vincente.

2009
01/29
POSTED BY
CATEGORY
Development
Information Technology
TAGS




4 comments

Java – Esecuzione comandi su CLI

Prima o poi può essere utile astrarre un po’ meno dalla macchina e tornare a interfacciarsi con il Sistema Operativo sottostante. Quello che può tornare utile è quindi un metodo per eseguire comandi di sistema dalla VirtualMachine Java. Il seguente è un metodo che ho scritto in fretta e furia, ma che su sistemi UNIX sembra funzionare molto molto bene:

public static String execCommand(String cmd) throws IOException{
   String result = null;
   BufferedReader stdout = null;
   BufferedReader stderr = null;
   Runtime runtime = null;
   Process proc = null;

   runtime = Runtime.getRuntime();
   proc = runtime.exec(cmd);
   stderr = new BufferedReader(new InputStreamReader(
                                          proc.getErrorStream()));
   String temp = stderr.readLine();

   /*check if errors occurred*/
   if(temp!=null){
      do{
         if(result==null)
            result = temp+"\n";
         else
            result += temp+"\n";

         temp = stderr.readLine();
      }while(temp!=null);

      stderr.close();
      throw new IOException(result);
   }

   /*if no exceptions occurred then proceed to return the output*/
   stdout = new BufferedReader(new InputStreamReader(
                                           proc.getInputStream()));
   temp = stdout.readLine();

   while(temp!=null){
      if(result==null)
         result = temp+"\n";
      else
         result += temp+"\n";
      temp = stdout.readLine();
  }

  stdout.close();
  return result;
}

L’idea è semplice: se il comando fallisce, restituisco l’esito del comando (lo standard error) come un’eccezione di I/O, altrimenti il metodo torna l’esito del comando (lo standard output).

A questo punto possiamo, per esempio, scrivere il seguente main, un po’ inutile, ma rende l’idea

public static void main(String args[]){
   try{
      String result = execCommand("ls -lrt");
      System.out.println(result);
   }catch(IOException e){
      System.err.println(e.getMessage());
   }
}

Ovviamente il codice non è ottimizzato essendo la prima stesura di getto, alcune cose potevano essere evitate (i due BufferedReader per esempio), ma spero che a qualcuno questo metodo torni utile.

2009
01/28
POSTED BY
CATEGORY
Development
Information Technology
TAGS

Write comment

Oracle 10g – Upsert

Recentemente mi è capitato di dover eseguire una insert or update, anche detta upsert, su Oracle 10g. Su MySQL ero solito usare la forma “INSERT … ON DUPLICATE KEY UPDATE …” che funziona piuttosto bene, ma che non era supportata dal database che stavo utilizzando.

La versione 10g di Oracle, però, supporta l’operazione “MERGE”, entrata a far parte dello standard SQL nel 2003, e si è rivelata molto comoda utilizzandola tramite JDBC.

Supponiamo di dover memorizzare in una tabella l’ultima pagina visitata da un utente in un dato giorno, possiamo utilizzare il seguente prepared statement java:

PreparedStatement pstmt = conn.prepareStatement(
"MERGE INTO last_page_table dst "+
   "USING ( "+
"SELECT \'"+username+"\' USER_ID, "+
   "TO_DATE(\'"+
      new java.sql.Date(System.currentTimeMillis())+
   "\'YYYY-MM-DD')  DATE_FIELD, "+
   "\'"+lastPage+"\' LAST_PAGE "+
"FROM DUAL) src "+
   "ON (dst.USER_ID = src.USER_ID AND "+
      "dst.DATE_FIELD = src.DATE_FIELD) "+
"WHEN MATCHED THEN "+
   "UPDATE SET dst.LAST_PAGE = src.LAST_PAGE "+
"WHEN NOT MATCHED THEN "+
   "INSERT (dst.USER_ID, "+
      "dst.DATE_FIELD, "+
      "dst.LAST_PAGE) "+
  "VALUES (src.USER_ID, "+
      "src.DATE_FIELD, "+
      "src.LAST_PAGE)");

In sostanza, l’operazione “MERGE” funziona tra tabelle, prende i valori di una e li inserisce o aggiorna nell’altra in base al matching della condizione nella clausola “ON”.
Tuttavia, la necessità non era di utilizzare valori preesistenti di una tabella ed inserirli o aggiornarli nell’altra, ma l’effettivo popolamento della tabella. Esigenza risolta appoggiandosi alla tabella “DUAL”.
Ovviamente, invece di inserire direttamente nella stringa i valori necessari, si poteva utilizzare anche il ‘?’ e chiamare poi le funzioni della classe PreparedStatement.

PreparedStatement pstmt = conn.prepareStatement(
"MERGE INTO last_page_table dst "+
   "USING ( "+
"SELECT ? USER_ID, ?  DATE_FIELD, ? LAST_PAGE "+
   "FROM DUAL) src "+
   "ON (dst.USER_ID = src.USER_ID AND "+
      "dst.DATE_FIELD = src.DATE_FIELD) "+
   "WHEN MATCHED THEN "+
      "UPDATE SET dst.LAST_PAGE = src.LAST_PAGE "+
   "WHEN NOT MATCHED THEN "+
      "INSERT (dst.USER_ID, "+
         "dst.DATE_FIELD, "+
         "dst.LAST_PAGE) "+
      "VALUES (src.USER_ID, "+
         "src.DATE_FIELD, "+
         "src.LAST_PAGE)");

Se non vi sono particolari necessità in termini di performance, sicurezza, flessibilità, in genere preferisco inserire tutto direttamente nella stringa in modo da poterla scrivere facilmente su un file di log prima di inviarla al driver:

String sqlMerge = "MERGE INTO ...";
PreparedStatement pstmt = conn.prepareStatement(sqlMerge);
logger.debug("Executing "+sqlMerge);
pstmt.executeUpdate();

2009
01/20
POSTED BY
CATEGORY
Database
Development
Information Technology
TAGS



Write comment

Last.fm

Questo sito non può considerarsi prodotto editoriale sottoposto alla disciplina di cui all'art. 1, comma III della Legge n. 62 del 7 marzo 2001, non rappresenta una testata giornalistica e non viene aggiornato con periodicità.
Creative Commons License
Questo/a opera è pubblicato sotto una Licenza Creative Commons.

Tutti i marchi riportati direttamente o indirettamente appartengono ai legittimi proprietari. Le fotografie, quando possibile, riportano l'autore a cui spettano i diritti a riguardo.