Archive for the ‘ Development ’ Category

mod_wsgi on OSX

It’s been quite a while since my last words on these pages. And yes, I’m writing in english, my bad english for a number of reasons… But this is out of scope, so let’s put away the dust and start to write something (hopefully) useful :)

These days I’m experiencing Python and the web full-stack framework Django. They both are impressive, really: starting the development of a webapp is almost straightforward, if you have the time to read the really good documentation available at https://docs.djangoproject.com.

After a bit of exercise, I developed a tutorial application, and I wanted to deploy it with the Apache Web Server since django offers a built-in web server during the development phase (and it’s written in python). Since I’m using a mac, I got some troubles to get mod_wsgi working. So far nothing too much annoying, but I wasted a bit of time so I hope these words can save someone else’s time :-)

I was not happy to use the Apache httpd which come built-in in OSX, so I downloaded the latest release from the Apache site (http://www.apache.org/dyn/closer.cgi ) and built it from scratch. Ensure you have the development tools installed in your OS, if not you can download them from the Mac App Store getting Xcode 4 for free…

So after a successful compile of sources

anubis:httpd-2.2.21 fabio$ ./configure \
&& make \
&& sudo make install

I found my apache 2 server ready under the directory /usr/local/apache2.

The next thing, is to install mod_wsgi . If you don’t want to use the built-in osx httpd, you have to download the sources (http://code.google.com/p/modwsgi/wiki/DownloadTheSoftware), and build them from scratch. This time, take care of where is the apache installation (did just some moments before) and where is your python!

Since I’m using virtualenv, I was almost sure to activate the environment settings and build mod_wsgi from the shell was sufficient… So far this is not the case, I needed to provide the installation path to the configure script, otherwise it will continue to use the python built-in with OSX:

anubis:mod_wsgi-3.3 fabio$ ./configure \
--with-apxs="/usr/local/apache2/bin/apxs" \
--with-python="/Users/fabio/Sviluppo/python-2.7/bin/python" \
&& make \
&& sudo make install

where /Users/fabio/Sviluppo/python-2.7/bin/python is the directory where I installed python 2.7 and django via virtualenv and pip.

It’s now time to configure Apache. Of course using vi :)

anubis:conf fabio$ sudo vi httpd.conf

and inside I added the following lines

Alias /media/ /Users/fabio/Sviluppo/booklibrary/media/

<directory /Users/fabio/Sviluppo/booklibrary/media>
Order deny,allow
Allow from all
</directory>

#MOD_WSGI
LoadModule wsgi_module modules/mod_wsgi.so

WSGIDaemonProcess books user=fabio group=staff python-path=/Users/fabio/Sviluppo/python-2.7/lib/python2.7/site-packages processes=2 threads=25

WSGIProcessGroup books

WSGIScriptAlias / /Users/fabio/Sviluppo/booklibrary/apache/booklibrary.wsgi
#WSGIScriptAlias /books /Users/fabio/Sviluppo/booklibrary/apache/test.wsgi

<directory /Users/fabio/Sviluppo/booklibrary/apache>
Order deny,allow
Allow from all
</directory>

Since the django app is in my home directory, we must ensure apache is able to run the code. This is accomplished with the lines

  • WSGIDaemonProcess books user=fabio group=staff …
  • WSGIProcessGroup books
The others are simply mappings and aliases which are almost straightforward.
Last but not least, the file .wsgi. I wrote 2 versions, one was a mere test of a correct installation of mod_wsgi in apache (test.wsgi):

import sys

def application(environ, start_response):
    status = '200 OK'
    output = 'It Works! -- Python executable at '+ sys.executable
    response_headers = [('Content-Type', 'text/plain'), ('Content-Length',   str(len(output)))]
    start_response(status, response_headers)
    return [output]

the other is the one which make the django app start:

import os
import sys

#sys.path.append('/usr/lib/python2.4/site-packages/django')
#/Users/fabio/Sviluppo/python-2.7/bin/
paths = ['/Users/fabio/Sviluppo',
        '/Users/fabio/Sviluppo/booklibrary']
for path in paths:
    if path not in sys.path:
        sys.path.append(path)

os.environ['DJANGO_SETTINGS_MODULE'] = 'booklibrary.settings'

import django.core.handlers.wsgi
application = django.core.handlers.wsgi.WSGIHandler()

And that’s all ;)

JNI su HP-UX, le dimensioni dello stack contano

Arrugginito forse un po’, quando si passa tanto tempo a fare altro ci si dimentica di avere anche uno spazio web dove annotare quei piccoli successi che potrebbero tornare utili ad altri, ma anche a te semmai te ne dovessi dimenticare :)

Il problema di fondo era che la chiamata JNI_CreateJavaVM produceva il segnale SIGABRT quando invocato all’interno di un altro framework, nello specifico stavo utilizzando l’SDK BoKS.

La porzione di codice interessata, a parte dovuti accorgimenti, era del tutto coerente con quanto riportato da HP al link

http://www.docs.hp.com/en/JAVAPROGUIDE/JNI_java2.html

Provando ad utilizzare i parametri di inizializzazione della VM più svariati non si è cavato un ragno dal buco, seguendo comunque le linee guida riportate qui http://www.docs.hp.com/en/JAVAPROGUIDE/JNI_java2.html#primordial, si è ipotizzato da subito un problema con lo stacksize su HP-UX, su Solaris, infatti, non erano stati riscontrati problemi di sorta.

Una sessione con tusc ha confermato quanto supposto:

[19196] #6 kwakeup(PTH_CONDVAR_OBJECT, 0x60000000000ea400, WAKEUP_ONE, 0x9fffffff7f63cb50) = 0
[19196] #2 ksleep(PTH_CONDVAR_OBJECT, 0x60000000000ea400, 0x60000000000d75b8, NULL) = 0
[19196] #6 gettimeofday(0x9fffffff7f63cb30, NULL) ........ = 0
[19196] #2 write(1, 0x9fffffffef4c0400, 43) .............. = 43
E r r o r   o c c u r r e d   d u r i n g   i n i t i a l i z a
t i o n   o f   V M \n
[19196] #2 write(1, 0x60000000001683a0, 28) .............. = 28
j a v a . l a n g . S t a c k O v e r f l o w E r r o r
[19196] #2 write(1, 0xc000000015cf08b8, 1) ............... = 1
\n
[19196] #2 unlink("/var/tmp/hsperfdata_boksa/19196") ..... = 0
[19196] #2 sigaction(SIGILL, 0x9fffffffef7c6740, NULL) ... = 0
[19196] #2 sigprocmask(SIG_UNBLOCK, NULL, 0x9fffffffef4c0b80) = 0
[19196] #2 sigaction(SIGABRT, NULL, 0x9fffffffef4c0ba0) .. = 0
[19196] #2 getpid() ...................................... = 19196 (19194)
[19196] #2   Received signal 6, SIGABRT, in kill(), [0x9fffffffef76bfd0]
[19196] #2     Siginfo: sent by pid 19196 (uid 600), si_errno: 0

La soluzione?

Un semplice export della variabile PTHREAD_DEFAULT_STACK_SIZE a 524288.

export PTHREAD_DEFAULT_STACK_SIZE=524288

Si sarebbe anche potuta usare la chiamata pthread_default_stacksize_np(), ma poiché la parte di codice che crea i thread non è personalizzabile in quel dato SDK, l’export della variabile d’ambiente è stata l’unica soluzione attuabile.

Alla prossima!

VirtualBox – Error 1603

Era un po’ di tempo che non battevo qualche tasto da queste parti… Torno con qualcosa di utile, spero, una soluzione semplice ad un problema che mi ha fatto perdere non poco tempo. Per le foto… Beh ultimamente sono un po’ a digiuno, presto finirò di riempire queste pagine, sperando di riuscire a tirarne fuori una degna di nota!

Avere a disposizione una macchina virtuale ha numerosi vantaggi, e VirtualBox è una scelta da non trascurare, gratuito per uso personale (licenza PUEL), veramente semplice da usare e multipiattaforma. Lo uso tranquillamente su OSX e Archlinux, su Windows XP… Non proprio! :)

Volevo aggiornare alla versione 3.0.1, ma il risultato dell’installer era sempre il seguente “VirtualBox setup ended prematurely” seguito da un “Error 1603″. Anche la disinstallazione della versione precedente (2.2) non dava cenni di voler funzionare, di fatto sia l’installazione di una nuova versione che la rimozione della vecchia si interrompevano portando al rollback delle modifiche.

Rimuovendo tutti i file dalla directory “Programmi”, eliminando i riferimenti dal registro (quelli che sono riuscito ad individuare), disinstallando le interfacce di rete virtuali e cancellando anche i loro driver non sono riuscito ad ottenere altro che  un nulla di fatto.

Alla fine ho trovato questo articolo http://www.virtualbox.org/ticket/3701 e riporto di seguito quello che ho fatto anche io per risolvere:

1. tasto windows+r -> regedit ;
2. Export della chiave HKEY_CURRENT_USER\Software\Microsoft\Windows\CurrentVersion\DIFxApp\Components su un file qualsiasi per comodità sul desktop (per esempio vbox.reg);
3. Sostituzione di tutte le occorrenze di HKEY_CURRENT_USER all’interno del file con HKEY_LOCAL_MACHINE in modo da ottenere il file come di seguito:

Windows Registry Editor Version 5.00

[HKEY_LOCAL_MACHINE\Software\Microsoft\Windows\CurrentVersion\DIFxApp\Components]

[HKEY_LOCAL_MACHINE\Software\Microsoft\Windows\CurrentVersion\DIFxApp\Components\{010FE46A-E358-43E2-8BDC-38BC8BEC82E0}]
"CleanupNeeded"=dword:00000001
"Reboot"=dword:00000000

[HKEY_LOCAL_MACHINE\Software\Microsoft\Windows\CurrentVersion\DIFxApp\Components\{7ADF3E12-AF3C-4D36-8BEC-36D5064CF84F}]

[HKEY_LOCAL_MACHINE\Software\Microsoft\Windows\CurrentVersion\DIFxApp\Components\{AC3FB68C-FE7D-40FC-BFF4-3A6B3B41513B}]

[HKEY_LOCAL_MACHINE\Software\Microsoft\Windows\CurrentVersion\DIFxApp\Components\{B7D782D2-96DF-4775-A0E1-A76CF7B04B65}]
"CleanupNeeded"=dword:00000001
"Reboot"=dword:00000000

[HKEY_LOCAL_MACHINE\Software\Microsoft\Windows\CurrentVersion\DIFxApp\Components\{BC01FCCB-D7AB-4ADB-9657-B6F7ED514715}]
"CleanupNeeded"=dword:00000001
"Reboot"=dword:00000000

[HKEY_LOCAL_MACHINE\Software\Microsoft\Windows\CurrentVersion\DIFxApp\Components\{D3E2F2BB-569F-46A2-836C-BDF30FF1EDF8}]

4. Import del file .reg nel registro (basta un doppio click sul file);
5. Rimozione della chiave HKEY_CURRENT_USER\Software\Microsoft\Windows\CurrentVersion\DIFxApp ;

Dopo il passo 5 l’installazione della versione 3 è andata senza alcun problema.

Alla prossima! :)

Shutdown HSQLDB

Ultimamente sto usando Hypersonic SQL DB in un software che sto scrivendo. Il driver utilizzato è “embedded” ovvero non è presente un server in attesa di ricevere comandi SQL, ma il database è un file gestito direttamente dal driver di hypersonic.

Con questo tipo di accesso però, avevo notato perdite di dati sul database, non tutto infatti diventava persistente e, certo di non aver scritto codice errato, iniziavo a pensare di non capirci più nulla.

Il fatto è che, a differenza di quanto ero solito fare con altri RDBMS, non è sufficiente chiudere una connessione con

connection.close()

al termine dell’esecuzione del programma, il driver effettua caching delle tabelle per ottimizzare gli accessi al file system e non tutte le modifiche vengono scritte sul file.

È necessario fornire al driver l’istruzione di “SHUTDOWN” di modo che tutti i dati eventualmente ancora in cache vengano correttamente resi persistenti:

Statement shutdown = connection.createStatement("SHUTDOWN");
shutdown.execute();
shutdown.close();
connection.close();

Esiste inoltre, una funzione di shutdown che effettua anche una riorganizzazione del database ed una compressione dei dati. Essendo un’operazione lenta è bene non usarla troppo di frequente, il criterio d’uso è lo stesso di “SHUTDOWN”, “SHUTDOWN COMPACT”.

Alla prossima :)

Elementary su Windows XP

Finalmente ci sono riuscito dopo un po’ di manodopera :)

Per poter utilizzare elementary dovrete prima aver installato le EFL (Enlightenment Foundation Libraries). Seguite il wiki al link di seguito

http://trac.enlightenment.org/e/wiki/EFLWindowsXP

Compilate anche elementary col solito

./autogen.sh
make
make install

e ricordatevi di impostare la variabile d’ambiente ELM_ENGINE con

set ELM_ENGINE=ddraw

Eseguite elementary_test per vedere che sia tutto ok e il risultato dovrebbe essere il seguente

elementary on windows xp

elementary on windows xp

Se qualcosa non va, probabilmente siete incappati nel mio stesso errore: aver compilato evas senza il supporto al ddraw. Ricompilate evas aggiungendo l’opzione –enable-software-ddraw. Io ho usato i seguenti:

./autogen.sh  --enable-sdl /
--enable-gl-glew /
--enable-direct3d /
--enable-software-ddraw /
&& make && make install

Adesso posso iniziare a sviluppare qualcosa che sia crossplatform e che usi un’interfaccia grafica gradevole. Cosa però? Mi verrà l’ispirazione penso… Prima o poi… :)

Compilare E17 da SVN su Archlinux

Un piccolo script molto comodo che ho scritto insieme a furester, per compilare E17 scaricando i sorgenti da SVN. Lo script utilizza il sistema di porting di Archlinux ed ha alcuni piccoli accorgimenti che permettono di ricompilare solo i pacchetti che hanno subito modifiche.

Non è pienamente testato, potrebbe contenere diversi bug, diverse funzionalità sono ancora da implementare, ma chi volesse provarlo può scaricarlo da questo link:

http://fabiofalcinelli.it/files/archE17svn.sh

Potete testarlo, modificarlo redistribuirlo sotto i termini della licenza GPL.

Installazione

Per usare lo script è sufficiente copiarlo in una qualsiasi directory. Di default lo script creerà una cartella archE17svn nella home dell’utente che lo esegue ed esegurà tutte le operazioni al suo interno.

Configurazione

Lo script accetta i seguenti parametri:
-r popola un repository per pacman (non ancora implementato)
-f forza la ricompilazione di tutti i pacchetti
-R reinstalla la snapshot precompilata presente in community
-d compila con simboli di debug
-o=name1,name2,… checkout e compilazione dei soli pacchetti elencati
-w=dir cambia la directory di lavoro (il default è ~/archE17svn)
-h stampa a video il messaggio di aiuto

Una volta compilato, potrete usare e17… Di seguito un piccolo screenshot :)

e17 and wallpaper module

e17 and wallpaper module

L’immagine mostra il modulo wallapaper che permette la configurazione dello sfondo del window manager. La cosa veramente interessante del modulo è l’ordinamento in scala cromatica delle immagini: ho sempre pensato che ordinare le immagini in base al nome (quindi in ordine alfabetico) non abbia molto senso e questo modulo ne è la prova.

Per vedere il modulo in azione, potete visualizzare il video al link sottostante

http://www.rasterman.com/files/wp2.avi

Alla prossima!

Aggiungere il timestamp ad ogni riga in output

Eccomi di ritorno! È passato un po’ di tempo dall’ultimo post, un po’ per impegni vari, un po’ per pigrizia ed un po’ per i tempi di attivazione del dominio (fabiofalcinelli.it). Come va? Come state? :)

Vi descrivo di cosa avevo bisogno e di come ho risolto. Supponiamo di avere un programma che generi output, ma che questo output sia sprovvisto di timestamp. Se il programma deve essere eseguito ad intervalli regolari diventa un po’ difficile capire cosa sta succedendo analizzandone l’output che ne è stato eventualmente redirezionato su un file.

Se invece di redirezionarlo direttamente al file, lo diamo prima in pasto ad awk sarà però possibile aggiungere, per ogni riga, il timestamp di generazione della riga stessa. Ecco di seguito come, utilizzando il tool svnsync come esempio:

svnsync synchronize svn://127.0.0.1:8081 | nawk '{
"date \"+%a %b %d %Y %H:%M:%S -\"" |
getline systemDate;
close ("date \"+%a %b %d %Y %H:%M:%S -\"") ;
print systemDate, $O;
}'
>> svnsync.log

In realtà ho utilizzato nawk la cui implementazione supporta alcune funzionalità in più. Non ci dovrebbero essere problemi usando la stessa procedura con gawk.

Come al solito, spero che possa essere d’aiuto a qualcuno facendogli risparmiare qualche minuto del suo tempo :)

La vita del web designer è difficile…

Raramente mi è capito di mettere mano a codice web, nonostante mi interessi molto la maggior parte del codice che scrivo è Java nudo e crudo oppure C.
Quando capita però, mi rendo conto che la vita di un designer web è tutt’altro che facile. Lo so, per molti questo post sembrerà il classico “yet another state-the-obvious post” ma la frustrazione di dover adattare le cose perché qualcuno deliberatamente ha sfruttato la sua posizione dominante per fregarsene degli standard è alta…

Chi secondo voi se non Microsoft con il suo Internet Explorer 6?

Per esempio, il fatto che non supporti nativamente il formato PNG trasparente è veramente fastidioso. GIF non è minimamente paragonabile con le sue limitazioni ed allora ho dovuto creare una semplice condizione per cui chi utilizza Explorer 6 vedrà qualcosa di diverso:

<?php $agent = $_SERVER['HTTP_USER_AGENT'];
    if(eregi("msie 6.0",$agent)) { ?>

<a href="<?php bloginfo('url'); ?>">
   <img src="/immagini/logo_ie6.jpg" border="0" alt="" />
</a>

<?php }else{ ?>
<a href="<?php bloginfo('url'); ?>">
   <img src="/immagini/logo.png" border="0" alt="" />
</a>
<?php } ?>

C’è anche una soluzione lato client, utilizzando Javascript, che potete trovare a questo indirizzo, ma per il mio scopo di cambiare solo una immagine di testata è stata sufficiente la soluzione di prima, che non esegue nulla lato client.

Molti sono i browser in circolazione ed utilizzare la variabile ‘HTTP_USER_AGENT’ per distinguere l’uno dall’altro è la scelta più semplice, sebbene non sia affidabile: è possibile mascherare e cambiare tale variabile, alcuni proxy la filtrano… La soluzione? Solo il rispetto degli standard.

Fortunatamente browser come Firefox e Opera prendono piede sempre più, Chrome si arrampica ed Internet Explorer 7 anche sembra aver intrapreso la strada della standardizzazione.

Perdonate il tag

<?php>

ma il plugin che uso sembra avere ancora qualche problema. Vedremo se si potrà risolvere anche questo :)
Il plugin “CodeColorer” lo risolve egregiamente direi :D

Java – Esecuzione comandi su CLI parte II

Se vi ricordate di un pezzo di codice scritto da me e che funzionava particolarmente bene per invocare comandi su UNIX… Beh… Scordatevelo! O meglio, dovrete fare qualche piccola modifica.

Il codice in questione sembra, infatti, causare un piccolo problema chiamato deadlock.

La cosa non si presenta sempre, ma dipende fortemente dalla quantità di output che genera il comando e da come il sistema operativo gestisce il buffering della system call “write”. Lanciando truss da dentro al codice java, infatti, notavo che l’esecuzione delle system call si bloccava in attesa:

ioctl(1, TCGETA, 0xFFBEDF34) Err#22 EINVAL
fstat64(1, 0xFFBEDFA8) = 0
brk(0x00068A70) = 0
brk(0x0006AA70) = 0
write(1, " D A T A ".., 5120) = 5120
write(1, " * - &gt; *".., 5120) = 5120
llseek(0, 0, SEEK_CUR) Err#29 ESPIPE
write(1, " * - &gt; * * * * * ".., 635) (sleeping...)

Non è stato facilissimo arrivare alla causa, il metodo è infatti molto semplice, ma adesso che ho identificato il problema l’errore appare quasi evidente. Il problema risiede infatti nel canale di standard error letto prima dello standard output:

  1. Prima di poter leggere lo standard error è necessario che il processo che esegue il comando termini, e non è detto che vi siano errori;
  2. Prima di poter avere tutto l’output disponibile c’è bisogno di qualcuno che consumi i dati nel buffer, ma quel qualcuno è in attesa sullo standard error;
  3. Deadlock!

Sinceramente, questa spiegazione, seppur sensata non mi convince ancora appieno e appena avrò più tempo analizzerò meglio i trace delle system call, nonostante ciò riporto di seguito la versione del metodo che risolve il problema.

public static String execCommand(String cmd) throws IOException{
String result = null;
String temp = null;
BufferedReader stdout = null;
BufferedReader stderr = null;

Process proc = Runtime.getRuntime().exec(cmd);

/*consume the output*/
stdout = new BufferedReader(new InputStreamReader(
proc.getInputStream()));
temp = stdout.readLine();

while(temp!=null){
if(result==null)
result = temp+”\n”;
else
result += temp+”\n”;
temp = stdout.readLine();
}

stdout.close();

/*check if errors occurred*/
stderr = new BufferedReader(new InputStreamReader(
proc.getErrorStream()));
temp = stderr.readLine();

if(temp!=null){
result = temp+”\n”;
temp = stderr.readLine();
while(temp!=null){
result += temp+”\n”;
temp = stderr.readLine();
}

stderr.close();
throw new IOException(result);
}

stderr.close();
/*if no exceptions occurred then proceed to return the output*/
return result;
}

Questo è quanto, il metodo main d’esempio del post precedente però è ancora valido :)

Statement vs PreparedStatement

Quando frequentavo l’università mi chiedevo quale fosse effettivamente la differenza tra uno Statement e un PreparedStatement Java. Fondamentalmente mi permettevano di raggiungere lo stesso risultato in maniera lievemente diversa.

In realtà i due costrutti sono molto più diversi di quanto non si creda. Ogni comando SQL ricevuto dal DBMS viene elaborato seguendo 3 fasi:

  1. Compilazione (parsing del comando SQL);
  2. Esecuzione;
  3. Fetching (restituzione del risultato al client).

Supponendo che vengano eseguite molte operazioni, la classe PreparedStatement permette di eseguire il passo di compilazione una sola volta, la prima, e poi di aggiornarne i valori in seguito:

PreparedStatement pstmt = conn.prepareStatement(
         "SELECT * FROM TABELLA WHERE CAMPO = ?");
Iterator ricerca = lista.iterator();
while(ricerca.hasNext()){

   pstmt.setString(1, (String)ricerca.next());
   ResultSet rs = pstmt.executeQuery();

   while(rs.next()){
      //Get results
   }
   //...
}

Questo si concretizza in un miglioramento delle performance, generalmente. Ciò non è sempre vero, ci sono altri fattori che entrano in gioco che possono rendere uno Statement più veloce di un PreparedStatement. A mio avviso anche se fosse, una leggera diminuzione di performance (che dipende moltissimo dal database utilizzato) per il PreparedStatement è sicuramente ben accetta data la sua grande flessibilità. Non solo, dalle FAQ Oracle ho appreso anche che ci sono dei benefici in termini di sicurezza nell’utilizzo di PreparedStatement: il binding dei dati, infatti, eviterebbe un considerevole numero di attacchi di tipo SQL Injection. La FAQ infatti riporta:

“Statements may be slightly faster if you are only going to execute the SQL once. PreparedStatements are much faster when the SQL will be executed more than once. If you are using the statement cache, which you should, getting a statement from the cache is the same as executing the same statement.

In general we strongly recommend that you use PreparedStatements. This is especially true if you are sending user provided data in the SQL. By binding the data to a PreparedStatement parameter you can prevent most SQL injection attacks. Any performance advantage of using Statements is negligible.”

Insomma, per i miei gusti, non c’è motivo di usare Statement e PreparedStatement è la classe vincente.