Mostrando entradas con la etiqueta programación. Mostrar todas las entradas
Mostrando entradas con la etiqueta programación. Mostrar todas las entradas

miércoles, 12 de septiembre de 2012

Instalación de PostgreSQL 9.2 sobre Ubuntu Server 12.04.1 LTS


acaba de salir recientemente tanto una actualización de Ubuntu Server como de PostgreSQL y me he decidido a probar ambos en una instalación desde cero. Vamos a ver como instalarlo para tener un entorno de pruebas o producción con lo último de lo último.

Con el Ubuntu Server instalado sin ningún paquete extra realizaremos los siguientes pasos desde una cuenta de usuario sin privilegios:

sudo apt-get update
sudo apt-get upgrade
sudo apt-get install gcc bison flex libreadline-dev zlib1g-dev make
wget http://ftp.postgresql.org/pub/source/v9.2.0/postgresql-9.2.0.tar.gz
gzip -d postgresql-9.2.0.tar.gz
tar -xvf postgresql-9.2.0.tar
cd postgresql-9.2.0
./configure
make
sudo su
make install
adduser postgres
mkdir /usr/local/pgsql/data
chown postgres /usr/local/pgsql/data
su - postgres
Inicializamos el sistema de ficheros para la base de datos con los ficheros de configuración de postgresql (en ese directorio encontraréis los ficheros de configuración principales postgresql.conf y pg_hba.conf)

/usr/local/pgsql/bin/initdb -D /usr/local/pgsql/data
Arrancamos la instancia de PostgreSQL

/usr/local/pgsql/bin/postgres -D /usr/local/pgsql/data >logfile 2>&1 &
Probamos la instalación creando una base de datos de prueba y conectándonos a ella

/usr/local/pgsql/bin/createdb test
/usr/local/pgsql/bin/psql test
Con esto tendremos la última versión de PostgresSQL compilada desde los fuentes sobre la última versión de Ubuntu Server 12.04.1 LTS.

viernes, 17 de agosto de 2012

Sistema de monitorización OpenSource: Emoncms3


Desde hace un par de meses llevo trabajando en un proyecto conjunto sobre un sistema de monitorización Open Source. Este proyecto tiene como finalidad que cualquier persona pueda realizar tareas de monitorización usando software y hardware libre. Toda la información del proyecto la podéis encontrar en openenergymonitor.org y en este post voy a explicar como montar la parte software del sistema de monitorización.



Para ello necesitaremos un servidor con el sistema operativo Linux Ubuntu (podéis usar otra versión adaptando los pasos de instalación a dicha distribución) o si no tenéis ningún servidor disponible podréis usar la aplicación VirtualBox para montarlo virtualizado sobre vuestro sistema operativo con el que trabajáis habitualmentee (Windows, MacOs X o Linux). Por supuesto esta última opción no es recomendable para un despliegue para producción con casos reales por el poco rendimiento que da pero si nos puede venir muy bien para probarlo todo y empezar a trastear.

Bueno, primeramente necesitaremos instalar el sistema operativo. Tanto como si lo montáis sobre un servidor físico o en una máquina virtual usando VirtualBox sobre vuestro escritorio o con alguna otra solución de virtualización como VMWare, Xen, etc... lo haremos instalando el Ubuntu Server 12.04 LTS desde esta dirección.

http://www.ubuntu.com/download/server

Lo instalaremos sin ninguna opción de paquetes para instalarlos a mano después según nos vayan haciendo falta y así tener el sistema operativo lo más limpio posible.

Bueno, lo primero que haremos será, teniendo el sistema operativo recién instalado, lo siguiente desde el usuario autorizado para actualizar la instalación

$ sudo su
nos preguntará por la clave que hemos indicado durante la instalación

# apt-get update
# apt-get upgrade
esto tardará un poco por lo que paciencia.

Instalando Apache

Una vez actualizado vamos a instalar el servidor web Apache para poder servir las páginas web

# apt-get install apache2
Una vez instalado podemos ir a la ip de nuestra máquina con el navegador para ver si se ha instalado correctamente.

En mi caso la ip es la 192.168.10.26 y la tuya la puedes averiguar con el comando ifconfig


 y usando el navegador lo comprobamos


Instalando PHP5

Una vez instalado el servidor Apache le toca el turno al php5 con:

# apt-get install php5 libapache2-mod-php5 php-gettext
podemos comprobar si todo está correcto creando un fichero en /var/www denominado index.php con el siguiente contenido:

<?php phpinfo(); ?>

y ejecutarlo desde el navegador


Si todo va bien veremos información de php en el navegador.

Instalación de MySQL

El siguiente paso es la instalación del sistema gestor de base de datos MySQL

# apt-get install mysql-server mysql-client
e introducimos la contraseña para el usurio root de mysql que deseemos cuando nos lo pida. Debemos recordarla ya que la necesitaremos más adelante para crear un usuario específico y la base de datos.

Ahora para dar soporte desde PHP a MySQL instalaremos los siguientes paquetes:

# apt-get install php5-mysql
y reiniciamos Apache con

# /etc/init.d/apache2 restart

Ahora veremos en nuestro index.php que ya tenemos soporte para MySQL desde PHP.


Creación de la base de datos

Emoncms3 trabaja sobre una base de datos para almacenar toda la información de los datos monitorizados así como pantallas, usuarios, etc... para ello vamos a crear un usuario específico en MySQL y será este usuario el dueño de dicha base de datos. Esto nos servirá para aumentar la seguridad ya que dicho usuario sólo tendrá permisos sobre esa base de datos y las acciones de Emoncms3 estarán restringidas por los permisos de dicho usuario.

# mysql -u root -p
nos pedirá el password que hemos indicado cuando instalamos MySQL.

mysql> CREATE USER 'emoncms3user'@'localhost' IDENTIFY BY 'emoncms3userpass'
con esta sentencia creamos el usuario y le asignamos la clave (recordad usar una un poco más compleja ;-)

creamos la base de datos y asignamos como dueño al usuario anteriormente creado.

mysql> CREATE DATABASE emoncms3db;
mysql> GRANT ALL PRIVILEGES ON emoncms3db.* TO emoncms3user@localhost
mysql> \q

ahora podemos probar a conectarnos a la base de datos con el usuario que acabamos de crear

# mysql -u emoncms3user -p emoncms3db
introduciendo la clave de dicho usuario y entrando comprobaremos que todo está correcto.

Instalando Emoncms3 desde el repositorio oficial

Bueno, tenemos ya el servidor web, el PHP y MySQL ahora queda instalar el software de monitorización. Este software se encuentra en un repositorio denominado GitHub en la siguiente dirección:

https://github.com/openenergymonitor/emoncms3

desde ahí se puede ver todo el proyecto OpenSource con las diferentes ramas de desarrollo. Existe una rama DEV que es de pruebas donde desarrollamos nuevas funcionalidades y probamos que todo va bien y una rama principal que es la que usaremos como instalación. Esta rama suele estar actualizada y es la versión más estable de todas por lo que recomiendo que uséis esta última. Luego veremos como ir actualizando el sistema cada vez que haya nuevas actualizaciones.

Como vamos a instalarlo todo de manera que podamos actualizar facilmente la mejoras que se vayan incorporando, debemos instalarnos el cliente Git (que es un software para gestionar repositorios de desarrollo) de la siguiente manera:

# apt-get install git-core
y clonamos el repositorio emoncms3 con todos los fuentes

# cd /var/www
# git clone git://github.com/openenergymonitor/emoncms3.git

o si estáis detrás de un firewall podéis usar la conexión por https que tardará algo más pero os evitará tener problemas con dicho cortafuegos
# git clone https://github.com/openenergymonitor/emoncms3.git

cuando acabe tendréis un directorio denominado emoncms3. Nuestro software recién instalado estará en el directorio /var/www/emoncms3 de nuestro servidor. También podéis descargar el fichero comprimido con todos los fuentes y soltarlo en dicho directorio pero perderéis la facilidad de descargar automaticamente las actualizaciones teniendo que realizar las tareas de despliegue de nuevas versiones realizando la misma operación.

Cada vez que haya una nueva versión podemos actualizar nuestra instalación desde el directorio /var/www/emoncms con el siguiente comando siempre que hayamos instalado el software usando git.

# git pull
Una vez instalado podemos ir con nuestro navegador al software instalado usando la ip_de_vuestro_servidor/emoncms3


os saldrá el siguiente mensaje de error. Quiere decir que nos falta crear y configurar el fichero de configuración de la aplicación. Copiamos el que trae de plantilla en el directorio Includes y lo modificamos con nuestro parámetros

# cp Includes/default.settings.php Includes/settings.php
recargamos la página y veremos el siguiente aviso:


ahora editamos el fichero settings.php que se encuentra en Includes/settings.php



y en el fichero setup.php del directorio de instalación descomentamos (quitamos las barras de) la línea donde pone

// $runnable = TRUE

Ahora cambiaremos por cuestiones de seguridad el propietario del proyecto

# chown -R www-data.www-data /var/www/emoncms3
y borraremos el fichero index.php o le cambiaremos el nombre para que nadie conozca los detalles de nuestra instalación

# rm /var/www/index.php
Ahora podemos volver a lanzar la página web del proyecto y veremos como se crean las tablas necesarias.


Pulsaremos sobre "Continue to emoncms" y veremos la página principal de nuestro sistema de monitorización.



Emoncms3 utiliza el modo de reescritura de URL para funcionar por lo que debemos instalarlo antes de continuar


# a2enmod rewrite

y editar el fichero /etc/apache/sites-available/default añadiendo las opciones para el directorio /var/www/emoncms3


y reiniciamos apache de nuevo


# /etc/init.d/apache restart

Ya sólo queda volver a comentar la línea $runnable = TRUE; del fichero setup.php para que nadie pueda llamarlo, elegir un nombre de usuario y contraseña y pulsar sobre "Register" para entrar en nuestro software.

En estos momento ya tendréis vuestro sistema de monitorización propio y podéis generar pantallas y gráficos con datos enviados desde vuestros dispositivos de medición o sensores, como por ejemplo Arduino. En próximos post daré más detalles de como realizar todo esto y crear aplicaciones como esta:


Existe una opción disponible que os permite monitorizar igualmente vuestros dispositivos sin necesidad de montar el software y es usando una cuenta oficial en la aplicación que hemos desplegado de manera libre en
http://emoncms.org/


Recordad que podéis ver mucha más información en la página principal del proyecto en http://openenergymonitor.org y si tenéis cualquier problema o duda con la instalación contactad conmigo o utilizad el foro de soporte.

viernes, 18 de mayo de 2012

Actualización del firmware del WiFly de Rovin Networks

En este artículo veremos como actualizar el firmware del módulo WiFly de Rovin Networks a la última versión.

En el anterior post os contaba como se configuraba y en el mismo me dí cuenta que no tenía la última versión así que investigando ya he averiguado como hacerlo.

Lo primero que hay que hacer es ver que versión tenemos, en la actualidad está la versión 2.32 del 13 de febrero de 2012.


Lo primero que tenemos que hacer es conectar nuestro módulo a Internet por medio de la wifi. Para ello seguimos las indicaciones del post anterior y hacemos un "join SSID" donde el SSID es el identificativo de tu red inalámbrica.

Una vez conectado, con el comando "ver" vemos la versión que tenemos.


En mi caso la 2.30 del 26 de noviembre de 2011. Si, lo sé, es bastante reciente pero soy algo maniático por tener siempre todo actualizado :-p


Una vez sabemos la versión podemos ver con el comando "ls" que ahí está el firmware que está instalado, en este caso el archivo WiFly_EZX-2.30 que corresponde con la versión que se ve en el prompt.


Ahora simplemente hacemos "ftp update" y veremos como se conecta y se descarga la última versión del firmware, el WiFly_EZX-2.32. En caso de algún error puede ser debido a que hemos modificado los parámetros de conexión por defecto del ftp. Si es así con hacer un "factory RESET" y un "reboot" los volveremos a tener pero tendremos que volver a configurar nuestro módulo para que se conecte a Internet y empezar de nuevo.

Aquí vemos como se ha descargado correctamente el fichero. Ahora toca hacer un "boot image FL#" y listo, donde FL# corresponde al número que tiene el archivo de firmware que queremos usar. Aquí "boot image 33".


Ahora sí, hacemos un "factory RESET", "reboot" y si entramos en modo comando con $$$ y ejecutamos "ver" veremos que ya tenemos la nueva versión instalada.


Bueno, no ha sido demasiado difícil y podemos disfrutar de la última versión disponible. Toda esta información la he sacado del manual de referencia del WiFly por lo que si tenéis dudas podéis acudir a mí o al mismo manual pinchando aquí.

miércoles, 16 de mayo de 2012

XBee Shield + WiFly RN-XV + Arduino UNO



Tenía en mente desarrollar algún sistema inalámbrico usando el Arduino y para ello pregunté a la gente de cooking-hacks que módulo sería mejor. Adquirí un módulo XBee Shield para poder colocar diferentes módulos de comunicación (wifi, bluetooth, radio, etc..) y para las primeras pruebas adquirí un módulo de Rovin Networks que es totalmente compatible con el shield de XBee.

Después de las pruebas he podido comprobar que este módulo funciona muy bien, es muy potente y tiene muchas funcionalidades. Os dejo el enlace por si os interesa verlo en detalle aquí.

El módulo se integra muy bien con el Arduino y se puede empezar a trabajar principalmente de dos forma con él. Una de ellas es programarle una configuración y otra es configurarlo en tiempo real desde el propio Arduino.

Al principio os aconsejo montarlo y utilizarlo sin el Arduino para ir familiarizándonos con él y para ello debemos seguir unos sencillos pasos.

Lo primero es que no nos podremos comunicar con el módulo WiFly si está por medio el Arduino ya que en este caso comparten el puerto serie. Solución, lo quitaremos de la placa :-)

ACTUALIZACIÓN

Ya no es necesario quitarlo de la placa ya que he descubierto
que cargando en el Arduino un sketch vacío se puede acceder al WiFly directamente.

El sketch es el siguiente:

void setup() { }
void loop() { }

funciona tanto para este shield como para el Wireless SD Shield.
Puedes saltarte el paso de desmontar el micro de la placa.




Para ello, primero y muy importante acordarnos de la orientación del microprocesador y luego usando un destornillador plano y de manera muy suave haciendo palanca lo sacamos. En el caso de que el microprocesador venga directamente soldado en placa no podremos hacer las pruebas pero podremos igualmente programar el WiFly desde el propio Arduino.

Una vez extraido el micro podemos montar el WiFly en el XBee Shield


y montamos el shield en el Arduino sin el microprocesador.


De esta manera la placa del Arduino y el shield harán la función de puente entre el ordenador y el módulo WiFly aunque nos queda un paso importante. El shield dispone de dos jumpers marcados como XBEE/USB. La posición XBEE es para que el microprocesador y el módulo se comuniquen entre sí, la posición USB hace que el módulo se conecte directamente con el puerto USB pero al compartir el RX/TX con el microprocesador es necesario quitarlo (que es lo que hemos hecho). Colocamos los dos jumpers en la posición USB y ya podemos conectar la placa Arduino con el ordenador.

Al conectarlo por primera vez el módulo WiFly intentará conectarse automáticamente a una red pero en nuestro caso lo haremos manualmente.

Para ello desde nuestro ordenador instalaremos el software que el fabricante suministra para la comunicación serie con el módulo WiFly llamado Teraterm (que es parecido al Hyperterminal pero que no recomienda usar el fabricante). Lo podeís descargar desde aquí.

Lo arrancamos, establecemos la comunicación por el puerto serie apropiado y debería salir algo así. Esto es el módulo intentando conectarse automaticamente.


Para entrar en modo comandos hay que enviar por el puerto serie la secuencia $$$

Al estar el ECO desactivado no veremos lo que escribimos y hay otro detalle importante. Si entre pulsación y pulsación pasan más de 250 ms el módulo interpretará estas pulsaciones como letras sueltas en lugar de la palabra de control. Ya sabeis, pulsad $ tres veces de manera rápida.


Si todo va bien, saldrá el texto CMD y estaréis en modo comando. El manual de usuario que podreís encontrar aquí (WiFly User Manual) dispone de múltitud de comandos para juguetear un rato y os permitirán configurar muchísimos parámetros del módulo Wifi.


por ejemplo el comando "ls" muestra algunos ficheros que se encuentran dentro del sistema de archivos del módulo WiFly y podemos por ejemplo ejecutar el "wps" para invocar la aplicación para el modo WPS.

En el prompt aparece la versión del firmware instalado que en mi caso es la 2.30 (en la documentación hablan de la 2.32 por lo que tendré que destinar otro post para la actualización cuando averigüe como se hace ;-)

Tambien podeis ver detalles de la versión del firmware instalado con la orden "ver".

Un comando muy interesante para hacer pruebas es el comando "scan" con el que el módulo WiFly escaneará las redes wifi disponibles.


una vez que vemos nuestra red (en mi caso "ismcasa") vamos a pasar a configurar el WiFly para que se conecte a nuestra red. Para ello existen una serie de comandos para realizar esta tarea que podemos ver en el manual antes comentado aunque explicaré ahora los más importantes.

Primeramente vamos a configurar el funcionamiento por dhcp para que dispongamos de una dirección ip de manera automática con "set ip dhcp 1" y configuraremos la forma en la que vamos a usar el protocolo IP con "set ip protocol 2"


para el primer comando os dejo en la siguiente tabla las opciones que disponemos:

Mode Protocol
0 DHCP OFF, use stored static IP address
1 DHCP ON, get IP address and gateway from AP
2 Auto-IP, generally used with Adhoc networks
3 DHCP cache mode, Uses previous IP address if lease is not expired (lease survives reboot)
4 Reserved for future use

para elegir el tipo de protocolo ip tenemos que tener en cuenta que lo que se indica es la posición del bit que queremos activar por lo que el comando "set ip protocol 2" indica que activamos la posición 1 (en binario b0010) poniendo el módulo en tipo servidor y cliente TCP

Bit Position Protocol
0 UDP
1 TCP Server & Client (Default)
2 Secure (only receive packets with IP address matches the store host IP)
3 TCP Client only
4 HTTP client mode

Una vez establecidos los parámetros ejecutamos "set wlan join 0" para que el WiFly deje de intentar conectarse automaticamente como lo hacía al principio, colocamos la clave WAP o WAP2 en este caso con "set wlan phrase " y ejecutamos "join ismcasa" para conectarnos a esa red. Si nuestra red es WEP usaremos "set wlan key ".


Si todo va bien veremos los anteriores mensajes que nos informan que todo está bien y cual es nuestra dirección ip. El led verde del WiFly comenzará a pardadear lo que indicará que está asociado a la red. Para comprobar que funciona, desde nuestro equipo podemos hacer un ping a esa ip y veremos como el WiFly nos contesta.





Si deseamos guardar la configuración podremos ejecutar la orden "save" y quedará ya configurado así la próxima vez con sólo hacer un "join SSID" nos conectaremos a la red Wifi.

Bueno, ya hemos jugado un poco con nuestro módulo WiFly, ahora toca apagarlo, montar el microprocesador y realizar todos los pasos anteriores pero esta vez desde un programa Arduino y que sea este el que configura el módulo y lo utiliza acordándonos de colocar los jumpers en la posición XBEE, pero esto, para el siguiente post.

lunes, 19 de diciembre de 2011

Buenas prácticas con aplicaciones y datos portables

Hace no mucho tiempo, cuando queríamos trabajar con nuestro ordenador, nos dirigíamos, en la mayoría de las ocasiones, a la zona de la casa donde disponíamos de nuestro santuario. Ese lugar que con tanto esmero habíamos elegido para ubicar nuestro ordenador. Sin embargo esto está cambiando cada vez más, y sobre todo, los más jóvenes no entienden ya de estar anclados a un mismo lugar/dispositivo. Los que ya llevamos algún tiempo trabajando con estas máquinas nos hemos ido dando cuenta que necesitamos eliminar el binomio lugar/trabajo debido a que posiblemente estemos continuamente moviendonos y necesitamos seguir realizando nuestras tareas en mayor o menor medida.

Yo mismo estoy sufriendo últimamente este problema, siempre he dispuesto todos mis datos y herramientas en un único ordenador y esto a su vez me ha ido transmitiendo una paranoia sobre el temor al pensar que pasaría si se rompiese el disco duro o un virus acabase con mis datos. ¿No os ha pasado que realizáis una copia de seguridad y al día siguiente ya sentís que está anticuada?.

Al final he llegado a una solución que, por lo menos a mí, me es de mucha utilidad. Colocar tanto los datos como los programas y herramientas en la nube.
uhm... puedo conectar todos estos dispositivos a Internet. Interesante.

Siguiendo este tipo de filosofía tenemos varias aproximaciones:

  1. La propia nube nos da acceso a los datos y nos proporciona herramientas para gestionarlos. Son principalmente soluciones tipo zimbra o google con google docs y gmail y suele ser muy útil si en nuestro trabajo nos dedicamos a generar documentación (google docs), intercambiar información con otros compañeros (gmail y calendar) y trabajar con redes sociales y blogs.
  2. Almacenar solamente los datos para tenerlos en cualquier sitio y nosotros somos los responsables de disponer de las herramientas para tratarlos. Soluciones que permiten tener los datos en la nube tipo Dropbox, Sugarsync, SkyDrive, iDisk, etc... o usar un disco usb.
  3. Almacenar tanto los datos como las aplicaciones para disponer de todo ello desde cualquier sitio.
Este último caso es el que más interesante me ha parecido para los que solemos trabajar con datos pero también usamos multitud de programas de muy diversa índole (programadores, administradores de sistemas, diseñadores o usuarios avanzados).

¿y si coloco los datos en Internet?, los tendré vaya donde vaya...

Alguna limitación en este esquema (luego no digas que no te lo avisé) es que los programas que almacenamos en la nube no pueden ser ejecutados en todos los dispositivos desde los que podemos conectarnos pero es una limitación que suele salvarse utilizando servicios online o aplicaciones nativas para  ese dispositivo.

En mi caso utilizo Dropbox para tener en una carpeta toda la información con la que suelo trabajar. De esta manera no tengo distinción entre el equipo que tengo en el trabajo o tengo en mi casa y siempre tengo todos esos datos desde el móvil y desde la tablet. Podéis usar cualquier otro servicio ya que suelen funcionar igual.

ya tengo los datos esté donde esté, ¿y ahora?

Dopbox está disponible para casi todas las plataformas y dispositivos (Windows, MacOs, Linux, Android, IOs, etc..). Una opción interesante es que podemos seguir usando nuestros datos (los últimos que tengamos desde la última vez que nos conectamos a Internet) para trabajar en modo offline. En el momento de disponer de conectividad se subirán a la nube las últimas versiones y estarán disponibles en el resto de nuestros dispositivos. Si estamos en otro equipo que no es nuestro podemos optar por instalar Dropbox o acceder a nuestros datos a través del portal web que nos ofrece este servicio.

El siguiente paso es el de llevarnos además nuestras aplicaciones pero sólo sirve en este caso para sistemas Windows ya que, como sabemos, los programas de un sistema operativo no se pueden ejecutar en otro diferente, a menos que estén en Java o en otro lenguaje interpretado, aunque en mi caso no es una limitación.

Los programas instalados en un ordenador no son facilmente portables a otro ordenador a menos que los instalemos y en muchos casos tendremos que hacerlo así. Si optamos por software libre podríamos ir instalándolo sin problema descargándolo de la red o si son programas con licencias llevar las licencias en el dropbox. 

Otra opción es hacer uso de la tecnología de aplicaciones portables. Esta tecnología nació con la idea de llevar nuestra aplicaciones en los discos usb pero nada nos impide usar nuestra carpeta de datos de la nube para almacenar dichas aplicaciones.

Así, vayamos donde vayamos llevaremos las aplicaciones que solemos usar más a menudo o al menos las que nos permitan realizar esas tareas que casualmente tenemos que hacer con urgencia cuando estamos fuera.

Datos y aplicaciones en la nube


Ahora podemos dirigirnos a la web de aplicaciones portables y descargar e instalar dentro de nuestra carpeta compartida aquellas que necesitéis disponer de ellas. Portableapps dispone de una herramienta para tener vuestras aplicaciones ordenadas y clasificadas, aunque yo soy más partidario de instalarlas de manera manual y así ahorrarme el espacio de dicho gestor. Simplemente cuando estemos instalando la aplicación le decimos que lo instale en nuestra carpeta compartida y así la tendremos accesible desde cualquier ubicación y ejecutable desde cualquier Windows XP, Vista o 7.

Aquí tenéis un enlace directo a la lista de todas las aplicaciones disponibles. Son aplicaciones gratuitas y/o de código libre que suelen dar muchas de las funcionalidades que necesitamos y entre ellas hay desde antivirus, herramientas de desarrollo, de productividad, gráficos y sonidos, etc... en mi caso suelo disponer de herramientas como el KeePass Password Safe Portable para tener mis contraseñas a salvo, PuTTY Portable para poder conectarme a mis servidores, ClamWin Portable y Spybot - Search & Destroy Portable para proteger los equipos donde trabajo y algunas otros.

Si queremos disponer de aplicaciones nuestras o que no aparecen en la lista debemos usar soluciones comerciales como ThinApp que ofrece VMWare. Os dejo un enlace donde podéis ver como se hace.

Espero que estos consejos os ayuden a hacer más llevadera las tareas de trabajo o mantenimiento esteis donde esteis y recordad que siempre os quedará la alternativa de decir que no podeis hacer nada al estar fuera y así disfrutar del lugar donde os encontréis.

domingo, 27 de marzo de 2011

Desenrolle de bucles en optimización software

Las aplicaciones cada vez demandan mayores recursos a la hora de ejecutarse: mayor velocidad, mas memoria, etc. Y a veces parece que la única solución es la de fabricar máquinas más veloces, sin embargo, ¿podríamos pensar que esto es inevitable?

Cuando los programadores realizan sus programas se centran principalmente en la parte algorítmica de los mismos que, como es normal, es la parte más importante en esta etapa del desarrollo software, ¿qué haríamos nosotros con un programa que no hace lo que queremos?, sin embargo, en este post vamos a preocuparnos menos de esta fase y pasar a transformar nuestros programas, que sabemos que ya funcionan correctamente, para que se ejecuten de una manera mucho más rápida.
La mayoría de nosotros, cuando nos enfrentamos a la resolución de un problema intentamos hacer el algoritmo con el único fin de que funcione correctamente, utilizando multitud de variables auxiliares y montones de comprobaciones innecesarias. Cuando lo probamos y vemos que funciona, una sonrisa de oreja a oreja recorre nuestra cara, ¿ahora qué?, Lo hemos hecho, pero ¿podríamos haberlo hecho mejor y más rápido?.

Aceleremos nuestros programas

El primer paso que debemos dar ante todo al implementar un algoritmo es el de comprender el problema, ¿qué es lo que realmente queremos resolver?, ¿cómo lo vamos a resolver? y ¿cuál es la mejor forma de resolverlo?. De nada nos vale realizar una implementación eficiente de la ordenación utilizando el método de la burbuja, frente a una implementación mediocre pero correcta del algoritmo de ordenación utilizando el método QuickSort.
Apenas aumentemos el número de elementos de entrada de nuestro eficiente algoritmo, este se verá delegado a segundo puesto por nuestra lenta implementación del famoso QuickSort.

Sin embargo la cosa cambia frente a dos implementaciones distintas del mismo algoritmo, el más eficiente será el ganador. ¿Y cuales son esos parámetros que hacen que una implementación sea más eficiente? Principalmente el número de instrucciones que deben ejecutarse para resolver una misma tarea, aunque existen otras como el orden de complejidad del algoritmo, (probablemente la más importante, aunque no entraremos en ello), el aprovechamiento de diversas características del microprocesador, acceso eficiente a la memoria caché y otros parámetros que iremos viendo poco a poco.

La idea de este post es la de mostrar pequeñas transformaciones y trucos que podemos aplicar al código de nuestros programas que harán la ejecución de los mismos mucho más rápidos y que pueden ser aplicados tanto por los programadores gurús o avanzados como por los que estéis descubriendo la programación recientemente.
Antes de empezar me gustaría indicar que los conocimientos que se adquieran en estos artículos no solo son válidos para su aplicación en la programación Delphi (que es el lenguaje que vamos a usar en los ejemplos), sino que son igualmente efectivos aplicados a cualquier lenguaje de programación imperativo.

Bueno, después de esta introducción vayamos al lío:

Desenrolle de bucles

Uno des las primeras técnicas que aprendí para acelerar los programas viene como consecuencia de la aparición de las estructuras iterativas en los mismos. Si nos fijamos bien, la mayoría de los algoritmos tienen su cuerpo principal en algún tipo de bucle que se ejecuta interminablemente hasta que se cumple algún tipo de condición y puede deducirse que si aceleramos la ejecución de los bucles, la ejecución del programa completo será mucho más rápida.

Veamos el siguiente ejemplo:

for k := 0 to 10000 do
 A[k] := B[k] * C[k]

En este sencillo ejemplo pude verse como estamos multiplicando los elementos de dos vectores y guardando sus resultados en un tercero.
¿En qué consiste el desenrolle de bucles?. Veamos el ejemplo anterior al que se le ha aplicado el desenrolle una sola vez:

for j := 0 to 5000 do // se ha dividido la condición entre numero de desenrolles
begin
 A[j*2] := B[j*2] * C[j*2];
 A[(j*2)+1] := B[(j*2)+1] * C[(j*2)+1];
end;

El desenrolle de bucles consiste en hacer que el número de veces que se ejecuta el cuerpo del bucle sea menor, modificando este de tal manera que se ejecuten las mismas operaciones, teniendo especial cuidado con los índices que se manejan.

Veamos unas gráficas de rendimiento.

Rendimiento de la rutina desenrollada frente a la original

Como puede verse, si tomamos como referencia lo que tarda en ejecutarse el bucle original, el bucle desenrollado una sola vez, produce un incremento de velocidad de un 224,7 % más. De esta manera hemos hecho que la gestión del bucle for sea menor por un coste adicional de mayor código en el cuerpo del mismo.

La implementación interna del bucle for consiste en comprobar si se ha llegado al limite del mismo, y si no, incrementar el contador. Reduciendo el número de veces que se realizan estas comprobaciones hacemos que nuestro algoritmo se ejecute más rápido y además al colocar un cuerpo del bucle más grande hemos dado la posibilidad al microprocesador de planificar mejor las instrucciones para su reordenación y hemos hecho que los cauces de ejecución del mismo estén ocupados durante más tiempo.

Desenrollemos ahora el bucle en 4:

for j := 0 to 2500 do
begin
A[j*4] := B[j*4] * C[j*4];
A[(j*4)+1] := B[(j*4)+1] * C[(j*4)+1];
A[(j*4)+2] := B[(j*4)+2] * C[(j*4)+2];
A[(j*4)+3] := B[(j*4)+3] * C[(j*4)+3];
end;

Ahora la condición de finalización e incremento del bucle for se reduce en un cuarto al bucle original, por lo que el tiempo de ejecución de este algoritmo se espera mucho menor.


Tiempo y rendimiento del bucle desenrollado 4 veces

Como podemos observar, los tiempos de ejecución de este algoritmo son mucho menores consiguiéndose un incremento de velocidad del 345%.

Vamos por último a desenrollar el bucle 8 veces.

for j := 0 to 1250 do
begin
 A[j*8] := B[j*8] * C[j*8];
 A[(j*8)+1] := B[(j*8)+1] * C[(j*8)+1];
 A[(j*8)+2] := B[(j*8)+2] * C[(j*8)+2];
 A[(j*8)+3] := B[(j*8)+3] * C[(j*8)+3];
 A[(j*8)+4] := B[(j*8)+4] * C[(j*8)+4];
 A[(j*8)+5] := B[(j*8)+5] * C[(j*8)+5];
 A[(j*8)+6] := B[(j*8)+6] * C[(j*8)+6];
 A[(j*8)+7] := B[(j*8)+7] * C[(j*8)+7];
end;

Tiempo del bucle desenrollado 8 veces

Rendimiento del bucle desenrollado 8 veces

Desenrollando 8 veces el bucle interno del algoritmo original hemos llegado a conseguir un método que realiza lo mismo que el primero pero 4,2 veces más rápido.
Fijaros en que la condición del bucle se ha dividido por 8 y los índices hacen la función de desplazamiento dentro del bucle, haciendo que el espacio de trabajo dentro de los arrays sea el correcto.

Optimización del índice del bucle

Para optimizar el bucle for debemos estudiar que parámetros entran en juego en su ejecución. El bucle for está formado por el contador, la condición de terminación y el cuerpo del bucle. Hasta ahora hemos realizado operaciones sobre el cuerpo del bucle sin embargo también tenemos que tener en cuenta el índice y la condición. Respecto a la condición, esta deberá ser lo más sencilla posible ya que se evalúa en cada iteración del bucle. Respecto al contador, en los ejemplos anteriores hemos utilizado una variable global, sin embargo, ¿que pasaría si utilizamos una variable local al procedimiento donde se ejecuta el bucle for?.

Tiempo de utilizar una variable local al procedimiento frente a los anteriores métodos

Ganancia de rendimiento al utilizar una variable local al procedimiento frente a los anteriores métodos
Si nos fijamos en las dos últimas columnas de las figuras anteriores, podemos ver los tiempos de ejecución del bucle desenrollado 8 veces, pero en el último se ha utilizado una variable local al procedimiento donde se encontraba el bucle for como contador del mismo.

Procedure Rutina
var
 j : integer;
begin 
 for j := 0 to 1250 do
 begin
  A[j*8] := B[j*8] * C[j*8];
  A[(j*8)+1] := B[(j*8)+1] * C[(j*8)+1];
  A[(j*8)+2] := B[(j*8)+2] * C[(j*8)+2];
  A[(j*8)+3] := B[(j*8)+3] * C[(j*8)+3];
  A[(j*8)+4] := B[(j*8)+4] * C[(j*8)+4];
  A[(j*8)+5] := B[(j*8)+5] * C[(j*8)+5];
  A[(j*8)+6] := B[(j*8)+6] * C[(j*8)+6];
  A[(j*8)+7] := B[(j*8)+7] * C[(j*8)+7];
 end;
end;

Para explicar lo que ha ocurrido tenemos que pensar como realiza un compilador la etapa de optimización. Cuando se entra en un procedimiento se almacenan en la pila los registros del microprocesador. Esto implica que se queden libres, para utilizarlos, albergando en ellos variables que se utilizarán dentro del procedimiento, donde en este caso, el índice del bucle for es un candidato en potencia. Ya que el índice se ha colocado dentro de uno de los registros del microprocesador, su manipulación es muchísimo más rápida a la hora de, por ejemplo, multiplicarlo, como vemos en el código anterior. De ahí el incremento de velocidad en la ejecución de este procedimiento en un 625%.
¿Y esto es todo?
¡Os parece poco! Bueno, intentaremos mejorarlo. Hemos aprendido a desenrollar los bucles for teniendo especial cuidado con el contador. Sin embargo, el desenrolle de bucles muestra toda su potencia con otra de las estructuras iterativas de la programación imperativa: el bucle while.

Internamente, el for no está diseñado de manera óptima lo que lleva a que el bucle while sea más eficiente para la mayoría de las tareas. Veamos como se construye un bucle for internamente.

for i:=n to m do
 A[i] := B[i] * C[i]

se transforma en:

PA:=@A[m];
PB:=@B[m];
PC:=@C[m];
contador := m-n+1;
if contador > 0 then
repeat
 PA^:=PB^ * PC^;
 inc(PA);
 inc(PB);
 inc(PC);
 dec(contador);
until contador = 0;

y el problema es que la variable i no aparece por ningún lado dentro de la implementación del bucle, lo que lleva a que en cada iteración tenemos, en este caso, que incrementar los tres punteros de las variables que necesitan el índice del bucle. Podemos ver además, en el ejemplo anterior, la sobrecarga de código que es necesario introducir a la hora de inicializar el bucle for.

El código anterior en formato while sería el siguiente:

i:=n;
while i <= m do
 A[i] := B[i] * C[I];

Por lo tanto, nuestra rutina podría transformase en:

Procedure Rutina
var
 j : integer;
begin 
 while j < 10000 do
 begin
  A[j] := B[j] * C[j];
  A[j+1] := B[j+1] * C[j+1];
  A[j+2] := B[j+2] * C[j+2];
  A[j+3] := B[j+3] * C[j+3];
  A[j+4] := B[j+4] * C[j+4];
  A[j+5] := B[j+5] * C[j+5];
  A[j+6] := B[j+6] * C[j+6];
  A[j+7] := B[j+7] * C[j+7];
  j := j + 8;
 end;
end;

Comparativa de tiempos de todas los métodos implementados

Ganancia de tiempo de todos los métodos
Como puede verse en las figuras anteriores, la implementación con la estructura while es un 50% más rápida que la misma implementada con el for debido principalmente a que desaparece la multiplicación del índice dentro del cuerpo del bucle y de la transformación más eficiente de la misma a código máquina, siendo finalmente 6,7 veces más rápida que la rutina inicial.
Debemos recordar que el índice debe ser divisible por el número de veces que queremos desenrollar el cuerpo del bucle.

Conclusiones
Después de ver estos resultados seguramente tendréis una pregunta en vuestra mente, ¿podríamos desenrollar hasta cualquier nivel?. La respuesta es sí; de esta manera aumentará el rendimiento del programa pero también su tamaño aumentará considerablemente y si el cuerpo del bucle es muy complejo habrá que desenrollarlo y modificarlo con cuidado de no equivocarnos (cosa que es muy común que ocurra) y el código pasará a ser menos legible. Es por tanto que deberemos llegar a una situación de compromiso entre espacio, legibilidad y velocidad prestando atención también al contenido y tipo del cuerpo del bucle. Valores comunes de desenrolle son 1,2,4 y 8. Además hay que tener en cuenta que la condición de salida sea múltiple del nivel de desenrolle que queremos aplicar, sino es así deberíamos comprobar con que indice se ha salido y si falta alguna otra iteración implementarla fuera del bucle.

Otro factor a tener en cuenta es el de intentar utilizar siempre, en cualquier estructura iterativa, una variable local como índice para que pueda ser planificada y así ser gestionada para ubicarla en un registro del microprocesador.
También debemos destacar la utilización de la estructura while frente a la for a menos que manejemos arrays de más de una dimensión ya que sino tendremos que pagar por el hecho de utilizar multiplicaciones a la hora de desplazar los punteros de las matrices.
Para los más avezados podéis intentar aplicar las técnicas que hemos aprendido en esta ocasión al siguiente fragmento de código, desenrollando el bucle en un factor de 2 (fijaos que no conocemos a priori el valor de k por lo que tendremos que añadir código para controlar esa situación).

Randomize;
k := random(1000);
for j:=0 to k do
 A[j] := B[j] * C[j];

En esta entrega hemos aprendido una de las técnicas más utilizadas entre los programadores y compiladores para acelerar la ejecución de los programas, que consiste en duplicar el código dentro de una estructura iterativa para disminuir el número de veces que se ejecuta el cuerpo de control del bucle, a lo que se denomina desenrolle de bucles.