Solucionar: IO Error ‘[Errno 28] No space left on device’

Este error es frecuente al utilizar librerías de Python de multiprocesamiento ‘joblib’ con una cantidad considerable de datos.

Diagnostico

El problema es que la memoria compartida ‘/dev/shm’(usualmente menor que la memoria RAM) se satura.

Para corregirlo tendremos que cambiar la variable de entorno: JOBLIB_TEMP_FOLDER a un directorio que con mayor capacidad. (e.g. /tmp)

Esto puede hacerse directamente en iPython o Jupyter con:

%env JOBLIB_TEMP_FOLDER=/tmp

O agregandola en el shell con:

$ export JOBLIB_TEMP_FOLDER=/tmp

Hago ecología matemática y computacional para grandes datos ambientales bajo plataformas descentralizadas basadas en la nube. En particular estoy investigando métodos novedosos de fusión de datos mutirelacionados para mejorar los modelos de predicción de especies biológicas. También diseñé y programé el Sistema de Alerta temprana de Incendios para México y Centro América View all posts by Juan Escamilla Mólgora