数据存储h5py

安装

sudo pip install cython
sudo apt-get install libhdf5-dev
sudo pip install h5py

测试一下

>>> import h5py as h5
>>> h5.run_tests()

文件夹里面有很多张（比如20w张）图片要读入并保存到一个data文件

• 速度，内存占用，压缩程度都比cPickle+gzip来的优秀
• 可以保存大数据，而且压缩率是mat的十倍

source