该数据库引入了一组有难度却很有趣的256个对象类别，总计包含30607幅图像，由加州理工学院的李菲菲、马克安德烈托和 Marc’Aurelio Ranzato 收集。 Caltech-256 Dataset 是 Caltech-101 Dataset 的改进版，其主要有以下几点改动：a）类别数量增加一倍以上；b）任何类别中图像的最小数量从 31 增加到 80； c）避免因图像旋转造成的伪影；d）引入了一个新的更大的杂波类别来测试背景拒绝。