基于分布式数据库的图像检索系统 DIRS: Distributed Image Retrieval

文件名称: 基于分布式数据库的图像检索系统

所属分类: 图像处理

开发工具:

文件大小: 462.01kb

下载次数: 1

上传时间: 2018-06-25

提供者: ocean******

下载 (462.01kb)

不能下载？报告错误

详细说明： DIRS: Distributed Image Retrieval System === 本项目实现了基于分布式数据库的图像检索系统。其中，TF-IDF作为相似度依据，MapReduce+HBase作为分布式框架。集群配置 --- 4个节点：1个Master，3个Slave，均运行64位Centos系统运行环境 --- Hadoop：2.7.3 Hbase：1.2.3 python 2.7.3 java 1.8.0 系统架构 --- 1. **分布式存储** 使用了HBase表存储图片信息，包括原始图片的路径、缩略图和图片的bovw(Bag of Visual Word)特征。流程：图片 => sift特征点检测及描述符提取 => 特征点进行编码，获得图片的bovw特征向量 => 插入HBase 代码：insertTables.py, sift.py - HBase表 - ***dbinfo: { 'rowid': { 'file': [ 'path':(...), 'data':(...) ], 'feature': [ 'hist':( ...), 'data':(...) ] } }*** 其中每个cell含义分别为: 'rowid':'file':'path' 原始图片路径 'rowid':'file':'data' 图片的缩略图（读写需使用pickle进行处理） 'rowid':'feature':'hist' 图片的bow特征 2. **分布式检索** 利用HBase提供的MapReduce接口，让'dbinfo'的所有条目与query计算tf-idf相似度，根据tf-idf值从小到大排序，结果取排在前面的若干数据。流程：query => sift特征点检测及描述符提取 => vocabulary对特征点进行编码，获得图片的bovw特征向量 => 调用MapReduce程序(Java) => Map阶段: 'dbinfo'表的一个条目 -> 计算与query的相似度 -> (tfidf score, id) => Reduce阶段:(不需要) => 从hdfs中读取结果(MapReduce输出默认根据中间结果的Key值排序) => 从'dbinfo'中读取相应的图片信息，并输出结果代码：queryMR.py, sift.py, SortDriver.java 3. **非分布式检索(做对比)** 利用倒排索引，获取query的候选集，然后从'dbinfo'中读取相应条目，在本地完成tfidf相似度计算以及排序。代码：query.py 代码构成 --- 构建数据库 creatTables.py 创建数据库表 deleteTables.py 删除数据库表 insertTables.py 对图片进行特征提取，并将数据存入HBase中视觉特征 sift.py 封装了sift特征提取常用操作 ransac.py，homograpy.py和warpy.py 用于特征点匹配 vocabulary.py 封装了视觉词典对象以及相关操作 trainVoc.py 训练视觉词典检索 searcher.py 非分布式检索的运行脚本，封装了一些基本操作，包括通过倒排索引获取候选列表，获取图像的特征 query.py 对searcher进行进一步封装，提供检索接口 queryMR.py 分布式检索的运行脚本，将query的特征写入q.dat文件，作为SortDriver输入 SortDriver.java MapReduce的运行程序，计算结果输出到hdfs的/output中辅助 imtools.py 封装了常用的操作，例如生成路径列表 HBaseConfigure.py HBase配置 ...展开收缩

(系统自动生成,下载前可以参看下载内容)

下载文件列表

压缩包 : distributed image retireval system.zip 列表
DIRS-master/
DIRS-master/.gitignore
DIRS-master/HBaseConfigure.py
DIRS-master/README.md
DIRS-master/SortDriver.java
DIRS-master/codebook.pkl
DIRS-master/createTables.py
DIRS-master/deleteTables.py
DIRS-master/homography.py
DIRS-master/idf.dat
DIRS-master/imtools.py
DIRS-master/insertTables.py
DIRS-master/query.py
DIRS-master/queryMR.py
DIRS-master/ransac.py
DIRS-master/sd.jar
DIRS-master/searcher.py
DIRS-master/sift.py
DIRS-master/test_query.py
DIRS-master/test_queryMR.py
DIRS-master/trainVoc.py
DIRS-master/vocabulary.py
DIRS-master/warp.py