细粒度图像识别深度学习开源工具库Hawkeye解析-德赢Vwin官网网

细粒度图像识别是视觉感知学习的重要研究课题，在智能新经济和工业互联网等方面具有巨大应用价值，且在诸多现实场景已有广泛应用…… 鉴于当前领域内尚缺乏该方面的深度学习开源工具库，南京理工大学魏秀参教授团队用时近一年时间，开发、打磨、完成了 Hawkeye——细粒度图像识别深度学习开源工具库，供相关领域研究人员和工程师参考使用。本文是对 Hawkeye 的详细介绍。

1. 什么是 Hawkeye 库

2. Hawkeye 支持的模型及方法

3. 安装 Hawkeye

4. 使用 Hawkeye 训练模型

1. 什么是 Hawkeye 库

Hawkeye 是一个基于 PyTorch 的细粒度图像识别深度学习工具库，专为相关领域研究人员和工程师设计。目前，Hawkeye 包含多种代表性范式的细粒度识别方法，包括 “基于深度滤波器”、“基于注意力机制”、“基于高阶特征交互”、“基于特殊损失函数”、“基于网络数据” 以及其他方法。

Hawkeye 项目代码风格良好，结构清晰易读，可拓展性较强。对于刚接触细粒度图像识别领域的相关人员而言，Hawkeye 较易上手，便于其理解细粒度图像识别的主要流程和代表性方法，同时也方便在本工具库上快速实现自己的算法。此外，我们还给出了库中各模型的训练示例代码，自研方法也可按照示例快速适配并添加至 Hawkeye 中。

Hawkeye 开源库链接：https://github.com/Hawkeye-FineGrained/Hawkeye

2. Hawkeye 支持的模型及方法

Hawkeye 目前支持细粒度图像识别中主要学习范式的共 16 个模型与方法，具体如下：

基于深度滤波器

S3N (ICCV 2019)

Interp-Parts (CVPR 2020)

ProtoTree (CVPR 2021)

基于注意力机制

OSME+MAMC (ECCV 2018)

MGE-CNN (ICCV 2019)

APCNN (IEEE TIP 2021)

基于高阶特征交互

BCNN (ICCV 2015)

CBCNN (CVPR 2016)

Fast MPN-COV (CVPR 2018)

基于特殊损失函数

Pairwise Confusion (ECCV 2018)

API-Net (AAAI 2020)

CIN (AAAI 2020)

基于网络数据

Peer-Learning (ICCV 2021)

其他方法

NTS-Net (ECCV 2018)

CrossX (ICCV 2019)

DCL (CVPR 2019)

3. 安装 Hawkeye

安装依赖

使用 conda 或者 pip 安装相关依赖：

Python 3.8

PyTorch 1.11.0 or higher

torchvison 0.12.0 or higher

numpy

yacs

tqdm

克隆仓库：

git clone https://github.com/Hawkeye-FineGrained/Hawkeye.git

cd Hawkeye

准备数据集

首先，下载一个数据集(以 CUB200 为例)：

cd Hawkeye/data

wget https://data.caltech.edu/records/65de6-vp158/files/CUB_200_2011.tgz

mkdir bird && tar -xvf CUB_200_2011.tgz -C bird/

我们提供了上述 8 个数据集的 meta-data 文件，能够匹配库中的 FGDataset 方便地加载训练集和测试集，训练集和测试集为各个数据集官方提供的划分。使用不同数据集时，只需在实验的 config 文件中修改 dataset 配置即可，方便切换。

在实验的 config 文件中修改 dataset 配置，示例如下：

dataset:

name: cub

root_dir: data/bird/CUB_200_2011/images

meta_dir: metadata/cub

4. 使用 Hawkeye 训练模型

对于 Hawkeye 支持的每个方法，我们均提供了单独的训练模板和配置文件。例如训练 APINet 只需一条命令：

python Examples/APINet.py --config configs/APINet.yaml

实验的参数都在相应的 yaml 文件中，可读性高、便于修改，如：

experiment:
name: API_res101 2        # 实验名称
  log_dir: results/APINet   # 实验日志、结果等的输出目录
  seed: 42                  # 可以选择固定的随机数种子
#  resume: results/APINet/API_res101 2/checkpoint_epoch_19.pth    # 可以从训练中断的 checkpoint 中恢复训练
dataset:
  name: cub          # 使用 CUB200 数据集
  root_dir: data/bird/CUB_200_2011/images   # 数据集中图像放置的路径
  meta_dir: metadata/cub                  # CUB200 的 metadata 路径
  n_classes: 10         # 类别数，APINet 需要的数据集
  n_samples: 4          # 每个类别的样本数
  batch_size: 24        # 测试时的批样本数
  num_workers: 4      # Dataloader 加载数据集的线程数
  transformer:        # 数据增强的参数配置
    image_size: 224      # 图像输入模型的尺寸 224x224
    resize_size: 256    # 图像增强前缩放的尺寸 256x256
model:
  name: APINet        # 使用 APINet 模型，见 `model/methods/APINet.py`
  num_classes: 200      # 类别数目
#  load: results/APINet/API_res101 1/best_model.pth     # 可以加载训练过的模型参数
train:
  cuda: [4]          # 使用的 GPU 设备 ID 列表，[] 时使用 CPU
  epoch: 100        # 训练的 epoch 数量
  save_frequence: 10    # 自动保存模型的频率
#  val_first: False      # 可选是否在训练前进行一次模型精度的测试
  optimizer:
    name: Adam        # 使用 Adam 优化器
    lr: 0.0001        # 学习率为 0.0001
    weight_decay: 0.00000002
  scheduler:
    # 本例使用自定义组合的 scheduler，由 warmup 和余弦退火学习率组合而成，见 `Examples/APINet.py`
    name: ''
    T_max: 100        # scheduler 的总迭代次数
    warmup_epochs: 8    # warmup 的 epoch 数
    lr_warmup_decay: 0.01  # warmup 衰减的比例
  criterion:
    name: APINetLoss    # APINet 使用的损失函数，见 `model/loss/APINet_loss.py`

实验的主程序 Examples/APINet.py 中的训练器 APINetTrainer 继承自 Trainer，不需要再写复杂的训练流程、logger、模型保存、配置加载等代码，只用按需修改部分模块即可。我们也提供了训练阶段的多个 hook 钩子，可以满足一些方法特别的实现方式。

日志文件、模型权重文件、训练使用的训练代码以及当时的配置文件都会保存在实验输出目录 log_dir 中，备份配置和训练代码便于日后对不同实验进行对比。

审核编辑：郭婷

声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表德赢Vwin官网网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。举报投诉

代码

代码

+关注

关注
30

文章
4779

浏览量
68516
深度学习

深度学习

+关注

关注
73

文章
5500

浏览量
121107

原文标题：基于PyTorch、易上手，细粒度图像识别深度学习工具库Hawkeye开源

文章出处：【微信号：vision263com，微信公众号：新机器视觉】欢迎添加关注！文章转载请注明出处。

AI图像识别摄像机

？AI图像识别摄像机是一种集成了先进算法和深度学习模型的智能监控设备。这些摄像机不仅能够捕捉视频画面，还能实时分析和处理所拍摄的内容，从而实现对特定对象、场景或行

发表于 11-08 10:38 •225次阅读

GPU深度学习应用案例

GPU在深度学习中的应用广泛且重要，以下是一些GPU深度学习应用案例：一、图像识别 图像识别是

发表于 10-27 11:13 •378次阅读

AI大模型在图像识别中的优势

AI大模型在图像识别中展现出了显著的优势，这些优势主要源于其强大的计算能力、深度学习算法以及大规模的数据处理能力。以下是对AI大模型在图像识别中优势的介绍：一、高效性与准确性处理速

发表于 10-23 15:01 •591次阅读

图像识别算法有哪几种

计算机科学家开始尝试使用计算机来处理和分析图像数据。最初的图像识别算法主要基于模板匹配和边缘检测等简单方法，但随着计算机硬件和算法的不断发展，图像识别算法逐渐变得更加复杂和高效。 20世纪80年代，随着神经网络和机器

发表于 07-16 11:22 •1048次阅读

图像识别算法都有哪些方法

图像识别算法是计算机视觉领域的核心任务之一，它涉及到从图像中提取特征并进行分类、识别和分析的过程。随着深度学习技术的不断发展，

发表于 07-16 11:14 •5491次阅读

图像识别算法的提升有哪些

引言 图像识别是计算机视觉领域的核心任务之一，旨在使计算机能够自动地识别和理解图像中的内容。随着计算机硬件的发展和深度学习技术的突破，

发表于 07-16 11:12 •636次阅读

图像识别算法的优缺点有哪些

：图像识别算法可以快速地处理大量图像数据，提高工作效率。与传统的人工识别方法相比，图像识别算法可以在短时间内完成对大量图像的分析和

发表于 07-16 11:09 •1531次阅读

图像识别算法的核心技术是什么

图像识别算法是计算机视觉领域的一个重要研究方向，其目标是使计算机能够像人类一样理解和识别图像中的内容。图像识别算法的核心技术包括以下几个方面：特征提取特征提取是

发表于 07-16 11:02 •621次阅读

图像识别技术的原理是什么

图像识别技术是一种利用计算机视觉和机器学习技术对图像进行分析和理解的技术。它可以帮助计算机识别和理解图像中的对象、场景和活动。

发表于 07-16 10:46 •909次阅读

图像识别属于人工智能吗

属于。图像识别是人工智能（Artificial Intelligence, AI）领域的一个重要分支。一、图像识别概述 1.1 定义 图像识别是指利用计算机技术对图像中的内容进行分析

发表于 07-16 10:44 •1074次阅读

opencv图像识别有什么算法

OpenCV（Open Source Computer Vision Library）是一个开源的计算机视觉和机器学习软件库，提供了大量的图像处理和计算机视觉相关的算法。以下是一些常见

发表于 07-16 10:40 •999次阅读

如何利用CNN实现图像识别

卷积神经网络（CNN）是深度学习领域中一种特别适用于图像识别任务的神经网络结构。它通过模拟人类视觉系统的处理方式，利用卷积、池化等操作，自动提取图像中的特征，进而实现高效的

发表于 07-03 16:16 •1309次阅读

图像识别技术原理图像识别技术的应用领域

图像识别技术是一种通过计算机对图像进行分析和理解的技术。它借助计算机视觉、模式识别、人工智能等相关技术，通过对图像进行特征提取和匹配，找出图像

发表于 02-02 11:01 •2407次阅读

基于TensorFlow和Keras的图像识别

TensorFlow和Keras最常见的用途之一是图像识别/分类。通过本文，您将了解如何使用Keras达到这一目的。定义如果您不了解图像识别的基本概念，将很难完全理解本文的内容。因此在正文开始之前

发表于 01-13 08:27 •805次阅读

如何使用Python进行图像识别的自动学习自动训练？

如何使用Python进行图像识别的自动学习自动训练？使用Python进行图像识别的自动学习和自动训练需要掌握一些重要的概念和技术。在本文中，我们将介绍如何使用Python中的一些常用

发表于 01-12 16:06 •572次阅读

搜索历史

细粒度图像识别深度学习开源工具库Hawkeye解析

评论