如何快速下载OpenVINO Notebooks中的AI大模型-德赢Vwin官网网

OpenVINO Notebooks简介

OpenVINO Notebooks是Jupyter Notebook形式的OpenVINO范例程序大集合，方便开发者快速学习并掌握OpenVINO推理程序，并通过Copy&Paste方式将范例中的关键程序应用到自己的AI软件中去。

运行AI大模型的挑战

OpenVINO Notebooks提供了非常丰富的AI大模型范例程序，例如：Dolly2、Stable Diffusion、LLama2、ChatGLM2等等，方便广大开发者学习并应用AI大模型。

但运行AI大模型范例程序时，由于众所周知的原因，通常会遇到因无法从HuggingFace下载模型，导致范例程序无法运行的情况。

以240-dolly-2-instruction-following.ipynb为例，运行“Download and Convert Model”代码时会收到报错信息，如下图所示：

解决AI大模型下载问题

＞解决方案一：命令行模式

从https://hf-mirror.com/用命令行手动下载。

第一步，安装下载工具：

pip install -U huggingface_hub hf_transfer

第二步，设置环境变量

在Linux中，执行：

export HF_HUB_ENABLE_HF_TRANSFER=1

export HF_ENDPOINT=https://hf-mirror.com

在Windows中，执行：

SET HF_HUB_ENABLE_HF_TRANSFER=1

SET HF_ENDPOINT=https://hf-mirror.com

第三步：运行下载命令，下载模型到本地

huggingface-cli download --resume-download databricks/dolly-v2-3b --local-dir dolly-v2-3b

＞解决方案二：命令行模式

在模型页面：https://hf-mirror.com/databricks/dolly-v2-3b/tree/main，右键菜单启动：“多选下载模式”，如下图所示。

然后选择所有要下载的文件，最后按“Enter”启动下载。

实际测试，迅雷下载的方式，速度最快，平均在6MB/s左右

从本地加载AI大模型模型

将AI大模型下载到本地后，在，把model_id改为model_local_path, 让程序从本地加载AI大模型，例如：

model_id ="databricks/dolly-v2-3b"

model_local_path ="D:/dolly-v2-3b"

tokenizer =AutoTokenizer.from_pretrained(model_local_path,local_file_only=True)

ov_model =OVModelForCausalLM.from_pretrained(model_local_path, device=current_device, export=True, ov_config=ov_config, load_in_8bit=False,local_file_only=True)

在240-dolly-2-instruction-following.ipynb中“Download and Convert Model”代码块更改如下所示：

frompathlib importPath

fromtransformers importAutoTokenizer

fromoptimum.intel.openvino importOVModelForCausalLM

model_id ="databricks/dolly-v2-3b"

model_local_path ="D:/dolly-v2-3b"

model_path =Path("dolly-v2-3b")

tokenizer =AutoTokenizer.from_pretrained(model_local_path,local_file_only=True)

current_device =device.value

ov_config ={'PERFORMANCE_HINT': 'LATENCY', 'NUM_STREAMS': '1', "CACHE_DIR": ""}

ifmodel_path.exists():

ov_model =OVModelForCausalLM.from_pretrained(model_path, device=current_device, ov_config=ov_config)

else:

ov_model =OVModelForCausalLM.from_pretrained(model_local_path, device=current_device, export=True, ov_config=ov_config, load_in_8bit=False,local_file_only=True)

ov_model.half()

ov_model.save_pretrained(model_path)

240-dolly-2-instruction-following.ipynb从本地加载模型的运行效果，如下图所示：

总结：在遇到AI大模型无法下载时，可以选择用命令行的方式，或者下载器的方式，手动从HuggingFace镜像网站下载，然后修改加载模型的参数，从本地加载模型，实现OpenVINO Notebooks的范例代码顺利运行。

审核编辑：刘清

声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表德赢Vwin官网网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。举报投诉

Linux

Linux

+关注

关注
87

文章
11292

浏览量
209317
大模型

大模型

+关注

关注
2

文章
2423

浏览量
2637
OpenVINO

OpenVINO

+关注

关注
0

文章
92

浏览量
196
AI大模型

AI大模型

+关注

关注
0

文章
315

浏览量
305

原文标题：快速下载 OpenVINO Notebooks 中的 AI 大模型

文章出处：【微信号：SDNLAB，微信公众号：SDNLAB】欢迎添加关注！文章转载请注明出处。

如何使用OpenVINO C++ API部署FastSAM模型

象的位置和边界。本文将介绍如何使用 OpenVINO C++ API 部署 FastSAM 模型，以实现快速高效的语义分割。在前文中我们发表了《基于 OpenVINO Python A

发表于 11-17 09:53 •911次阅读

如何使用<b class='flag-5'>OpenVINO</b> C++ API部署FastSAM<b class='flag-5'>模型</b>

快速下载OpenVIN Notebooks中的AI大模型

OpenVINO Notebooks 是 Jupyter Notebook 形式的 OpenVINO 范例程序大集合，方便开发者快速学习并掌握 Op

发表于 12-16 10:22 •1080次阅读

如何将PyTorch模型与OpenVINO trade结合使用？

无法确定如何转换 PyTorch 掩码 R-CNN 模型以配合OpenVINO™使用。

发表于 08-15 07:04

在LabVIEW中调用OpenVINO™ 模型

自带机器视觉函数库，并提供OpenCV接口库，开发机器视觉与自动化应用程序速度快使用LabVIEW调用OpenVINO IR模型，可以快速完成深度学习项目开发与交付。

发表于 03-21 10:05 •3721次阅读

在C++中使用OpenVINO工具包部署YOLOv5模型

下载并转换YOLOv5预训练模型的详细步骤，请参考：《基于OpenVINO™2022.2和蝰蛇峡谷优化并部署YOLOv5模型》，本文所使用的Open

发表于 02-15 16:53 •4642次阅读

在AI爱克斯开发板上用OpenVINO™加速YOLOv8分类模型

本系列文章将在 AI 爱克斯开发板上使用 OpenVINO 开发套件依次部署并测评 YOLOv8 的分类模型、目标检测模型、实例分割模型和人

发表于 05-05 11:47 •1050次阅读

在AI爱克斯开发板上用OpenVINO™加速YOLOv8目标检测模型

《在 AI 爱克斯开发板上用 OpenVINO 加速 YOLOv8 分类模型》介绍了在 AI 爱克斯开发板上使用 OpenVINO 开发套件

发表于 05-12 09:08 •1311次阅读

自训练Pytorch模型使用OpenVINO™优化并部署在AI爱克斯开发板

本文章将依次介绍如何将 Pytorch 自训练模型经过一系列变换变成 OpenVINO IR 模型形式，而后使用 OpenVINO Python API 对 IR

发表于 05-26 10:23 •926次阅读

AI爱克斯开发板上使用OpenVINO加速YOLOv8目标检测模型

《在AI爱克斯开发板上用OpenVINO加速YOLOv8分类模型》介绍了在AI爱克斯开发板上使用OpenVINO 开发套件部署并测评YOLO

发表于 05-26 11:03 •1238次阅读

在AI爱克斯开发板上用OpenVINO™加速YOLOv8-seg实例分割模型

《在 AI 爱克斯开发板上用 OpenVINO 加速 YOLOv8 目标检测模型》介绍了在 AI 爱克斯开发板上使用 OpenVINO 开发

发表于 06-05 11:52 •998次阅读

没有“中间商赚差价”， OpenVINO™ 直接支持 PyTorch 模型对象

随着 OpenVINO 2023.0 版本的发布，OpenVINO 工具库中预置了全新的 PyTorch 前端，为开发者们提供了一条全新的 PyTorch 模型支持路径，带来更友好的用

发表于 06-27 16:39 •754次阅读

在AI爱克斯开发板上用OpenVINO™加速YOLOv8-seg实例分割模型

《在 AI 爱克斯开发板上用 OpenVINO 加速 YOLOv8 目标检测模型》介绍了在 AI 爱克斯开发板上使用 OpenVINO 开发

发表于 06-30 10:43 •902次阅读

使用OpenVINO优化并部署训练好的YOLOv7模型

在《英特尔锐炫显卡+ oneAPI 和 OpenVINO 实现英特尔视频 AI 计算盒训推一体-上篇》一文中，我们详细介绍基于英特尔独立显卡搭建 YOLOv7 模型的训练环境，并

发表于 08-25 11:08 •1510次阅读

OpenVINO赋能BLIP实现视觉语言AI边缘部署

，使用 OpenVINO 轻松文生图》中，我们介绍了利用 OpenVINO 运行 Stable Diffusion 模型，快速实现文生图应用

发表于 09-01 10:26 •2386次阅读

OpenVINO™ 赋能 BLIP 实现视觉语言 AI 边缘部署

图》中，我们介绍了利用OpenVINO运行StableDiffusion模型，快速实现文生图应用。让人人可以成为绘画大师，利用AI随心作画。

发表于 09-04 16:21 •697次阅读