魔搭 ModelScope 介绍和使用实录 (一)
引言本文详细介绍了魔搭(ModelScope)平台的基本概念和使用方法,从环境配置到模型下载、加载和推理的完整流程,并以实际操作为例展示了平台的使用方式。
其实,我对魔搭 ModelScope 是有一些感情在的,因为我的第一次大模型微调经验就是基于魔搭平台,并且凭此获得了数字中国创新大赛的奖项。
有趣的是,出于种种机缘巧合,我既缺乏基础知识,也没有接受过完整的培训,甚至没有经历全流程的使用。
由于当时急于求成,虽然成功完成了训练,却没能深入探索魔搭的强大功能,仅使用了 swift 便捷的训练功能。
所以,这次我打算从”Quick Start”开始,认真学习魔搭的每一个功能。
过程Quick Start很奇妙的一点,中英文的教程竟然是不同的,英文版在概念解释上更详细,而中文版在操作流程上更详细。然后,中文版似乎更新更频繁,所以如果是国内用户并以使用优先,建议优先参考中文版,但如果想要更深入的了解模型训练的原理,建议参考英文版。
魔搭社区
魔搭社区
哦,对了,如果是打算用的话,建议去直接看文档,他写的真的很好,真的可以让你在 5 分钟内学会使用。
基础概念首先是一些基础概念:
Task ...
食物识别大模型能力比较
引言工作需要,对食物识别大模型能力进行比较。
效果展示过程moondream2极差,青椒炒蛋变成肌肉了…
使用方法倒是挺简单的,详细代码放到后面。
百度 AI 开放平台菜品识别_识别 5 万多种菜品且支持自建菜品图库 - 百度 AI 开放平台
提供了试用接口和 api, 注册也简单,但是正确率一般,而且只提供卡路里的返回值。
美团 T-PAMI
大规模食品图像识别:T-PAMI 2023 论文解读 - 美团技术团队
Large-Scale Food Recognition via Deep Progressive Self-Transformer Network
GitHub - Liuyuxinict/prenet
数据下载需要联系作者,发邮件进行申请。
This dataset can be obtained by sending a request email to us. Specifically, the researchers interested in it should download and fill up this Agreement Form an ...
rserver 中无法使用 conda 的解决办法
引言rserver 总会有一些奇怪的报错,其中有一个是无论是使用 terminal 还是 reticulate 中试图使用建好的 conda 环境都会报错。
事实上应该不只是 conda 会出错,而是包含 pip 在内的所有包管理工具都会出错,这是因为这个问题的原因是 rstudioserver 自己使用了一套环境变量而非系统环境变量。
效果展示
结论诚意推荐少用 rserver。
来试试 vscode 和 cursor 吧,真的好用!!!
安装 nvidia-container-toolkit 以支持 docker 使用显卡
引言如果在 docker 使用 gpu 的时候,出现以下错误:
1docker: Error response from daemon: could not select device driver "" with capabilities: [[gpu]].
可以参考以下步骤安装 nvidia-container-toolkit 以支持 docker 使用显卡。
官网地址:
Installing the NVIDIA Container Toolkit — NVIDIA Container Toolkit 1.16.2 documentation
过程Installing with Yum or DnfConfigure the production repository:
12curl -s -L <https://nvidia.github.io/libnvidia-container/stable/rpm/nvidia-container-toolkit.repo> | \sudo tee /etc/yum.repos.d/nvidia-con ...
纯图 ppt 的优势和转换方法
引言纯图 PPT,顾名思义,是将所有内容以图片形式展示的 PPT。这种形式可以保持内容的高度一致性,不会因设备或软件版本的不同而出现错位或排版问题。以下是它的主要优势及转换方法。
纯图 PPT 的优势
避免字体兼容性问题无论在什么设备上打开,文字风格、布局都不会变化,避免了因为缺少特定字体导致的内容错乱。
提升观感一致性纯图 PPT 保留了设计原稿的排版和美感,适用于展示设计、品牌形象等对视觉效果要求较高的场合。
防止内容被随意复制转换为图片后,内容不易被直接编辑和复制,适合对知识产权有保护需求的文件。
文件小且兼容性好图片形式的 PPT 通常体积小,加载速度快,对低配置设备和不同版本的软件更友好。
转换方法当然选择导出成图片然后一张一张放回去是可以的,但是没有必要,有更好的办法可以选择。
本文提供的方法是:
导出为 PDF,再转为 PPT将 PPT 内容转换为 PDF 是实现纯图 PPT 的关键步骤。以下是两种常用的 PDF 导出方法:
使用 WPS 转 PDF
免费导出 PDF:在 WPS 中,点击“文件”→“导出为 PDF”,即可免费将 PPT 直接转换成 PDF ...
centos 使用 telnet 连接
引言效果展示过程首先阿里云的镜像可能不能使用,建议使用清华的镜像。
更新系统软件源在安装 Telnet 之前,先确保系统的软件源是最新的。可以使用以下命令更新软件包列表:
1yum update
安装 Telnet 和 xinetd通过以下命令安装 xinetd 和 telnet-server:
1yum -y install xinetd telnet-server
这将自动下载并安装所有必要的依赖包。安装完成后,xinetd 的配置文件将存储在 /etc/xinetd.d 目录中。
增加具有管理员权限的用户在配置 Telnet 服务时,通常建议创建一个具备管理权限的用户,而不是直接使用 root 登录。以下步骤将展示如何添加用户 test 并为其配置 sudo 权限。
添加新用户使用以下命令创建一个新的用户 test:
12adduser testpasswd test
配置 sudo 权限修改 sudoers 文件,赋予 test 用户管理员权限:
12chmod u+w /etc/sudoersvim /etc/sudoers
在 root ALL& ...
美化 linux 桌面:chadwm 安装及使用
引言效果展示过程安装12345git clone https://github.com/siduck/chadwm --depth 1 ~/.config/chadwmcd ~/.config/chadwm/mv eww ~/.configcd chadwmsudo make install
Run chadwmWith startx
1startx ~/.config/chadwm/scripts/run.sh
With sx
1sx sh ~/.config/chadwm/scripts/run.sh
Make an alias for this :v
1alias chadwm='startx ~/.config/chadwm/scripts/run.sh'
With Display Manager
Create a desktop entry (make sure to change user with your user):
1sudo touch /usr/share/xsessions/chadwm.desktop
12345[Deskto ...
xrdp 连接黑屏修复
引言今天发现 xrdp 的日志太大了直接挤满了硬盘,而删除了之后因为 xrdp 仍在使用无法释放空间,所以需要关闭应用并重启。但是重启之后无法登录 (黑屏) 了,所以只好修复一下。
查阅后发现是因为在没有注销的情况下进行了重启[1], 因此针对性解决并优化。
系统版本:Ubuntu 22.04.3 LTS
效果展示过程安装并启动 dbus-x11最重要的事情是安装 dbus-x11 并在 /etc/xrdp/startwm.sh 中加入相关代码[2].
123## 安装并启动 dbus-x11sudo apt install dbus-x11dbus-launch
修改 startwm.sh1sudo vim /etc/xrdp/startwm.sh
Inside the script, add the following line:
在脚本内部,添加以下行:
1export $(dbus-launch)
Ensure that the line is added before the following lines:
在以下行之前确保添加该行:
12test -x /etc/X ...
安装 nvidia 显卡驱动及故障排查
引言在一台旧一点的服务器 (CentOS 8.5.2111) 上安装 NVIDIA 显卡驱动及 CUDA 工具包。
如果是 ubuntu 系统,用apt安装,基本上把yum换成apt即可。
过程一定注意,一定要先查看 PyTorch 和 cuda 的对应关系,避免重装。
PyTorch 和 cuda 的对应关系在PyTorch 官网查看。
而 cuda 和 nvidia-driver 的版本对应关系在CUDA 12.6 Update 2 Release Notes查看。
安装顺序:显卡驱动 → CUDA → CUDA Toolkit → cuDNN → Pytorch
以这台服务器的显卡型号为 Tesla V100 PCIe 32GB 为例,PyTorch 可以和 cuda 12.4 对应,所以安装 cuda 12.4.1, 对应的 nvidia-driver 是 550.54.15。
检查显卡型号打开终端并运行以下命令,查看显卡型号:
1lspci | grep -i nvidia
若显卡支持 CUDA 加速,可以看到 NVIDIA 显卡的型号(如 NVIDIA GeForce G ...