在HuggingFace上fork repository

该操作的意图主要是有修改+再发布的需求，原始的模型仓库可能来自于自己的组织，也可能是某个你喜欢的模型，你期望按照自己的方式做些小修补再发布一次。

这里介绍两个方法：

• 通过git + git lfs工具进行分叉
• 直接在HuggingFace的UI上做人工“分叉”

这两个方法各有优缺点，先做快速介绍，再总结：

通过git + git lfs工具进行分叉

按照以下方式执行，亲测可行：

git lfs clone https://huggingface.co/${NEW_ORG}/${MODEL_NAME}
cd ${MODEL_NAME}
git lfs install --skip-smudge --local # --local affects only this clone, try without it
git remote add upstream https://huggingface.co/${ORIGINAL_ORG}/${MODEL_NAME}
git fetch upstream
git checkout -b temp upstream/main
git rebase main # resolve conflicts if needed and finish rebasing
git lfs pull upstream
git push origin temp
git lfs push --all origin temp
git lfs install --force --local

简单解释就是:

• 先创建自己的仓库
• 再把要fork的仓库设置为新残酷的upstream
• 拉取upstream的内容到一个新的branch
• rebase再push

需要注意的是，需要安装git lfs:

$curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
$sudo apt-get install git-lfs
$git lfs install

Mac用户可以直接通过 brew install 来完成工具的安装。

这个方法主要是在命令行进行操作，缺点在于push的阶段是通过网络流量“硬推”，慢。。。

而且还需要处理一些莫名其妙的，莫须有的merge问题

因此，我们介绍第二个方法：

在HuggingFace的UI上做人工“分叉”

第一步，先把你要fock的模型通过git命令拉到本地。

git clone https://huggingface.co/${ORIGINAL_ORG}/${MODEL_NAME}

第二步，在huggingface上，你要fork出来的新仓库上，把本地文件通过upload的方式上传到仓库中

无论文件多大，几乎都是瞬间上传

原因在于，因为我们是"fork"，也就是将已经存在于HuggingFace的文件放到另一个地址。HuggingFace首先通过hash判断这个文件已经存在了，然后就会跳过用户内容上传的过程，直接在其文件系统内部完成数据的拷贝。目前，使用这种方式只能单个文件上传，而如果能够提供批量上传的方式，那速度和操作的简易性就完全秒杀通过命令行的方式了。

因此，如果网络吞吐不佳的情况，可以选择这种方式。因为HuggingFace上的model通常也就几个文件，文件的特性是大而少，人工操作不会太过复杂

原文地址：https://cloud.tencent.com/developer/article/2065664