Transformers仓库解读之序


Transformers仓库是HuggingFace公司开源的非常火的预训练模型仓库,它把预训练模型处理的流程抽象包装成了高级的api接口,非常适合掉包侠快速使用。但如果是新手第一次分析源码,拆开一步步的功能的话,是有一定学习成本的。而且仓库源码太多,涉及到方方面面的细节,一时间难以抓住重点。


介于此,作为掉包侠的我,尝试将仓库各个模块从类的角度拆分,结合实操代码,系统分析每个模块基本功能。

Transformers仓库解读之一DataCollator


文章作者: Lowin Li
版权声明: 本博客所有文章除特別声明外,均采用 CC BY 4.0 许可协议。转载请注明来源 Lowin Li !
评论
 上一篇
Transformers仓库解读之一DataCollator Transformers仓库解读之一DataCollator
简要上接Transformers仓库解读之序,对transformers库中的DataCollator的子类进行调用介绍
2021-09-25
下一篇 
python服务镜像编译so python服务镜像编译so
为什么要编译so 源码安全: 当服务部署后,别人很容易进入docker容器内部,对你的py脚本一览无余。 即使py脚本编译pyc再部署,也是可以很轻易反编译的。但是若编译成so文件,反编译成本就非常高了。 什么是so文件Unix系統下
2021-03-18
  目录