金属成色
  文章分类
技术 19 生活 2
Transformers仓库解读之一DataCollator Transformers仓库解读之一DataCollator
简要上接Transformers仓库解读之序,对transformers库中的DataCollator的子类进行调用介绍 DataCollatortransformers的DataCollator的几个类，都是用于对原始数据集进行前处理
2021-09-25 技术
transformers 分享
Transformers仓库解读之序 Transformers仓库解读之序
Transformers仓库是HuggingFace公司开源的非常火的预训练模型仓库，它把预训练模型处理的流程抽象包装成了高级的api接口，非常适合掉包侠快速使用。但如果是新手第一次分析源码，拆开一步步的功能的话，是有一定学习成本的。而且仓
2021-09-18 技术
transformers 分享
python服务镜像编译so python服务镜像编译so
为什么要编译so 源码安全： 当服务部署后，别人很容易进入docker容器内部，对你的py脚本一览无余。 即使py脚本编译pyc再部署，也是可以很轻易反编译的。但是若编译成so文件，反编译成本就非常高了。 什么是so文件Unix系統下
2021-03-18 技术
docker 安全 编译
开发环境docker服务卡住的处理过程记录 开发环境docker服务卡住的处理过程记录
简要在docker容器很多的服务器上，一次性关掉所有服务时经常因为一些进程卡住等奇怪的问题，把docker服务卡住，本文记录了一个暴力的方式清理docker容器的方法 docker服务卡住处理过程1. 关闭所有docker容器时出现个别
2021-03-11 技术
docker server
docker服务镜像瘦身 docker服务镜像瘦身
为什么要压缩瘦身 空间：镜像占满硬盘 时间：拉取镜像缓慢 修改前后的dockerfile先上修改后的dockerfile FROM python:3.8-slim COPY /.build/ft/ /app/ COPY /patch/n
2020-12-31 技术
docker server
一个中文摘要生成开源项目 一个中文摘要生成开源项目
项目地址 提供一款中文版生成式摘要服务。 提供从数据到训练到部署，完整流程参考。初衷由于工作需要，在开源社区寻找汉语生成摘要模型时，几乎找不到可用的开源项目。 本项目在英文生成式摘要开源项目Text-Summarizer-Pytorch
2020-11-15 技术
nlg 开源
tf_torch性能对比 tf_torch性能对比
简要本文记录了在同样硬件设备上的pytorch与tensorflow的推断对比，仅供参考。 数据cpu：20核 gpu：1080 跑一百次推断平均花费时间(ms) token个数 tf_cpu（v: 2.3.0） tf_gpu（v
2020-11-15 技术
深度学习 推理性能
elasticsearch数据库的向量存储 elasticsearch数据库的向量存储
简要elasticsearch在7+的版本上，支持把向量存储入字段中，进行距离搜索，本文记录了向量存储数据库的硬盘占用情况 1. 在es数据库上mapping向量字段数据类型1.1 dense_vector A dense_vector
2020-11-15 技术
elasticsearch vector storage
构建通过队列用gpu跑模型的服务 构建通过队列用gpu跑模型的服务
简要这是一个实验记录，用GPU搭建flask服务器的资源释放优化过程 跑cpu的模型服务中跑模型训练时，从主进程分出子进程运行模型训练代码 import multiprocessing as mp while True: _
2020-11-02 技术
nlp server gpu
2 / 2