劝学
青,取之于蓝,而青于蓝;冰,水为之,而寒于水。木直中绳,輮以为轮,其曲中规。虽有槁暴,不复挺者,輮使之然也。故木受绳则直,金就砺则利,君子博学而日参省乎己,则知明而行无过矣。 - 荀子
Stable Diffusion的模型量化,降低内存75%、Streamlit的在线生成图片调试、docker服务部署 Stable Diffusion的模型量化,降低内存75%、Streamlit的在线生成图片调试、docker服务部署
摘要最近几个月开源的Stable Diffusion模型是一个非常棒的模型,它在图像生成领域有着现象级的表现。网上已经有分享大量关于它的画质精美的生成图像。但这个模型是有着10亿级别的参数量,5.2GB的内存占用,一般的家用显卡很难运行起来
2022-10-09
训练一个SentenceTransformer模型 训练一个SentenceTransformer模型
原博客完整notebook代码 训练或是微调SentenceTransformer模型,主要取决于有什么样的数据,做什么样的任务。 输入模型的数据如何处理 不同损失函数与数据集的关系 在这篇博客里,我们可以: 学会如何从零创建一个
2022-09-12
8位混合精度矩阵乘法,小硬件跑大模型 8位混合精度矩阵乘法,小硬件跑大模型
原论文:https://arxiv.org/pdf/2208.07339.pdf 原博客:https://huggingface.co/blog/hf-bitsandbytes-integration 背景NLP语言模型一直在变大,如今
2022-09-04
Constrained Beam Search Constrained Beam Search
使用Transformers做限制集束搜索(Constrained Beam Search)的文本生成 翻译自Guiding Text Generation with Constrained Beam Search in 🤗 Transf
2022-07-03
盘点开源“Copilot”,do it yourself 盘点开源“Copilot”,do it yourself
目录 盘点开源“Copilot”,do it by yourself 目录 1.背景 2.简述 3. 盘点开源代码生成模型 3.1. 模型清单 3.2. 模型测试 3.2.1. Python语言代码生成测试1 3.2.2. Python语言
2022-06-27
使用fastgpt提速huggingface的GPT文本生成模型 使用fastgpt提速huggingface的GPT文本生成模型
使用fastgpt提速huggingface的GPT文本生成模型 fastgpt 是什么 fastgpt是一个基于transformers和onnxruntime的python库,可以无缝衔接的使用 onnxruntime 量化后的 tra
2022-06-25
docker启devpi服务 docker启devpi服务
相关链接: github dockerhub简要 devpi工具相比其他pypi源工具,有如下特点: 节省硬盘:不必完全同步下来公开源的所有包,仅在第一次pip安装时从公开源下载和缓存。 支持上传接口文档:上传自己开发pip库时,可以把接口
2022-03-05
DataMeasurementsTool介绍 DataMeasurementsTool介绍
资源 翻译自 Huggingface Blog 在线工具 GitHub 引子随着机器学习数据集统一平台的快速发展(Lhoest et al. 2021),HuggingFace团队开始探索如何管理数据集文档(McMillan-Major
2022-02-05
bigbird长文本预训练模型介绍 bigbird长文本预训练模型介绍
本博客翻译自huggingface blog。 文末有惊喜 前言基于Transformer的模型已经被证明了在许多NLP任务中的价值,但这类模型的时间复杂度、内存使用复杂度都是$n^2$(n为序列长度),因此当序列长度超过常规的512时
2021-12-12
Transformers仓库做语言生成的解码方法介绍 Transformers仓库做语言生成的解码方法介绍
本博客翻译自huggingface blog 简介最近几年,以OpenAI公司的GPT3为代表,基于transformer结构的大模型都已经开始在上百万级别的网页上面训练。因此大家对开放领域语言生成的期待值也越来越高。开放领域的条件语言
2021-11-08
1 / 3