t5-small
google-t5
translation
transformers
en
fr
ro
google-t5/t5-small
2,782,668
下载量
544
收藏数
12
浏览量
apache-2.0
许可
简介
1. 模型详情 2. 用途 3. 偏见、风险与局限性 4. 训练详情 5. 评估 6. 环境影响 7. 引用 8. 模型卡片作者 9. 如何开始使用该模型
模型卡片
许可协议
apache-2.0
语言
en
fr
ro
de
multilingual
数据集
c4
summarization
translation
模型配置
模型类型
t5
架构
T5ForConditionalGeneration
模型详情
已翻译T5 Small 模型卡片
目录
模型详情
模型描述
Text-To-Text Transfer Transformer (T5) 的开发者在文章中写道：
通过 T5，我们提出将所有 NLP 任务重新构建为统一的文本到文本格式，其中输入和输出始终是文本字符串，这与 BERT 风格的模型（只能输出类标签或输入的一个片段）形成对比。我们的 text-to-text 框架使我们能够在任何 NLP 任务上使用相同的模型、损失函数和超参数。
T5-Small 是拥有 6000 万参数的 checkpoint。
- 开发者： Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J. Liu。参见相关论文和 GitHub 仓库
- 模型类型： 语言模型
- 语言（NLP）： 英语、法语、罗马尼亚语、德语
- 许可证： Apache 2.0
- 相关模型： 所有 T5 Checkpoints
- 更多信息资源：
- 研究论文
- Google 的 T5 博客文章
- GitHub 仓库
- Hugging Face T5 文档
用途
直接用途与下游用途
开发者在博客文章中写道，该模型：
我们的 text-to-text 框架使我们能够在任何 NLP 任务上使用相同的模型、损失函数和超参数，包括机器翻译、文档摘要、问答和分类任务（例如情感分析）。我们甚至可以通过训练 T5 预测数字的字符串表示（而非数字本身）来将其应用于回归任务。
超出范围的使用
需要更多信息。
偏见、风险与局限性
需要更多信息。
建议
需要更多信息。
训练详情
训练数据
该模型在 Colossal Clean Crawled Corpus (C4) 上进行预训练，该数据集与 T5 在同一篇研究论文中开发和发布。
该模型在无监督任务（1.）和监督任务（2.）的多任务混合上进行预训练。
因此，以下数据集被用于（1.）和（2.）：
-
用于无监督去噪目标的数据集：
-
用于监督式 text-to-text 语言建模目标的数据集
-
句子可接受性判断
- CoLA Warstadt 等人，2018
- 情感分析
- SST-2 Socher 等人，2013
- 释义/句子相似度
- MRPC Dolan 和 Brockett，2005
- STS-B Cer 等人，2017
- QQP Iyer 等人，2017
- 自然语言推理
- MNLI Williams 等人，2017
- QNLI Rajpurkar 等人，2016
- RTE Dagan 等人，2005
- CB De Marneff 等人，2019
- 句子补全
- COPA Roemmele 等人，2011
- 词义消歧
- WIC Pilehvar 和 Camacho-Collados，2018
- 问答
- MultiRC Khashabi 等人，2018
- ReCoRD [Zhang 等人，2018](https://a
正在翻译中，请稍候...
标签
tf
jax
rust
onnx
t5
text2text-generation
summarization
en
操作
详细信息
- 厂商
- google-t5
- 任务
- translation
- 框架
- transformers
- 模型类型
- t5
- 许可(HF)
- apache-2.0
- 语言
- en, fr, ro, de, multilingual