AI 模型库
bert-base-uncased
fill-mask基于掩码语言建模(MLM)目标在英语上预训练的模型。该模型首次发表于此论文,并首次在此仓库中发布。此模型不区分大小写:即对"english"和"English"不作区分。
roberta-large
fill-mask--- language: en tags: - exbert license: mit datasets: - bookcorpus - wikipedia --- RoBERTa 大型模型 基于掩码语言建模(MLM)目标在英语上预训练的模型。该模型首次在 此论文中提出,并在此仓库中首次发布。此模型区分大小写。
xlm-roberta-base
fill-maskXLM-RoBERTa模型在包含100种语言的2.5TB过滤CommonCrawl数据上进行了预训练。该模型由Conneau等人在论文《大规模无监督跨语言表示学习》中提出,并首次在此仓库中发布。
roberta-base
fill-mask基于遮蔽语言建模(MLM)目标在英语上预训练的模型。该模型首次发表于 此论文,并首次发布于 此仓库。此模型区分大小写:它 能识别english与English之间的差异。
distilbert-base-uncased
fill-mask该模型是BERT基础模型的蒸馏版本。该模型首次发表于此论文中。蒸馏过程的代码可在此处获取。该模型不区分大小写:它不会区分"english"和"English"。
xlm-roberta-large
fill-maskXLM-RoBERTa模型在包含100种语言的2.5TB过滤CommonCrawl数据上进行了预训练。该模型由Conneau等人在论文《大规模无监督跨语言表示学习》中提出,并首次在此仓库中发布。
bert-base-multilingual-cased
fill-mask基于掩码语言建模(MLM)目标,在维基百科规模最大的前104种语言上预训练的模型。该模型首次发表于此论文,并在此仓库中首次发布。此模型区分大小写:例如,它能够识别"english"与"English"之间的差异。
bert-base-cased
fill-mask基于掩码语言建模(MLM)目标在英语上预训练的模型。该模型首次发表于此论文,并在此仓库中首次发布。本模型区分大小写:例如,它能够区分"english"和"English"。
bert-base-multilingual-uncased
fill-mask基于掩码语言建模(MLM)目标,在维基百科规模最大的前102种语言上预训练的模型。该模型首次发表于此论文,并在此仓库中首次发布。此模型不区分大小写:对"english"和"English"不作区分。
deberta-v3-base
fill-maskDeBERTaV3:使用梯度解耦嵌入共享的ELECTRA式预训练改进DeBERTa
bert-large-portuguese-cased
fill-maskBERTimbau Large(亦称“bert-large-portuguese-cased”)
Bio_ClinicalBERT
fill-mask《公开可用的临床BERT嵌入》论文包含四种独特的临床BERT模型:基于BERT-Base(`cased_L-12_H-768_A-12`)或BioBERT(`BioBERT-Base v1.0 + PubMed 200K + PMC 270K`)初始化,并在所有MIMIC笔记或仅出院小结上进行训练。