模型库 / google/mobilebert-uncased

mobilebert-uncased

google transformers en
google/mobilebert-uncased
2,921,185
下载量
71
收藏数
12
浏览量
apache-2.0
许可

简介

MobileBERT：面向资源受限设备的紧凑型任务无关BERT

模型卡片

许可协议 apache-2.0
语言
en

模型配置

模型类型 mobilebert
架构 MobileBertForPreTraining

模型详情

已翻译

MobileBERT: 面向资源受限设备的紧凑型任务无关BERT

MobileBERT 是 BERT_LARGE 的精简版本，配备了瓶颈结构，并在自注意力机制与前馈网络之间进行了精心设计的平衡。

该检查点为原始 MobileBert Optimized Uncased English 版本：
uncased_L-24_H-128_B-512_A-4_F-4_OPT
检查点。

如何在 transformers 中使用 MobileBERT

from transformers import pipeline

fill_mask = pipeline(
    "fill-mask",
    model="google/mobilebert-uncased",
    tokenizer="google/mobilebert-uncased"
)

print(
    fill_mask(f"HuggingFace is creating a {fill_mask.tokenizer.mask_token} that the community uses to solve NLP tasks.")
)

标签

tf rust mobilebert pretraining en license:apache-2.0 endpoints_compatible region:us

操作

阅读详情

详细信息

厂商
google
框架
transformers
模型类型
mobilebert
许可(HF)
apache-2.0
语言
en