Qwen2-1.5B-Instruct
简介
Qwen2是Qwen大语言模型系列的新版本。针对Qwen2，我们发布了一系列基础语言模型和指令微调语言模型，参数量从0.5亿到720亿不等，其中包括一个混合专家模型。本仓库包含指令微调后的15亿参数Qwen2模型。
模型卡片
模型配置
模型详情
已翻译Qwen2-1.5B-Instruct
简介
Qwen2 是 Qwen 大语言模型系列的新版本。针对 Qwen2，我们发布了一系列基础语言模型和指令微调语言模型，参数量从 0.5B 到 72B 不等，其中包括一个混合专家模型。本仓库包含经过指令微调的 1.5B 参数 Qwen2 模型。
与包括先前发布的 Qwen1.5 在内的最先进开源语言模型相比，Qwen2 在语言理解、语言生成、多语言能力、编程、数学、推理等一系列基准测试中，普遍超越了大多数开源模型，并展现出与闭源模型竞争的实力。
模型详情
Qwen2 是一个语言模型系列，包含不同模型规模的 decoder 语言模型。针对每种规模，我们发布了基础语言模型和对齐后的聊天模型。该模型基于 Transformer 架构，采用 SwiGLU 激活函数、attention QKV 偏置、分组查询 attention 等设计。此外，我们还改进了 tokenizer，使其能够适配多种自然语言和代码。
训练细节
我们使用大量数据对模型进行了预训练，并通过监督微调和直接偏好优化对模型进行了后训练。
环境要求
Qwen2 的代码已集成到最新的 Hugging Face transformers 中，建议您安装 transformers>=4.37.0，否则可能会遇到以下错误：
KeyError: 'qwen2'
快速开始
以下代码片段展示了如何使用 apply_chat_template 加载 tokenizer 和模型，并生成内容。
from transformers import AutoModelForCausalLM, AutoTokenizer
device = "cuda" # the device to load the model onto
model = AutoModelForCausalLM.from_pretrained(
"Qwen/Qwen2-1.5B-Instruct",
torch_dtype="auto",
device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2-1.5B-Instruct")
prompt = "Give me a short introduction to large language model."
messages = [
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(device)
generated_ids = model.generate(
model_inputs.input_ids,
max_new_tokens=512
)
generated_ids = [
output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
评估
我们将 Qwen2-1.5B-Instruct 与 Qwen1.5-1.8B-Chat 进行了简要对比，结果如下：
| 数据集 | Qwen1.5-0.5B-Chat | Qwen2-0.5B-Instruct | Qwen1.5-1.8B-Chat | Qwen2-1.5B-Instruct |
|---|---|---|---|---|
| MMLU | 35.0 | 37.9 | 43.7 | 52.4 |
| HumanEval | 9.1 | 17.1 | 25.0 | 37.8 |
| GSM8K | 11.3 | 40.1 | 35.3 | 61.6 |
| C-Eval | 37.2 | 45.2 | 55.3 | 63.8 |
| IFEval (Prompt Strict-Acc.) | 14.6 | 20.0 | 16.8 | 29.0 |
引用
如果您觉得我们的工作有帮助，欢迎引用我们。
@article{qwen2,
title={Qwen2 Technical Report},
year={2024}
}
正在翻译中，请稍候...