inclusively-reformulation-it5

E-MIMIC transformers

E-MIMIC/inclusively-reformulation-it5

2,036,303

下载量

2

收藏数

17

浏览量

cc-by-nc-sa-4.0

许可

简介

该模型是一个意大利语序列到序列模型，基于IT5-large针对包容性语言改写任务进行了微调。

模型卡片

许可协议 cc-by-nc-sa-4.0

模型配置

模型类型 t5

架构 T5ForConditionalGeneration

模型详情

已翻译

Inclusively Rewriting model

该模型是一个意大利语序列到序列模型，基于 IT5-large 针对包容性语言改写任务进行了微调。

它经过训练，能够分析并改写意大利语句子，使其更具包容性（如有需要）。

例如，句子 I professori devono essere preparati（教授们必须做好准备）被改写为 Il personale docente deve essere preparato（教学人员必须做好准备）。

训练数据

该模型在一个包含总计 4705 对句子的数据集上进行了训练，每对句子包含一个包容性句子和一个非包容性句子。数据集划分如下：
- 训练集：3764 对
- 验证集：470 对
- 测试集：471 对

我们还利用了一小部分合成数据（通过一组规则生成）来提升模型在测试集上的表现。
因此，训练总共在 3764 + 75 = 3839 对句子上进行。

数据收集由包容性语言领域的专家进行了人工标注（数据集目前尚未公开）。

训练过程

该模型基于 Italian BERT model 使用以下超参数进行了微调：
- max_length：128
- batch_size：8
- learning_rate：5e-5
- warmup_steps：500
- epochs：25（根据验证集 BLEU 分数选择最佳模型）
- optimizer：AdamW

评估结果

该模型在测试集上进行了评估，获得了以下结果：

模型	BLEU	ROUGE-2 F1	人工正确率	人工部分正确 (L)	人工错误率 (L)
IT5（无合成数据）	80.32	87.17	64.76	15.71	19.52
本模型	80.79	87.47	69.52	17.14	13.22

指标中的 (L) 表示“越低越好”。
与未使用合成数据的相同版本模型相比，合成数据有助于提升模型在测试集上的表现。
其他对比结果可在论文中找到。

引用

如果您使用此模型，请务必引用以下论文：

主论文：

@article{10.1145/3729237,
author = {Greco, Salvatore and La Quatra, Moreno and Cagliero, Luca and Cerquitelli, Tania},
title = {Towards AI-Assisted Inclusive Language Writing in Italian Formal Communications},
year = {2025},
issue_date = {August 2025},
publisher = {Association for Computing Machinery},
address = {New York, NY, USA},
volume = {16},
number = {4},
issn = {2157-6904},
url = {https://doi.org/10.1145/3729237},
doi = {10.1145/3729237},
journal = {ACM Trans. Intell. Syst. Technol.},
month = jun,
articleno = {79},
numpages = {24},
keywords = {inclusive language, natural language processing, text classification, text generation}
}

演示论文：

@InProceedings{PKDD23_inclusively,
author="La Quatra, Moreno
and Greco, Salvatore
and Cagliero, Luca
and Cerquitelli, Tania",
title="Inclusively: An AI-Based Assistant for Inclusive Writing",
booktitle="Machine Learning and Knowledge Discovery in Databases: Applied Data Science and Demo Track",
year="2023",
publisher="Springer Nature Switzerland",
address="Cham",
pages="361--365",
isbn="978-3-031-43430-3",
doi="10.1007/978-3-031-43430-3_31"
}