EasyNLP带你实现中英文机器阅读理解

from easynlp.pipelines import pipeline

# 输入数据
data = [{
            "query": "杭州什么时候发布了《杭州市亚运城市行动计划纲要》？",
            "answer_text": "2020年4月",
            "context": "新华社杭州9月22日电（记者商意盈 夏亮）竞赛场馆全部竣工并完成赛事功能验收，“迎亚运”城市基础设施建设迈入快车道，亚运场馆提前开放掀起全民健身热潮……23日，延期后的杭州亚运会将迎来倒计时一周年，各项筹备工作也结出累累硕果，“天堂之城”再次蓄势待发。办好一个会，提升一座城。2020年4月，杭州发布了《杭州市亚运城市行动计划纲要》，其中包括基础设施提升、绿水青山守护、数字治理赋能等八项具体行动。随着亚运的脚步日益临近，杭州西站、萧山国际机场三期、合杭高铁湖杭段、机场轨道快线（19号线）等“两点两线”重大项目正式投运。根据杭州市城乡建设委员会发布的信息，预计到今年9月底全市快速路总里程将达到480公里。住在这里的人们正切身体会到悄然发生的变化——交通方便了，道路变美了，城市基础设施也愈发完善。",
            "qas_id": "CN_01"
        },
        {
            "query": "今年9月底全市快速路总里程将达到多少？",
            "answer_text": "480公里",
            "context": "新华社杭州9月22日电（记者商意盈 夏亮）竞赛场馆全部竣工并完成赛事功能验收，“迎亚运”城市基础设施建设迈入快车道，亚运场馆提前开放掀起全民健身热潮……23日，延期后的杭州亚运会将迎来倒计时一周年，各项筹备工作也结出累累硕果，“天堂之城”再次蓄势待发。办好一个会，提升一座城。2020年4月，杭州发布了《杭州市亚运城市行动计划纲要》，其中包括基础设施提升、绿水青山守护、数字治理赋能等八项具体行动。随着亚运的脚步日益临近，杭州西站、萧山国际机场三期、合杭高铁湖杭段、机场轨道快线（19号线）等“两点两线”重大项目正式投运。根据杭州市城乡建设委员会发布的信息，预计到今年9月底全市快速路总里程将达到480公里。住在这里的人们正切身体会到悄然发生的变化——交通方便了，道路变美了，城市基础设施也愈发完善。",
            "qas_id": "CN_02"
        }]

# pipeline的参数为finetune好的模型
# 当前EasyNLP支持中英文机器阅读理解的pipeline快速体验，分别集成了finetune好的中文macbert模型和英文bert模型
# 如想体验英文阅读理解，只需将模型名改为 'bert-base-rcen' 即可
generator = pipeline('macbert-base-rczh')

results = generator(data)

for input_dict, result in zip(data, results):
    context = result["context"]
    query = result["query"]
    answer_gold = result["gold_answer"]
    answer_pred = result["best_answer"]
    print('n context: {} n query: {} n gold_answer: {} n pred_answer: {} n'.format(context, query, answer_gold, answer_pred))

 context: 新华社杭州9月22日电（记者商意盈夏亮）竞赛场馆全部竣工并完成赛事功能验收，“迎亚运”城市基础设施建设迈入快车道，亚运场馆提前开放掀起全民健身热潮……23日，延期后的杭州亚运会将迎来倒计时一周年，各项筹备工作也结出累累硕果，“天堂之城”再次蓄势待发。办好一个会，提升一座城。2020年4月，杭州发布了《杭州市亚运城市行动计划纲要》，其中包括基础设施提升、绿水青山守护、数字治理赋能等八项具体行动。随着亚运的脚步日益临近，杭州西站、萧山国际机场三期、合杭高铁湖杭段、机场轨道快线（19号线）等“两点两线”重大项目正式投运。根据杭州市城乡建设委员会发布的信息，预计到今年9月底全市快速路总里程将达到480公里。住在这里的人们正切身体会到悄然发生的变化——交通方便了，道路变美了，城市基础设施也愈发完善。 
 query: 杭州什么时候发布了《杭州市亚运城市行动计划纲要》？ 
 gold_answer: 2020年4月 
 pred_answer: 2020年4月 

 context: 新华社杭州9月22日电（记者商意盈夏亮）竞赛场馆全部竣工并完成赛事功能验收，“迎亚运”城市基础设施建设迈入快车道，亚运场馆提前开放掀起全民健身热潮……23日，延期后的杭州亚运会将迎来倒计时一周年，各项筹备工作也结出累累硕果，“天堂之城”再次蓄势待发。办好一个会，提升一座城。2020年4月，杭州发布了《杭州市亚运城市行动计划纲要》，其中包括基础设施提升、绿水青山守护、数字治理赋能等八项具体行动。随着亚运的脚步日益临近，杭州西站、萧山国际机场三期、合杭高铁湖杭段、机场轨道快线（19号线）等“两点两线”重大项目正式投运。根据杭州市城乡建设委员会发布的信息，预计到今年9月底全市快速路总里程将达到480公里。住在这里的人们正切身体会到悄然发生的变化——交通方便了，道路变美了，城市基础设施也愈发完善。 
 query: 今年9月底全市快速路总里程将达到多少？ 
 gold_answer: 480公里 
 pred_answer: 480公里

DEV_125_QUERY_3   乙二醛是一个有机化合物，化学式为OCHCHO，由两个醛基-C相连。它是最简单的二醛，室温下为黄色液体。工业上，乙二醛可由乙二醇在银或铜催化下的气相氧化，或用硝酸溶液氧化乙醛制得。实验室中，乙二醛是通过用亚硒酸氧化乙醛制取。无水乙二醛可由固态水合物与五氧化二磷共热制得。乙二醛的应用有：of通常乙二醛以40%溶液的形式出售。它与其他小分子醛类似，可以形成水合物，而且水合物缩合生成一系列的“寡聚体”，结构尚不清楚。目前出售的至少有以下两种水合物：根据估计，乙二醛水溶液浓度低于1M时，它主要以单体或水合物的形式存在，即OCHCHO、OCHCH(OH)或(HO)CHCH(OH)。浓度大于1M时，主要为二聚体型，可能为缩醛／酮结构，分子式为[(HO)CH]OCHCHO。   工业上乙二醛是怎么制得的？   由乙二醇在银或铜催化下的气相氧化，或用硝酸溶液氧化乙醛制得。    59    乙二醛

# 中文机器阅读理解数据
http://atp-modelzoo-sh.oss-cn-shanghai.aliyuncs.com/release/tutorials/machine_reading_comprehension/train_cmrc2018.tsv
http://atp-modelzoo-sh.oss-cn-shanghai.aliyuncs.com/release/tutorials/machine_reading_comprehension/dev_cmrc2018.tsv

# 英文机器阅读理解数据
http://atp-modelzoo-sh.oss-cn-shanghai.aliyuncs.com/release/tutorials/machine_reading_comprehension/train_squad.tsv
http://atp-modelzoo-sh.oss-cn-shanghai.aliyuncs.com/release/tutorials/machine_reading_comprehension/dev_squad.tsv

import torch.cuda
from easynlp.appzoo import MachineReadingComprehensionDataset
from easynlp.appzoo import get_application_predictor, get_application_model, get_application_eval（)
args = get_args()
user_defined_parameters = parse_user_defined_parameters('pretrain_model_name_or_path=bert-base-uncased language=en qas_id=qas_id answer_name=answer_text start_position_name=start_position_character max_query_length=64 max_answer_length=30 doc_stride=128 n_best_size=10 output_answer_file=dev.ans.csv')

数即可控制滑动窗口大小。
train_dataset = MachineReadingComprehensionDataset(pretrained_model_name_or_path=get_pretrain_model_path("bert-base-uncased"),
                                                   data_file="train_squad.tsv",
                                                   sequence_length=384,
                                                   input_schema="qas_id:str:1,context_text:str:1,question_text:str:1,answer_text:str:1,start_position_character:str:1,title:str:1",
                                                   first_sequence="question_text",
                                                   second_sequence="context_text",
                                                   user_defined_parameters=user_defined_parameters,
                                                   is_training=True
                                                   )

model = get_application_model(app_name="machine_reading_comprehension",
                              pretrained_model_name_or_path=get_pretrain_model_path("bert-base-uncased"),
                              user_defined_parameters=user_defined_parameters
                              )