1.下载地址

huggingface
https://huggingface.co/hfl/chinese-roberta-wwm-ext/tree/main

mackedward-nlp
https://github.com/makcedward/nlp

中文预训练模型
https://github.com/lonePatient/awesome-pretrained-chinese-nlp-models
https://github.com/ymcui/MacBERT
https://github.com/lonePatient/NeZha_Chinese_PyTorch
https://github.com/huawei-noah/Pretrained-Language-Model/tree/master/NEZHA-TensorFlow

中文BERT
https://github.com/stupidHIGH/bert_family_tasks

中文RoBERTa
https://github.com/ymcui/Chinese-BERT-wwm

wobert
https://github.com/ZhuiyiTechnology/WoBERT

ngram_mask：ernie/spanbert
https://www.zhihu.com/question/315190433/answer/618543076

2.综述：

bert介绍
预训练模型综述-邱锡鹏
预训练模型综述

ps：上面模型下载地址中，基本都会附带使用说明以及相关论文

# 深度学习 # 自然语言处理 # pytorch # tensorflow
Logo
2048 AI社区

有“AI”的1024 = 2048，欢迎大家加入2048 AI社区

更多推荐

cover

Electron 主进程与渲染进程通信详解：HarmonyOS PC基于 `ipcRenderer.send` 与 `ipcMain.on` 的双向数据传输

avatar 2048 AI社区
cover

LangChain与LangGraph：让大模型开发更简单，小白也能轻松掌握（收藏必备）

avatar 2048 AI社区
cover

ReAct范式实战：用LangGraph构建会思考的AI，小白也能轻松上手收藏

avatar 2048 AI社区