2048 AI社区

2048 AI社区

AI资讯 AI造物社区 MCP

话题讨论活动竞赛科技篇产业对接

去全站搜索看看？

登录社区云

登录社区云，与社区用户共同成长

2048 AI社区

邀请您加入社区

欢迎加入社区

欢迎加入社区

bert

LLaMA/Bert/扩散模型微调GPU选型及租用指南

大模型微调GPU选型核心是“显存匹配模型、算力适配需求、性价比优先”，LLaMA 1B-8B、Bert-base、扩散模型基础微调，可选择RTX 3090/4090（24GB）；LLaMA 33B-70B、Bert-large、扩散模型全量微调，可选择A100 40GB/80GB。租用平台智星云，其高性价比、全卡型覆盖、环境预装、免运维的优势，适配各类微调场景，比自建省60%-80%成本；硅基引擎

 智星云gpu算力服务器
2026-04-09 15:29:25

 919

 3

#bert #人工智能
BERT大模型入门：小白也能学会的预训练+微调范式！收藏学习必备

BERT作为NLP领域的里程碑，首次将双向Transformer表示学习与大规模无监督预训练结合，显著提升了NLP任务效果，推动大模型时代到来。本文核心介绍了BERT的双向上下文信息学习、Transformer Encoder架构、MLM和NSP预训练任务，以及“预训练+微调”的范式，帮助读者理解BERT内部机制，为后续学习GPT、T5等模型打下基础。

m0_48891301
2026-04-09 10:55:17

 468

 12

#bert #学习 #人工智能 +1
从BERT到API：开源AI模型引入的完整代价与边界

如果你手头有一个中等规模的文本分类需求（比如万条数据），你会选择直接微调BERT，还是先用更轻量的模型（如FastText或简单的神经网络）快速验证？为什么？

monday_CN
2026-03-18 14:06:14

 343

 3

#人工智能 #bert #深度学习
医疗大模型崛起：小白程序员必备入门指南，收藏解锁蓝海机遇！

对于正在迷茫择业、想转行提升，或是刚入门的程序员、编程小白来说，有一个问题几乎人人都在问：未来10年，什么领域的职业发展潜力最大？答案只有一个：人工智能（尤其是大模型方向）当下，人工智能行业正处于爆发式增长期，其中大模型相关岗位更是供不应求，薪资待遇直接拉满——字节跳动作为AI领域的头部玩家，给硕士毕业的优质AI人才（含大模型相关方向）开出的月基础工资高达5万—6万元；即便是非“人才计划”的普通应

 冻感糕人~
2026-03-12 10:36:52

 377

 4

#产品经理 #人工智能 #深度学习 +1
从原理到产业：一文读懂颠覆NLP的BERT技术

BERT不仅是NLP发展史上的一个里程碑式模型，更是一个持续演进、充满活力的技术生态。它成功验证了“大规模预训练 + 任务特定微调”这一范式的强大威力，为整个AI领域提供了宝贵范式参考。尽管当前舞台的聚光灯似乎被ChatGPT等生成式大模型占据，但BERT及其庞大的衍生家族在需要深度理解、高精度分类、实时响应以及资源受限的场景中，依然具有不可替代的优势。其技术成熟度、生态完善度以及在垂直领域可深度

 Qianhang.Huang
2026-03-02 17:09:36

 1092

 21

#自然语言处理 #bert #人工智能
大模型位置编码：绝对位置编码(sin/cos)与旋转位置编码(Rope)的区别

Llama采用的旋转位置编码（RoPE）相比传统sin/cos编码具有显著优势。RoPE通过旋转矩阵将位置信息融入词向量，保持模长不变仅改变方向，而sin/cos编码是简单叠加。关键区别在于：RoPE能显式建模相对位置关系（通过矩阵差），而sin/cos需隐式学习。RoPE优势包括：更好的长序列外推能力（利用旋转矩阵线性性质）、显式相对位置建模、保持向量空间稳定性以及更高计算效率。这种"

bulingg
2026-03-01 22:14:37

 683

 9

#深度学习 #人工智能 #bert
从零理解 GraphCodeBERT 与 Sentence-BERT

本文介绍了Transformer及其衍生模型BERT、Sentence-BERT和GraphCodeBERT的核心原理与应用。Transformer通过自注意力机制实现并行处理，成为大模型基础架构。BERT在此基础上采用双向编码器和预训练任务（MLM和NSP），提升语言理解能力。Sentence-BERT通过孪生网络结构优化句子向量表示，实现高效语义相似度计算。GraphCodeBERT则专为代码

 如果皮卡会coding
2026-03-01 20:54:54

 978

 22

#bert #人工智能 #深度学习
测试脚本自愈系统：运行时异常的模式识别与动态修复

摘要：本报告提出一种测试脚本自愈系统框架，通过AI驱动的模式识别和动态修复机制解决自动化测试中的运行时异常问题。系统采用微服务架构，结合NLP和深度学习技术实现95%的异常识别准确率，并能在50ms内完成修复。实际应用显示，该系统使错误恢复率提升至90%以上，在金融和电商领域节省40%维护时间。未来将探索边缘计算和量子计算优化方案，推动测试自动化向"自治"时代发展。（149字）

2501_94456679
2026-03-01 16:35:21

 575

 5

#安全 #重构 #web3 +2
BERT大模型入门指南：小白也能学会的NLP预训练技术

本文详细介绍了BERT预训练语言模型的核心概念、算法原理及实战应用。从预训练模型、双向编码器到Masked Language Model和Next Sentence Prediction，文章深入浅出地解析了BERT的工作机制。同时，提供了使用BERT进行文本分类的代码实例和最佳实践，帮助读者快速上手。BERT在文本分类、命名实体识别、情感分析等领域具有广泛应用，本文还推荐了Hugging Fac

Python程序员罗宾
2026-02-27 19:23:52

 950

 13

#自然语言处理 #bert #人工智能 +1
Elasticsearch根因关联分析插件：解锁软件测试公众号热度密码

2026年软件测试内容生态呈现"专业化+场景化"趋势，AI技术深度渗透测试领域。Elasticsearch根因关联分析插件通过统一存储日志、指标和链路数据，实现5分钟内完成数据聚合与关联分析，为测试从业者提供高效的热度分析工具。高热内容聚焦三大赛道：AI测试工具评测(占比60%)、精准测试案例分享(热度年增40%)和趋势风险管理。实战案例显示，通过插件分析优化后的"A

2501_94456679
2026-02-27 14:57:15

 1210

 17

#elasticsearch #大数据 #搜索引擎 +4
缺陷预测工具BugPredictionML：2026年公众号热度巅峰解析与实战指南

2026年软件测试公众号内容生态呈现专业化与场景化趋势，AI工具评测类文章占据主导。BugPredictionML机器学习模型因解决测试效率、合规风险等痛点成为爆款，其预测性分析可降低40%以上故障率。文章从热度解析、实战应用和内容策略三方面展开：1）分析BugPredictionML走红原因；2）提供Python脚本示例等实操指南；3）提出"专业深度+实用价值+AI赋能"的爆

 2501_94456679
2026-02-25 08:41:26

 1130

 28

#人工智能 #神经网络 #microsoft +2
OPA数据血缘追踪模块的技术解析

本文探讨OpenPolicyAgent(OPA)数据血缘追踪在测试领域的应用与内容营销策略。技术层面，OPA通过Rego语言实现动态策略继承，可自动追踪敏感数据流向并更新权限，在金融等强监管领域提升合规测试效率40%+。内容层面，2026年测试类公众号爆款呈现三大趋势：AI工具评测(占流量60%+)、精准案例分享(热度年增40%)和DevSecOps集成(增长25%)。建议将OPA与热点结合，如制

 2501_94456679
2026-02-25 08:39:56

 840

 10

#神经网络 #microsoft #人工智能 +2
边缘计算工具：K3s集群的分布式测试节点管理平台热度解析

摘要：随着边缘计算在工业4.0中的重要性提升，K3s作为轻量级Kubernetes发行版，因其高效管理分布式测试节点的能力受到关注。公众号数据显示，实战配置指南（40%）、性能测试案例（35%）和架构设计（25%）三类内容最受欢迎，阅读量超10万+。热度源于行业需求（智能制造）、技术演进（K3s轻量化）和技能缺口填补。建议测试从业者聚焦AI集成测试、优化工具链并规避风险。未来趋势将向"智

 2501_94456679
2026-02-24 10:12:27

 973

 27

#边缘计算 #分布式 #人工智能 +4
啃完100+篇顶会论文+3年大模型落地经验：从BERT到GPT-4，Transformer架构进化如何彻底重塑AI技术栈

摘要 2018年BERT的出现彻底改变了NLP领域，作者亲身经历了从传统LSTM+CRF模型（F1值82%）到BERT微调（F1值91%）的飞跃。Transformer架构不仅颠覆了CNN、RNN主导的AI技术栈，还实现了跨赛道（CV、NLP等）的统一建模。其核心优势在于自注意力机制的全局依赖建模能力与并行计算效率，以及Encoder-Decoder架构的通用性。从BERT（Encoder-onl

威哥说编程
2026-02-24 06:55:44

 346

 4

#人工智能 #bert #transformer +4
BERT模型基于Python的大模型岗位人才需求可视化分析

本研究基于Python开发了一套大模型岗位招聘数据分析系统，采用Django框架和MySQL数据库，实现了招聘数据的采集、分析与可视化。通过爬虫获取招聘网站数据，利用BERT模型提取岗位关键特征，构建了技能分析、学历门槛等评估模块。系统采用机器学习算法实现岗位-人才匹配，开发了在线答题功能生成应聘者画像。实验表明，该系统能有效提升招聘匹配效率，为求职者和企业提供数据支持。研究成果包括数据采集处理、

weixin-80213251
2026-02-21 22:47:36

 464

 13

#bert #python #人工智能
BERT模型基于Python的大模型岗位人才需求可视化分析

本研究基于Python开发了招聘岗位智能分析系统，通过爬取大模型相关岗位数据，利用BERT和机器学习技术构建岗位画像与适配度评估模型。系统实现了数据采集、特征提取、题目生成、答题评估全流程自动化，包含技能分析、学历门槛等核心功能模块。采用Django框架和MySQL数据库，结合可视化技术展示分析结果。实验表明系统能有效提升人岗匹配效率，为招聘决策提供数据支持，推动招聘流程智能化转型。

weixin 346127357
2026-02-21 22:01:11

 950

 14

#bert #python #人工智能
讲透Transformer(一):Tokenizer详解——从文本到数字的桥梁

Tokenizer（分词器）是将原始文本转换为模型可以处理的数字表示的工具。它是 NLP 流程中的第一步，负责将人类语言转化为机器能理解的"语言"。Tokenizer原始文本→Token IDs\text{Tokenizer}: \text{原始文本} \rightarrow \text{Token IDs}Tokenizer原始文本→Token IDs直观理解│ Tokenizer 的工作流程

 nudt_qxx
2026-02-21 10:31:17

 815

 12

#bert #语言模型
小白程序员必看：轻松掌握BERT大模型，收藏学习这份超全指南

本文详细介绍了BERT大模型的核心概念、算法原理及最佳实践。从预训练模型的基本思想到Transformer的自注意力机制，再到BERT的双向编码器，文章深入浅出地讲解了BERT的工作原理。此外，还提供了使用BERT进行文本分类的代码实例和详细解释，帮助读者更好地理解和应用BERT。文章还探讨了BERT的实际应用场景，推荐了相关工具和资源，并展望了未来发展趋势与挑战。通过本文，读者能够系统地学习BE

IT猫仔
2026-02-18 20:05:26

 275

 4

#bert #学习 #人工智能 +3
小白程序员必看：轻松掌握BERT大模型，收藏学习这份超全指南

本文详细介绍了BERT大模型的核心概念、算法原理及最佳实践。从预训练模型的基本思想到Transformer的自注意力机制，再到BERT的双向编码器，文章深入浅出地讲解了BERT的工作原理。此外，还提供了使用BERT进行文本分类的代码实例和详细解释，帮助读者更好地理解和应用BERT。文章还探讨了BERT的实际应用场景，推荐了相关工具和资源，并展望了未来发展趋势与挑战。通过本文，读者能够系统地学习BE

IT猫仔
2026-02-18 20:06:03

 425

 6

#bert #学习 #人工智能 +3
BERT模型基于Python的大模型岗位人才需求可视化分析

本研究基于Python技术开发招聘岗位智能分析系统，通过爬取大模型相关岗位数据，结合NLP和机器学习技术实现岗位特征自动提取与人才需求分析。系统包含数据采集处理、分析建模和可视化三大模块，重点分析技能要求、学历门槛等关键指标，构建岗位画像并实现智能题目生成。采用Django框架和MySQL数据库，运用BERT、TF-IDF等技术进行数据处理，最终通过可视化图表展示分析结果。实验表明系统能有效提升人

 qq_79120063
2026-02-18 09:39:17

 677

 7

#bert #python #人工智能
SVM十年演进

摘要：支持向量机（SVM）在2015-2025年间经历了三次技术跃迁：从核技巧主导的小样本分类器（2015-2018），到融合深度特征的混合模型（2019-2022），最终演化为2025年具备智算原生能力的“硬核决策哨兵”。其核心价值转向高维语义对齐与系统级安全，通过eBPF实现内核态实时分类（如自动驾驶应急响应）、作为大模型逻辑校验层，并以1.58-bit量化适配边缘计算。十年间，SVM从统计

 jzwspace
2026-02-14 11:25:11

 706

 14

#支持向量机 #算法 #机器学习 +4
BERT十年演进

摘要： BERT（2015-2025）从静态词向量演进为动态语义理解的核心技术，彻底改变NLP领域。2018年诞生的BERT通过Transformer和遮蔽语言模型（MLM）实现深度双向理解，衍生出RoBERTa、ALBERT等优化版本。2025年，BERT进化为RAG（检索增强生成）的核心编码器，支持万亿级知识检索，并通过eBPF实现内核级语义安全审计。同时，1.58-bit极速编码使其能部署在

 jzwspace
2026-02-13 11:42:21

 687

 8

#bert #深度学习 #人工智能 +3
【硬核万字长文】从 BERT 到 DeepSeek：大模型架构演进、预训练全流程与 RLHF 深度解析（附 PPT 原理图解与面经）

本文深入解析大语言模型的技术演进与核心原理。从Transformer架构的分野出发，详细对比了Encoder和Decoder-Only结构的特性差异。重点剖析了DeepSeek架构的创新之处：包括RMSNorm归一化、SwiGLU激活函数、RoPE旋转位置编码、MLA多头潜在注意力以及MoE混合专家模型等关键技术。文章还系统讲解了预训练阶段的ScalingLaw、数据预处理和NextTokenPr

supplycc
2026-02-12 15:08:47

 1160

 43

#bert #架构 #语言模型 +2
大模型的最佳僚机：如何低成本部署 BERT 构建 Agent 智能体的“神经反射中枢” (The Best Wingman for LLMs: How to Deploy BERT at Low Co

文件名角色比喻解释建筑图纸决定了模型这栋楼盖多高（层数）、地基多深（隐藏层维度）。具体的砖块与装修也就是模型的“知识”。没有它，图纸只是一张废纸；有了它，大楼才能住人（处理任务）。vocab.txt英汉字典决定了数字1045代表单词 “I”。如果把字典换了，模型就成了文盲。语法书 / 分词刀决定了怎么把长句子切成小块。比如它规定 “unhappiness” 要切成 “un”, “happi”, “

AI资源库
2026-02-12 10:43:35

 765

 18

#bert
‌无障碍测试AI：CLIP在WCAG 3.0合规性的自动检查工具‌

摘要：随着AI技术发展，无障碍测试正从人工转向智能化。CLIP模型凭借多模态能力成为WCAG3.0合规检查的核心工具。公众号数据显示，实战案例和技术创新类内容最受关注，反映从业者对测试效率提升的需求。本文通过分析WCAG3.0框架、CLIP应用场景和优化策略，提出将AI工具集成到CI/CD流程中，结合自动化扫描与手动验证，可降低50%问题率。建议团队关注参数优化、用户测试和文化建设，实现AA级合规

 2501_94456679
2026-02-11 14:13:31

 950

 11

#人工智能 #知识图谱 #数据库 +2
流数据测试：LSTM-Kafka在消息积压阈值预测的监控插件‌

摘要：针对Kafka消息积压问题，传统静态阈值监控难以应对动态负载。AI驱动的LSTM模型通过时序分析预测积压阈值，准确率达90%以上。文章介绍LSTM-Kafka监控插件的分层设计，包括数据采集、LSTM核心处理和动态告警推送，并分享电商平台应用案例：大促期间积压故障下降70%，预警时间从15分钟缩短至2分钟。该方案契合AI测试趋势，建议结合生成式AI实现智能阈值管理，为流数据测试提供可靠解决方

 2501_94456679
2026-02-10 08:33:28

 847

 18

#lstm #kafka #人工智能 +4
死锁检测AI：知识图谱在数据库锁冲突的根因分析工具

AI驱动死锁检测技术正在革新软件测试领域。该技术通过知识图谱构建数据库依赖关系网，结合三层智能模型（数据采集、图谱分析、决策推荐），将传统10分钟的死锁定位缩短至10秒内。在电商压测、金融交易等高并发测试场景中，不仅能快速定位循环等待链，还能提前预警风险点，使死锁修复效率提升58%以上。这一技术实现了从被动"救火"到主动"防火"的范式转变，推动测试左移，为构

 2501_94456679
2026-02-10 08:31:10

 743

 7

#人工智能 #知识图谱 #数据库 +4
图神经网络在依赖库漏洞传播分析中的革新应用

摘要：现代软件供应链面临依赖库漏洞传播、数据污染等安全风险，传统测试方法难以应对。图神经网络（GNN）通过构建动态依赖图谱实现精准漏洞分析，新一代AI检测工具将漏洞检出率提升68%、定位速度提升90%、误报率降低74%。建议测试团队将GNN工具集成到DevOps全流程，结合动态行为分析和可视化技术，构建智能化的供应链安全防护体系。

2501_94456679
2026-02-10 08:35:32

 1040

 28

#神经网络 #人工智能 #深度学习 +4
【AI大模型舆情分析】微博舆情分析可视化系统(pytorch2+基于BERT大模型训练微调+flask+pandas+echarts) 实战(下)

本教程详细介绍了基于BERT大模型的微博舆情分析系统开发过程。主要内容包括：1）使用8000条训练数据和2000条测试数据构建自定义数据集；2）通过BERT分词器对文本进行编码处理；3）在BERT模型基础上添加全连接层实现二分类任务；4）采用3轮训练微调模型，准确率从78%提升至92%；5）将训练好的模型封装成接口，替换原有snowNLP分析模块；6）优化批量处理逻辑提高系统响应速度。实验表明，基

 java1234_小锋
2026-02-02 16:50:01

 1536

 31

#人工智能 #bert #flask
一个Bert项目的主流main函数的基础解释？

本文提供了一个中文BERT文本分类项目的入门指南，详细拆解了Main函数的核心代码，适合零基础开发者快速上手。文章以酒店评论情感分类为例，涵盖固定随机种子、配置超参数、初始化BERT模型、优化器和数据加载器等关键步骤，并给出常见问题的解决方案。重点包括：1）如何确保实验可复现；2）关键参数调优技巧；3）数据格式要求；4）显存溢出处理。所有代码可直接运行，稍作修改即可适配其他文本分类任务（如新闻分类

 月光邹
2026-01-30 10:21:05

 1289

 14

#bert #人工智能 #深度学习
深度剖析CNN/RNN/LSTM等传统大模型与GPT/BERT等大模型的核心差异

传统序列模型（CNN/RNN/LSTM）与大语言模型（GPT/BERT）并非替代关系，而是互补关系：传统模型是序列数据处理的基础，解决了“从0到1”的序列特征提取问题，在低算力、小数据场景仍不可替代；大模型是语言理解的革命，通过Transformer和预训练范式解决了“从1到100”的通用语义建模问题，在复杂语言任务中展现出碾压性优势。作为开发者，需根据任务需求、数据规模、算力资源三者平衡选型：在

 AI资源库
2026-01-30 09:00:33

 1082

 21

#rnn #cnn #lstm +4
BERT微调加速

传统微调需在GPU集群上进行数小时甚至数天的训练，这不仅推高了部署成本，更限制了实时交互型应用（如移动端实时翻译、医疗诊断辅助）的发展。未来，随着边缘计算与AI的深度融合，微调速度将从“分钟级”迈向“毫秒级”，使实时个性化AI成为基础设施。据IDC预测，到2027年，边缘微调驱动的NLP应用将占据全球AI部署市场的34%，远超传统云端方案。边缘设备（如NPU芯片）的算力受限，需硬件-软件协同设计。

jie_kou
2026-01-25 14:59:01

 738

 15

#bert #人工智能 #深度学习 +1
1.2 大模型架构介绍

仅供参考

 Scarlett Howe
2026-01-25 13:36:34

 881

 31

#架构 #人工智能 #语言模型 +3
李哥深度学习第八节自然语言处理下 Bert实战

本次任务是一个情感二分类的任务，即使给一段评论，模型要能识别出好评还是差评，我们会使用预训练好的Bert模型，不会进行微调，仅进行线性探测。这次的结构和上次一样，还是data.py model.py train.py 和main.py四个模块。

鹿衔环
2026-01-17 18:21:17

 864

 16

#深度学习 #自然语言处理 #bert
3.2 重排序 (Reranker)

召回（Retrieval）：使用快速的向量检索模型（如，双塔模型）从海量文档库中初步筛选出Top-K（例如100个）最相关的候选文档。重排序（Reranking）：使用一个更强大但更耗时的模型，对召回阶段得到的Top-K个候选文档进行精细化评分和重新排序，筛选出最相关的Top-N（例如3-5个）文档，再交给大模型生成最终答案。为什么需要重排序？向量检索的局限性：第一阶段的向量检索（双塔模型）追求

 北京地铁1号线
2026-01-23 16:36:01

 946

 22

#bert
Bert代码实战

文章摘要：本文介绍了基于BERT的文本分类实现，包含三个核心部分：1) 数据处理模块使用PyTorch的Dataset和DataLoader构建训练/验证集，并采用sklearn的train_test_split进行数据划分；2) 模型部分继承BertModel，添加全连接层进行分类，详细说明了BERT输入构建方法及tokenizer参数；3) 训练流程展示了BERT模型前向传播过程，包括文本编

 Benaldo_Y
2026-01-21 18:13:37

 920

 11

#bert #人工智能 #深度学习
【专辑】AI大模型应用开发入门-拥抱Hugging Face与Transformers生态 - 基于BERT文本分类模型微调

本文介绍了基于BERT模型进行文本分类任务的微调方法。主要内容包括：1）模型微调的概念，即在预训练模型基础上使用特定领域数据进行针对性训练；2）具体实现步骤：准备自定义数据集（8k训练+2k测试数据）、文本编码处理、定义下游任务（在BERT后添加全连接层）、模型训练和评估；3）关键技术点：冻结BERT参数、获取[CLS]标记特征、批量数据处理等。实验结果显示，经过3轮训练后模型在测试集上达到97.

java1234_小锋
2026-01-20 21:10:00

 1464

 43

#人工智能 #bert #深度学习
人工智能AI在书签篮分类中的应用落地

修改CATEGORIES: ["Python教程", "前端开发", "电影", "购物", "办公工具", "其他"],⚠️ 注意：类别数量建议≤8个，数量越少，分类准确率越高。核心流程：初始化项目 → 安装依赖 → 编写代码（解析书签+加载模型+分类）→ 运行生成结果，零基础也能10分钟上手；关键优化：启用量化、限制文本长度、补充域名规则，能在1GB内存环境下稳定运行，准确率≥85%；核心优势

 可视化
2026-01-19 17:42:28

 782

 11

#人工智能 #分类 #bert
BERT模型

本文介绍了BERT模型的复现过程，包括模型结构、训练流程和环境配置。BERT采用多层Transformer编码器，包含嵌入层（Token/段落/位置嵌入）、编码器层（多头自注意力和前馈网络）和输出头（MLM/NSP任务）。复现步骤：1）配置Python≤3.7环境；2）下载BERT-Tiny/Base模型文件；3）预训练：使用create_pretraining_dat

m0_70220973
2025-10-13 10:13:28

 846

 24

#bert #人工智能 #深度学习
对比分析：BERT vs LSTM在AI原生应用意图预测中的表现

在当今的AI世界里，意图预测就像是给计算机装上了“读心术”，能让计算机理解用户想要做什么。BERT和LSTM是两种非常厉害的模型，我们这篇文章的目的就是对比它们在AI原生应用意图预测中的表现，看看谁更胜一筹。范围主要涵盖了这两种模型的原理、代码实现、实际应用等方面。接下来，我们会先讲讲BERT和LSTM的核心概念，就像认识两个新朋友一样。然后详细说说它们的算法原理和操作步骤，还会给出代码示例。之后

 数据结构与算法学习
2026-01-18 00:14:43

 914

 10

#bert #lstm
Datawhale 大模型基础与量化微调 task2：预训练模型

摘要：本文介绍了三种主流预训练语言模型的技术特点。BERT采用双向Transformer编码器结构，通过掩码语言模型(MLM)和下一句预测(NSP)任务进行预训练，其输入包含token、位置和片段三种嵌入。GPT基于单向Transformer解码器，以自回归方式生成文本，经历了从微调到零样本学习的演进。T5采用编码器-解码器架构，将所有NLP任务统一为文本转换问题，使用Span Corruptio

huazi下划线
2026-01-18 02:13:27

 511

 17

#人工智能 #bert
BERT_Experiment_Template 多种模型与数据集加载，训练、参数保存与评估，适合论文实验的代码模板项目

本文介绍了一个BERT实验模板项目，旨在简化频繁更换模型结构和数据集带来的重复工作问题，开发了自动化训练评估流程。项目提供了便捷的训练脚本（batch_train.sh）和评估脚本（batch_eval.sh），支持通过命令行参数快速切换不同模型和数据集。核心创新点包括：1）采用AutoModel实现通用化模型加载，通过自定义DiyModel类兼容不同BERT变体；2）统一数据集格式处理；3）自动

 jieshenai
2026-01-15 17:44:24

 834

 22

#bert #人工智能 #深度学习
【从 “完形填空”（MLM）到 “即兴演讲”（CLM）：揭秘 GPT 碾压 BERT 的底层逻辑】

摘要：NLP领域的关键路线之争是BERT的双向理解(MLM)与GPT的单向生成(CLM)。BERT通过完形填空任务训练，能双向分析但生成能力弱；GPT通过文字接龙任务训练，专注单向生成但通用性更强。GPT胜出的三大原因：1)生成任务兼容理解任务；2)数据利用率更高；3)训练与推理场景一致。最终，当模型规模足够大时，GPT不仅保持生成优势，理解能力也超越BERT，使CLM路线成为大模型时代的主流选择

 程序员：钧念
2026-01-14 18:29:23

 1091

 32

#人工智能 #深度学习 #python +2
大模型Agent 面试题：智能决策与工具调用的未来

摘要：大模型Agent是基于LLM的自主智能体，具备感知、决策、执行和反思能力，与传统专一任务AI相比，泛化能力更强。其核心架构包括感知、记忆、决策、执行和反思模块，通过链式思考（CoT）、工具调用等实现复杂任务拆解。长期记忆依赖向量数据库，动态API调用需匹配需求并生成参数。多模态任务通过跨模态理解和工具协作完成。当前Agent存在幻觉、工具调用错误等局限，未来可能在记忆进化、多模态融合等方面

 ZhangJiQun&MXP
2026-01-13 23:47:50

 168

 1

#人工智能 #深度学习 #自然语言处理 +2
self-attention与Bert

Transformer 架构及其衍生模型 BERT、GPT-2 的对应关系Transformer 的，这是现代自然语言处理（NLP）的核心基础架构，由 “注意力机制 + 前馈网络 + 残差连接 / 层归一化” 构成重复模块（标记为 “N×”）。这些模型是 NLP 领域的里程碑：BERT 开启了双向预训练的范式，GPT-2 则推动了大模型文本生成能力的普及。Bert“文本→模型输入” 的预处理流程完

 嘎嘎烤鸭
2026-01-13 21:35:44

 686

 17

#bert #人工智能 #深度学习
bert-base-chinese-ner微调总结——针对“领域实体微调”及“增量实体微调”任务

如果你未显式提供标签映射，但训练数据中包含完整的 BIO 标签（如 “B-PER”, “I-LOC” 等），训练脚本Hugging Face Transformers 的 Trainer通常会在数据预处理阶段自动收集所有唯一标签，按字典序或出现顺序排序后生成 label2id 和 id2label，并更新到模型配置中。：新的数据集必须包含之前的PER/LOC/ORG/FAC/EVENT的数据，并且

 阿豪Smoking hot
2026-01-13 16:09:12

 626

 24

#bert #人工智能 #深度学习
计算机毕设答辩|计算机毕业设计|大数据深度学习|—flask基于语义分析的拍照搜题系统(：OpenCV+Sentence-BERT)

研究图像预处理和文本检测技术提取题目文字，采用Sentence-BERT进行题目语义向量化表示，实现基于语义相似度的题目匹配。开发包含图像上传、题目识别、语义搜索、结果展示和学习资源推荐的Flask Web系统。验证了语义分析在拍照搜题中的有效性，形成了“图像-文本-语义-资源”的完整技术链，为智能教育工具开发提供了创新思路。* 核心依赖：OpenCV、PaddleOCR、Sentence-Tra

IT实战课堂小啵学长
2026-01-12 10:00:00

 1175

 23

#bert #人工智能 #深度学习
BERT——预训练语言模型

BERT 是由 Google 于 2018 年提出的，基于 Transformer 的部分构建，核心创新是采用，彻底改变了自然语言处理（NLP）的范式，成为后续众多大模型的基础框架。简单来说：BERT 像一个 “语言学霸”，先通过海量文本数据进行（学习通用的语言知识，如语义、语法、上下文关联），再通过（在具体任务上适配少量标注数据），就能在各类 NLP 任务（如文本分类、问答、命名实体识别）上达到

 金属音符
2026-01-11 18:23:26

 1153

 28

#bert #人工智能 #深度学习
用Hugging Face微调医疗BERT模型

医疗BERT微调绝非技术问题，而是医疗数据治理的缩影。当Hugging Face平台从“工具”进化为“生态枢纽”，其价值将取决于能否解决数据稀缺与隐私保护的共生难题。联邦学习与合成数据的融合（降低数据获取成本）低资源语言模型的普惠化（打破医疗AI鸿沟）伦理嵌入式微调流程（从设计源头规避偏见）正如2025年《柳叶刀》评论所言：“医疗AI的公平性，不在于模型精度，而在于它能否服务被历史遗忘的群体。”

jaxzheng
2026-01-08 22:23:26

 761

 15

#bert #人工智能 #深度学习 +1
Demo 骗了所有人？一做就会，一用就废！多模态 RAG 跨不过去的这道坎，看透了！

前言近年来，GPT-4V、Gemini Pro Vision 等多模态大模型快速兴起，将图像、文本、音频等多种数据类型统一理解的能力，拓展到了搜索问答、辅助诊疗、法律检索等更复杂的任务场景中。相比传统大语言模型（LLMs），多模态大模型具备更强的上下文理解能力，适配更丰富的输入方式，具备更广泛的落地潜力。。尤其是在处理图文混合输入时，模型可能产生与事实不符、逻辑混乱的输出。为了解决这一问题，RAG

小马不会过河
2026-01-07 15:57:22

 976

 13

#bert #人工智能 #flask +1

加载更多

回到
顶部

提供社区服务与技术支持

提供社区服务与技术支持

©1999-2023北京创新乐知网络技术有限公司京ICP备19004658号