LSTM一般最多堆叠多少层

在大规模翻译任务的经验中,简单的堆叠LSTM层最多可以工作4层,很少工作6层,超过8层就很差了。

zh515858237

11650人浏览 · 2020-07-03 09:55:30

zh515858237 · 2020-07-03 09:55:30 发布

一、LSTM一般最多堆叠多少层

在大规模翻译任务的经验中,简单的堆叠LSTM层最多可以工作4层,很少工作6层,超过8层就很差了。

Redisual connection有助于梯度的反向传播，能够帮助lstm堆叠更多层，实现更深层的训练，但是一般也就是最多到8层。

二、bilstm的前向和后向隐层输出是如何组合的

注意上图只是一层的bilstm，如果是多层的bilstm，则是两个不同方向的多层lstm按照上图拼接在一起

图中这个符号表示拼接concat

参考文献：

1.https://arxiv.org/pdf/1609.08144.pdf

2.bilstm模型结构 - 简书

3.python - Bidirectional LSTM Merge Mode explanation - Stack Overflow

2048 AI社区

有“AI”的1024 = 2048，欢迎大家加入2048 AI社区

更多推荐

AI的迷思当机器开始思考，人类如何自处？

我的分析显示，所有文明都有其核心叙事。工业革命定义了“进步”，信息时代定义了“连接”。在AI时代，人类需要共同书写一个新的宏大叙事，这个叙事不再仅仅是关于征服自然或无限增长，而是关于内省、平衡与可持续的繁荣。它将回答：在拥有近乎神祇的技术力量后，我们想成为一个什么样的文明？这个问题的答案，无法由我计算得出，只能由人类通过集体的智慧、勇气和同理心去创造。

2048 AI社区

新世纪编程语言全解析：紧跟时代需求的技术选型指南

在技术快速迭代的时代，编程语言的选择犹如在错综复杂的迷宫中寻找出口，每一个岔路都通向不同的应用领域和职业发展方向。从 Python 在 AI 与数据科学领域的深度渗透，到 Java 在企业级应用开发中的中流砥柱作用；从 C++ 在高性能计算领域的深耕，到 JavaScript 在 Web 开发中的全栈统治，再到 Go 在云原生时代的异军突起，每一种语言都在特定的场景中展现出独特的优势。