AI模型在创造性任务中的潜力与局限性

关键词：AI模型、创造性任务、潜力、局限性、生成式AI

摘要：本文深入探讨了AI模型在创造性任务中的表现，详细分析了其具备的潜力，如高效生成内容、拓展创意边界等，同时也指出了存在的局限性，包括缺乏真正的理解和情感、易产生偏见等。通过介绍核心概念、算法原理、数学模型，结合项目实战案例，阐述了AI在创造性领域的应用情况。还列举了实际应用场景，推荐了相关的学习资源、开发工具和论文著作。最后对AI模型在创造性任务中的未来发展趋势与挑战进行了总结，并解答了常见问题，提供了扩展阅读和参考资料，旨在为读者全面展现AI模型在创造性任务中的全貌。

1. 背景介绍

1.1 目的和范围

本文章的主要目的是全面且深入地剖析AI模型在创造性任务中的潜力与局限性。随着AI技术的飞速发展，其在各个创造性领域的应用日益广泛，如艺术创作、文学写作、音乐创作等。了解AI模型在这些任务中的优势和不足，有助于我们更好地利用其潜力，同时规避可能出现的问题。本文的范围涵盖了多种常见的创造性任务，分析了不同类型AI模型在这些任务中的表现，并探讨了相关的技术原理、实际应用场景以及未来发展方向。

1.2 预期读者

本文预期读者包括对AI技术感兴趣的普通爱好者、从事创造性工作的专业人士（如艺术家、作家、设计师等）、AI领域的研究人员和开发者，以及关注科技发展对社会影响的各界人士。通过阅读本文，不同背景的读者可以从不同角度了解AI模型在创造性任务中的相关知识，为他们的学习、研究、创作或决策提供参考。

1.3 文档结构概述

本文将按照以下结构进行阐述：首先介绍核心概念，明确AI模型和创造性任务的定义及它们之间的联系；接着讲解核心算法原理和具体操作步骤，通过Python代码详细说明；然后介绍相关的数学模型和公式，并举例说明；再通过项目实战案例展示AI模型在创造性任务中的实际应用；之后列举实际应用场景，推荐学习资源、开发工具和相关论文著作；最后总结未来发展趋势与挑战，解答常见问题，并提供扩展阅读和参考资料。

1.4 术语表

1.4.1 核心术语定义

• AI模型：人工智能模型是基于数学算法和大量数据训练出来的程序，能够模拟人类的智能行为，如学习、推理、决策等。常见的AI模型包括神经网络、决策树、支持向量机等。
• 创造性任务：指需要创新思维和独特创意的任务，通常涉及到艺术、文学、音乐、设计等领域，要求产生新颖、有价值的成果。
• 生成式AI：是一种能够根据输入信息生成新的、原创内容的AI技术，如生成图像、文本、音乐等。

1.4.2 相关概念解释

• 深度学习：是机器学习的一个分支，通过构建多层神经网络来学习数据的复杂特征和模式。深度学习在图像识别、自然语言处理等领域取得了显著的成果，是许多AI模型的核心技术。
• 强化学习：一种通过智能体与环境进行交互，根据环境反馈的奖励信号来学习最优行为策略的机器学习方法。在创造性任务中，强化学习可以用于优化生成结果。

1.4.3 缩略词列表

• GAN：Generative Adversarial Network，生成对抗网络，是一种用于生成新数据的深度学习模型。
• RNN：Recurrent Neural Network，循环神经网络，适用于处理序列数据，如文本和时间序列。
• LSTM：Long Short-Term Memory，长短期记忆网络，是RNN的一种变体，能够有效解决长序列中的梯度消失问题。

2. 核心概念与联系

2.1 AI模型的分类与特点

AI模型可以分为多种类型，每种类型都有其独特的特点和适用场景。以下是几种常见的AI模型：

• 神经网络模型：包括前馈神经网络（FNN）、卷积神经网络（CNN）、循环神经网络（RNN）及其变体（如LSTM、GRU）等。神经网络模型通过大量的神经元和连接来学习数据的特征和模式，具有强大的拟合能力。例如，CNN在图像识别和处理方面表现出色，RNN则适用于处理序列数据，如文本和语音。
• 决策树模型：通过构建树形结构来进行决策，每个内部节点表示一个属性上的测试，每个分支是一个测试输出，每个叶节点是一个类别或值。决策树模型具有直观、易于理解的特点，常用于分类和回归任务。
• 支持向量机（SVM）：一种用于分类和回归分析的监督学习模型。SVM通过寻找一个最优的超平面来将不同类别的数据分开，具有良好的泛化能力。

2.2 创造性任务的分类与要求

创造性任务可以大致分为以下几类：

• 艺术创作：如绘画、雕塑、摄影等，要求创作者具备独特的审美观念和艺术表现力，能够通过作品传达情感和思想。
• 文学创作：包括小说、诗歌、剧本等，需要创作者有丰富的想象力、语言表达能力和对人性的深刻理解。
• 音乐创作：涉及旋律、和声、节奏等元素的组合，要求创作者具备音乐理论知识和创作灵感。
• 设计创作：如平面设计、工业设计、建筑设计等，需要考虑功能、美观、用户体验等多个方面，同时要满足特定的需求和限制。

2.3 AI模型与创造性任务的联系

AI模型可以在多个方面与创造性任务相结合：

• 辅助创作：AI模型可以为创作者提供灵感和素材，例如通过生成图像、文本或音乐片段，帮助创作者开拓思路。
• 自动化创作：在某些情况下，AI模型可以独立完成创造性任务，如自动生成新闻报道、绘画作品等。
• 优化创作过程：AI模型可以对创作者的作品进行分析和评估，提供改进建议，帮助提高创作效率和质量。

2.4 核心概念原理和架构的文本示意图

AI模型
├── 神经网络模型
│   ├── 前馈神经网络（FNN）
│   ├── 卷积神经网络（CNN）
│   ├── 循环神经网络（RNN）
│   │   ├── 长短期记忆网络（LSTM）
│   │   └── 门控循环单元（GRU）
├── 决策树模型
├── 支持向量机（SVM）

创造性任务
├── 艺术创作
│   ├── 绘画
│   ├── 雕塑
│   ├── 摄影
├── 文学创作
│   ├── 小说
│   ├── 诗歌
│   ├── 剧本
├── 音乐创作
├── 设计创作
│   ├── 平面设计
│   ├── 工业设计
│   ├── 建筑设计

AI模型与创造性任务的联系
├── 辅助创作
├── 自动化创作
├── 优化创作过程

2.5 Mermaid流程图

3. 核心算法原理 & 具体操作步骤

3.1 生成式对抗网络（GAN）原理

生成式对抗网络（GAN）由生成器（Generator）和判别器（Discriminator）两个神经网络组成。生成器的目标是生成与真实数据相似的假数据，而判别器的目标是区分输入的数据是真实数据还是生成器生成的假数据。两者通过对抗训练的方式不断提高性能。

以下是GAN的Python代码实现示例：

import torch
import torch.nn as nn
import torch.optim as optim
import numpy as np
import matplotlib.pyplot as plt

# 定义生成器
class Generator(nn.Module):
    def __init__(self, input_size, output_size):
        super(Generator, self).__init__()
        self.fc = nn.Sequential(
            nn.Linear(input_size, 128),
            nn.LeakyReLU(0.2),
            nn.Linear(128, output_size),
            nn.Tanh()
        )

    def forward(self, x):
        return self.fc(x)

# 定义判别器
class Discriminator(nn.Module):
    def __init__(self, input_size):
        super(Discriminator, self).__init__()
        self.fc = nn.Sequential(
            nn.Linear(input_size, 128),
            nn.LeakyReLU(0.2),
            nn.Linear(128, 1),
            nn.Sigmoid()
        )

    def forward(self, x):
        return self.fc(x)

# 超参数设置
input_size = 100
output_size = 784
batch_size = 32
epochs = 100
lr = 0.0002

# 初始化生成器和判别器
generator = Generator(input_size, output_size)
discriminator = Discriminator(output_size)

# 定义损失函数和优化器
criterion = nn.BCELoss()
g_optimizer = optim.Adam(generator.parameters(), lr=lr)
d_optimizer = optim.Adam(discriminator.parameters(), lr=lr)

# 训练过程
for epoch in range(epochs):
    # 生成随机噪声
    z = torch.randn(batch_size, input_size)

    # 生成假数据
    fake_data = generator(z)

    # 训练判别器
    real_labels = torch.ones(batch_size, 1)
    fake_labels = torch.zeros(batch_size, 1)

    # 计算判别器对真实数据的损失
    real_data = torch.randn(batch_size, output_size)
    d_real_output = discriminator(real_data)
    d_real_loss = criterion(d_real_output, real_labels)

    # 计算判别器对假数据的损失
    d_fake_output = discriminator(fake_data.detach())
    d_fake_loss = criterion(d_fake_output, fake_labels)

    # 总判别器损失
    d_loss = d_real_loss + d_fake_loss

    # 更新判别器参数
    d_optimizer.zero_grad()
    d_loss.backward()
    d_optimizer.step()

    # 训练生成器
    g_output = discriminator(fake_data)
    g_loss = criterion(g_output, real_labels)

    # 更新生成器参数
    g_optimizer.zero_grad()
    g_loss.backward()
    g_optimizer.step()

    if epoch % 10 == 0:
        print(f'Epoch {epoch}, D_loss: {d_loss.item()}, G_loss: {g_loss.item()}')

# 生成一些样本进行可视化
z = torch.randn(16, input_size)
generated_samples = generator(z).detach().numpy()
generated_samples = generated_samples.reshape(16, 28, 28)

plt.figure(figsize=(4, 4))
for i in range(16):
    plt.subplot(4, 4, i + 1)
    plt.imshow(generated_samples[i], cmap='gray')
    plt.axis('off')
plt.show()

3.2 具体操作步骤

1. 数据准备：根据具体的创造性任务，准备相应的数据集。例如，在图像生成任务中，需要准备包含大量图像的数据集；在文本生成任务中，需要准备文本语料库。
2. 模型选择和初始化：根据任务的特点选择合适的AI模型，并初始化模型的参数。
3. 训练模型：使用准备好的数据集对模型进行训练，通过不断调整模型的参数，使模型能够学习到数据的特征和模式。
4. 生成内容：在模型训练完成后，使用训练好的模型生成新的内容。可以通过输入特定的条件或随机噪声来控制生成的结果。
5. 评估和优化：对生成的内容进行评估，根据评估结果对模型进行优化，提高生成内容的质量。

4. 数学模型和公式 & 详细讲解 & 举例说明

4.1 生成式对抗网络（GAN）的数学模型

GAN的目标是通过对抗训练的方式找到生成器 $G$ 和判别器 $D$ 的最优解。生成器 $G$ 接收随机噪声 $z$ 作为输入，生成假数据 $G(z)$；判别器 $D$ 接收真实数据 $x$ 和生成的假数据 $G(z)$ 作为输入，输出一个概率值，表示输入数据是真实数据的概率。

GAN的目标函数可以表示为：
$$\underset{G}{\min }\underset{D}{\max }V(D,G)={\mathbb{E}}_{x\sim p_{data}(x)}[\log D(x)]+{\mathbb{E}}_{z\sim p_z(z)}[\log (1-D(G(z)))]$$
其中，$p_{data}(x)$ 是真实数据的分布，$p_z(z)$ 是随机噪声的分布。

4.2 详细讲解

• 判别器的目标：判别器 $D$ 的目标是最大化目标函数 $V(D,G)$，即尽可能准确地区分真实数据和假数据。当输入真实数据时，判别器希望输出的概率值接近1；当输入假数据时，判别器希望输出的概率值接近0。
• 生成器的目标：生成器 $G$ 的目标是最小化目标函数 $V(D,G)$，即生成能够欺骗判别器的假数据。生成器希望判别器对其生成的假数据输出的概率值接近1。

4.3 举例说明

假设我们要使用GAN生成手写数字图像。真实数据 $x$ 是MNIST数据集中的手写数字图像，随机噪声 $z$ 是一个100维的向量。生成器 $G$ 将随机噪声 $z$ 映射到一个784维的向量，该向量可以被重塑为一个28x28的图像。判别器 $D$ 接收28x28的图像作为输入，输出一个概率值，表示该图像是真实数据的概率。

在训练过程中，判别器不断学习区分真实的手写数字图像和生成器生成的假图像，而生成器则不断调整自己的参数，试图生成更逼真的手写数字图像。最终，当训练收敛时，生成器可以生成与真实手写数字图像非常相似的图像。

5. 项目实战：代码实际案例和详细解释说明

5.1 开发环境搭建

5.1.1 安装Python

首先，需要安装Python 3.x版本。可以从Python官方网站（https://www.python.org/downloads/）下载适合自己操作系统的安装包，并按照安装向导进行安装。

5.1.2 安装深度学习框架

我们使用PyTorch作为深度学习框架。可以使用以下命令安装PyTorch：

pip install torch torchvision

5.1.3 安装其他依赖库

还需要安装一些其他的依赖库，如NumPy、Matplotlib等。可以使用以下命令进行安装：

pip install numpy matplotlib

5.2 源代码详细实现和代码解读

以下是一个使用PyTorch实现的简单文本生成项目的代码示例：

import torch
import torch.nn as nn
import torch.optim as optim
import numpy as np

# 定义数据集
text = "Hello, World! This is a simple text generation example."
chars = sorted(list(set(text)))
char_to_idx = {ch: i for i, ch in enumerate(chars)}
idx_to_char = {i: ch for i, ch in enumerate(chars)}
vocab_size = len(chars)

# 准备数据
seq_length = 20
dataX = []
dataY = []
for i in range(0, len(text) - seq_length, 1):
    seq_in = text[i:i + seq_length]
    seq_out = text[i + seq_length]
    dataX.append([char_to_idx[char] for char in seq_in])
    dataY.append(char_to_idx[seq_out])

# 转换为张量
X = torch.tensor(dataX, dtype=torch.long)
y = torch.tensor(dataY, dtype=torch.long)

# 定义模型
class TextGenerator(nn.Module):
    def __init__(self, vocab_size, embedding_dim, hidden_dim):
        super(TextGenerator, self).__init__()
        self.embedding = nn.Embedding(vocab_size, embedding_dim)
        self.lstm = nn.LSTM(embedding_dim, hidden_dim, batch_first=True)
        self.fc = nn.Linear(hidden_dim, vocab_size)

    def forward(self, x):
        embedded = self.embedding(x)
        output, _ = self.lstm(embedded)
        output = self.fc(output[:, -1, :])
        return output

# 超参数设置
embedding_dim = 100
hidden_dim = 128
epochs = 100
lr = 0.01

# 初始化模型、损失函数和优化器
model = TextGenerator(vocab_size, embedding_dim, hidden_dim)
criterion = nn.CrossEntropyLoss()
optimizer = optim.Adam(model.parameters(), lr=lr)

# 训练模型
for epoch in range(epochs):
    optimizer.zero_grad()
    outputs = model(X)
    loss = criterion(outputs, y)
    loss.backward()
    optimizer.step()

    if epoch % 10 == 0:
        print(f'Epoch {epoch}, Loss: {loss.item()}')

# 生成文本
start_seq = text[:seq_length]
generated_text = start_seq
for _ in range(100):
    input_seq = torch.tensor([[char_to_idx[char] for char in start_seq]], dtype=torch.long)
    output = model(input_seq)
    _, predicted_idx = torch.max(output, 1)
    predicted_char = idx_to_char[predicted_idx.item()]
    generated_text += predicted_char
    start_seq = start_seq[1:] + predicted_char

print("Generated Text:", generated_text)

5.3 代码解读与分析

• 数据准备：首先，将输入的文本转换为字符集，并建立字符到索引和索引到字符的映射。然后，将文本分割成输入序列和对应的目标字符，存储在 dataX 和 dataY 中。
• 模型定义：定义了一个简单的文本生成模型，包括一个嵌入层、一个LSTM层和一个全连接层。嵌入层将输入的字符索引转换为向量表示，LSTM层处理序列数据，全连接层将LSTM的输出映射到字符集的概率分布。
• 训练过程：使用交叉熵损失函数和Adam优化器对模型进行训练。在每个训练周期中，计算模型的输出和损失，并通过反向传播更新模型的参数。
• 文本生成：选择一个起始序列，使用训练好的模型预测下一个字符，并将预测的字符添加到生成的文本中。重复这个过程，直到生成指定长度的文本。

6. 实际应用场景

6.1 艺术创作

• 绘画创作：AI模型可以根据输入的主题、风格等条件生成绘画作品。例如，使用GAN可以生成逼真的风景、人物等图像，为艺术家提供灵感或辅助创作。
• 雕塑创作：通过3D建模和AI技术，可以生成新颖的雕塑设计方案，艺术家可以根据这些方案进行实际创作。

6.2 文学创作

• 故事写作：AI模型可以根据给定的主题、情节框架等生成故事内容。一些写作辅助工具利用AI技术帮助作者构思情节、丰富人物形象。
• 诗歌创作：能够生成具有一定韵律和意境的诗歌，为诗人提供创作灵感。

6.3 音乐创作

• 旋律生成：AI可以根据音乐风格、节奏等要求生成旋律，作曲家可以在此基础上进行进一步的创作和完善。
• 和声编排：帮助音乐创作者进行和声的选择和编排，提高音乐作品的质量。

6.4 设计创作

• 平面设计：生成海报、广告、包装等设计方案，设计师可以根据需要进行修改和优化。
• 工业设计：辅助设计产品的外观、结构等，提高设计效率和创新性。

7. 工具和资源推荐

7.1 学习资源推荐

7.1.1 书籍推荐

• 《深度学习》（Deep Learning）：由Ian Goodfellow、Yoshua Bengio和Aaron Courville撰写，是深度学习领域的经典教材，全面介绍了深度学习的理论和实践。
• 《Python深度学习》（Deep Learning with Python）：作者是Francois Chollet，他也是Keras深度学习框架的开发者。这本书以Keras为基础，详细介绍了深度学习的应用和实践。
• 《人工智能：一种现代的方法》（Artificial Intelligence: A Modern Approach）：由Stuart Russell和Peter Norvig编写，是人工智能领域的权威教材，涵盖了人工智能的各个方面。

7.1.2 在线课程

• Coursera上的“深度学习专项课程”（Deep Learning Specialization）：由Andrew Ng教授讲授，包括五门课程，系统地介绍了深度学习的理论和实践。
• edX上的“人工智能导论”（Introduction to Artificial Intelligence）：由麻省理工学院（MIT）提供，适合初学者了解人工智能的基本概念和方法。
• Udemy上的“生成式对抗网络（GANs）实战”（GANs实战）：详细介绍了GAN的原理和应用，通过实际项目帮助学习者掌握GAN的开发和应用。

7.1.3 技术博客和网站

• Medium：有许多AI领域的专家和爱好者在Medium上分享他们的研究成果和实践经验，如Towards Data Science、AI in Plain English等。
• arXiv：是一个开放获取的预印本平台，提供了大量的AI领域的研究论文，包括最新的研究成果和技术进展。
• GitHub：是一个代码托管平台，有许多开源的AI项目和代码库，可以学习和参考。

7.2 开发工具框架推荐

7.2.1 IDE和编辑器

• PyCharm：是一款专门为Python开发设计的集成开发环境（IDE），具有强大的代码编辑、调试和项目管理功能。
• Jupyter Notebook：是一个交互式的开发环境，适合进行数据分析、模型训练和实验。可以在浏览器中编写和运行代码，并实时查看结果。
• Visual Studio Code：是一款轻量级的代码编辑器，支持多种编程语言和插件，具有丰富的扩展功能。

7.2.2 调试和性能分析工具

• TensorBoard：是TensorFlow提供的一个可视化工具，可以用于可视化模型的训练过程、损失曲线、网络结构等。
• PyTorch Profiler：是PyTorch提供的性能分析工具，可以帮助开发者分析模型的性能瓶颈，优化代码。
• NVIDIA Nsight Systems：是NVIDIA提供的一款性能分析工具，适用于GPU加速的深度学习模型，可以帮助开发者优化GPU的使用效率。

7.2.3 相关框架和库

• PyTorch：是一个开源的深度学习框架，具有动态图机制，易于使用和调试，广泛应用于学术界和工业界。
• TensorFlow：是Google开发的深度学习框架，具有强大的分布式训练和部署能力，支持多种硬件平台。
• Keras：是一个高级神经网络API，基于TensorFlow、Theano等后端，简单易用，适合快速搭建和训练模型。

7.3 相关论文著作推荐

7.3.1 经典论文

• “Generative Adversarial Networks”：由Ian Goodfellow等人发表，首次提出了生成对抗网络（GAN）的概念，开创了生成式模型的新纪元。
• “Long Short-Term Memory”：由Sepp Hochreiter和Jürgen Schmidhuber发表，介绍了长短期记忆网络（LSTM）的原理和应用，解决了传统循环神经网络中的梯度消失问题。
• “Attention Is All You Need”：由Vaswani等人发表，提出了Transformer模型，在自然语言处理领域取得了巨大的成功。

7.3.2 最新研究成果

• 可以关注顶级学术会议（如NeurIPS、ICML、CVPR等）上的最新研究论文，了解AI模型在创造性任务中的最新进展和技术趋势。
• 一些知名的研究机构（如OpenAI、DeepMind等）也会发布他们的最新研究成果，可以通过他们的官方网站获取相关信息。

7.3.3 应用案例分析

• 可以参考一些实际的应用案例分析文章，了解AI模型在不同创造性领域的具体应用和实践经验。例如，一些科技媒体和博客会报道AI在艺术、文学、音乐等领域的应用案例。

8. 总结：未来发展趋势与挑战

8.1 未来发展趋势

• 多模态融合：未来的AI模型将能够融合多种模态的数据，如文本、图像、音频等，实现更加丰富和多样化的创造性任务。例如，生成同时包含图像和文本描述的故事，或者生成带有音乐伴奏的动画等。
• 个性化创作：AI模型将能够根据用户的个性化需求和偏好进行创作，为每个用户提供独特的创作体验。例如，根据用户的兴趣爱好生成个性化的音乐、绘画作品等。
• 与人类创作者的深度合作：AI模型将不再是简单的辅助工具，而是与人类创作者进行深度合作，共同完成创造性任务。人类创作者可以利用AI的优势，如快速生成、数据分析等，同时发挥自己的创造力和情感表达能力。

8.2 挑战

• 缺乏真正的理解和情感：目前的AI模型虽然能够生成看似有创意的内容，但缺乏对内容的真正理解和情感体验。这使得生成的内容在深度和内涵上往往不如人类创作的作品。
• 数据偏见和隐私问题：AI模型的训练依赖于大量的数据，如果数据存在偏见，可能会导致生成的内容也存在偏见。此外，数据的隐私问题也是一个需要关注的方面，如何在保护用户隐私的前提下利用数据进行训练是一个挑战。
• 法律和伦理问题：随着AI在创造性领域的应用越来越广泛，涉及到的法律和伦理问题也越来越多。例如，AI生成的作品的版权归属问题、AI创作是否会取代人类创作者等。

9. 附录：常见问题与解答

9.1 AI模型生成的作品是否具有创造性？

AI模型生成的作品在一定程度上具有创造性。它们可以生成新颖、独特的内容，这些内容可能是人类创作者未曾想到的。然而，目前的AI模型缺乏真正的理解和情感，其创造性更多地是基于数据和算法的组合，与人类的创造性存在本质的区别。

9.2 AI模型会取代人类创作者吗？

目前来看，AI模型不太可能完全取代人类创作者。虽然AI在某些方面具有优势，如快速生成、数据分析等，但人类创作者具有独特的创造力、情感表达能力和对世界的深刻理解，这些是AI模型无法替代的。未来，AI更可能与人类创作者进行合作，共同推动创造性领域的发展。

9.3 如何评估AI模型在创造性任务中的表现？

评估AI模型在创造性任务中的表现是一个复杂的问题。可以从多个方面进行评估，如生成内容的新颖性、质量、与目标的契合度等。此外，还可以通过人类评价和客观指标相结合的方式进行评估。

10. 扩展阅读 & 参考资料

扩展阅读

• 《艺术与人工智能》：探讨了AI在艺术领域的应用和影响，以及艺术与科技的融合趋势。
• 《AI时代的创造力》：分析了AI对人类创造力的挑战和机遇，提出了在AI时代培养和发挥创造力的方法。

参考资料

• Goodfellow, I. J., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press.
• Chollet, F. (2017). Deep Learning with Python. Manning Publications.
• Russell, S. J., & Norvig, P. (2010). Artificial Intelligence: A Modern Approach. Prentice Hall.
• Goodfellow, I. J., et al. (2014). Generative Adversarial Networks. arXiv preprint arXiv:1406.2661.
• Hochreiter, S., & Schmidhuber, J. (1997). Long Short-Term Memory. Neural Computation, 9(8), 1735-1780.
• Vaswani, A., et al. (2017). Attention Is All You Need. Advances in Neural Information Processing Systems 30.