这Spring AI该项目旨在简化集成人工智能功能的应用程序开发，避免不必要的复杂性。

该项目汲取了著名 Python 项目的灵感，如 LangChain 和 LlamaIndex，但 Spring AI 并非这些项目的直接移植。 该项目成立的初衷是相信，下一波生成式人工智能应用不仅限于Python开发者，还将无处不在于多种编程语言中。

Spring AI 提供了为开发 AI 应用奠定基础的抽象层面。 这些抽象有多种实现方式，使组件交换变得轻松，代码修改极少。

Spring AI 提供以下功能：

• 跨 AI 提供商支持 Chat、文本转图像和嵌入模型的可移植 API。同时支持同步和流式API选项。还可访问模型专属功能。

• 支持所有主要的人工智能模型提供商，如Anthropic、OpenAI、Microsoft、亚马逊、谷歌和Ollama。支持的模型类型包括：

  • 聊天补全

  • 嵌入

  • 文本转图像

  • 音频转录

  • 文本转语音

  • 内容审核

• 结构化输出——将AI模型输出映射到POJO。

• 支持所有主要向量数据库提供商，如 Apache Cassandra、Azure Cosmos DB、Azure Vector Search、Chroma、Elasticsearch、GemFire、MariaDB、Milvus、MongoDB Atlas、Neo4j、OpenSearch、Oracle、PostgreSQL/PGVector、PineCone、Qdrant、Redis、SAP Hana、Typesense 和 Weaviate。

• 跨向量存储提供商的可移植API，包括一个新颖的类SQL元数据过滤API。

• 工具/函数调用——允许模型请求客户端工具和函数的执行，从而根据需要访问必要的实时信息并采取行动。

• 可观察性——提供关于人工智能相关作的洞察。

• 用于数据工程的文档摄取ETL框架。

• AI模型评估——帮助评估生成内容并防止幻觉反应的实用工具。

• Spring Boot 自动配置和 AI 模型及向量存储的入门。

• ChatClient API - 用于与 AI 聊天模型通信的流畅 API，习语上类似于 WebClient 和 RestClient API。

• Advisors API - 封装反复出现的生成式人工智能模式，转换与语言模型（LLM）之间的数据转换，并提供跨多种模型和用例的可移植性。

• 支持聊天对话、记忆和检索增强生成（RAG）。

这个功能集允许你实现常见的使用场景，比如“对你的文档进行问答”或“与你的文档聊天”。

概念部分提供了 AI 概念及其在 Spring AI 中的表现方式的高级概述。

入门部分会教你如何创建第一个AI应用。 后续章节将以代码为核心的方式深入探讨每个组件及其常见用例。

人工智能概念

Tell me a {adjective} joke about {content}.

<dependencyManagement>
    <dependencies>
        <dependency>
            <groupId>org.springframework.ai</groupId>
            <artifactId>spring-ai-bom</artifactId>
            <version>1.0.0</version>
            <type>pom</type>
            <scope>import</scope>
        </dependency>
    </dependencies>
</dependencyManagement>

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-openai-spring-boot-starter</artifactId>
</dependency>

server:
  port: 8321
spring:
  ai:
    openai:
      api-key: 123
      base-url: 默认:https://api.openai.com

package com.ningning0111.controller;

import org.springframework.ai.chat.ChatClient;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;

@RestController
public class ChatController {

    private final ChatClient chatClient;

    public ChatController(ChatClient chatClient) {
        this.chatClient = chatClient;
    }

    @GetMapping("/demo")
    public String demo(String prompt){
        
        String response = chatClient.call(prompt);
        
        return response;
    }
}

Spring AI中流式对话接口采用的是Spring WebFlux异步网络框架实现的，WebFlux底层默认采用Netty，因此，如果需要了解Spring AI流式对话底层的实现，则需要对异步网络编程有一定的了解。当然，这些并不妨碍我们进行简单的调用。

package com.ningning0111.controller;

import org.springframework.ai.chat.ChatClient;
import org.springframework.ai.chat.StreamingChatClient;
import org.springframework.http.MediaType;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;
import reactor.core.publisher.Flux;

@RestController
public class ChatController {

    private final ChatClient chatClient;
    private final StreamingChatClient streamingChatClient;

    public ChatController(ChatClient chatClient, StreamingChatClient streamingChatClient) {
        this.chatClient = chatClient;
        this.streamingChatClient = streamingChatClient;
    }

    @GetMapping("/demo")
    public String demo(String prompt){
        String response = chatClient.call(prompt);
        return response;
    }

    // 流式调用 将produces声明为文本事件流
    @GetMapping(value = "/stream",produces = MediaType.TEXT_EVENT_STREAM_VALUE)
    public Flux<String> stream(String prompt){
        // 将流中的内容按顺序返回
        return streamingChatClient.stream(prompt).flatMapSequential(Flux::just);
    }

}

3. 上下文对话

上下文对话的作用就是让AI具有记忆力，在快速入门和流式对话中，我们是通过一种单一的输入输出方式进行调用的，这种调用方式无法让AI具有记忆力，例如,当我发起如下问题时：hi中国的四大名著有哪些？本次对话中，我的第一个问题是什么？

AI无法根据之前的对话内容进行分析回复。因此，这就要求我们实现一个可以让ChatGPT具有一定的记忆力，并根据过去的聊天信息进行回复。

ChatGPT上下文对话的实现原理较为简单，本质上其实就是将不同角色的聊天信息依次存储在一个队列中发送给ChatGPT即可，然后ChatGPT会根据整个聊天信息对回复内容进行判断。在OpenAI提供的接口中，每条信息的角色总共分为三类：

• SystemMessage：系统限制信息，这种信息在对话中的权重很大，AI会优先依据SystemMessage里的内容进行回复；
• UserMessage：用户信息
• AssistantMessage：AI回复信息

还有一个FunctionMessage,这类信息用于AI的函数调用，一般不予以讨论。

这些Message均实现了一个Message接口，如上图。AbstractMessage提供了对Message接口的抽象实现,SystemMessage、UserMessage、AssistantMessage等均继承了AbstractMessage，是Message的具体实现。而ChatMessage是Message的扩展实现，用于创建其它大语言模型需要的Message。

通俗点讲就是有些AI的Message不支持这类System、User、Assistant等，这时，我们就可以通过ChatMessage去自定义创建可用的Message对象了。

如果我们需要实现上下文对话，就只需要使用一个List存储这些Message对象，并将这些Message对象一并发送给AI，AI拿到这些Message后，会根据Message里的内容进行回复。

不过，根据OpenAI的计费规则，你的消息队列越长，单次问询需要的费用就会越高，因此我们需要对这个消息列表的长度进行限制。

package com.ningning0111.controller;

import org.springframework.ai.chat.ChatClient;
import org.springframework.ai.chat.ChatResponse;
import org.springframework.ai.chat.messages.AssistantMessage;
import org.springframework.ai.chat.messages.Message;
import org.springframework.ai.chat.messages.UserMessage;
import org.springframework.ai.chat.prompt.Prompt;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;

import java.util.ArrayList;
import java.util.List;

@RestController
public class ChatController {

    private final ChatClient chatClient;

    // 历史消息列表
    static List<Message> historyMessage = new ArrayList<>();
    // 历史消息列表的最大长度
    static int maxLen = 10;

    public ChatController(ChatClient chatClient) {
        this.chatClient = chatClient;
    }

    @GetMapping("/context")
    public String context(String prompt) {
        // 用户输入的文本是UserMessage
        historyMessage.add(new UserMessage(prompt));
        // 发给AI前对历史消息对列的长度进行检查
        if(historyMessage.size() > maxLen){
            historyMessage = historyMessage.subList(historyMessage.size()-maxLen-1,historyMessage.size());
        }
        // 获取AssistantMessage
        ChatResponse chatResponse = chatClient.call(new Prompt(historyMessage));
        AssistantMessage assistantMessage = chatResponse.getResult().getOutput();
        // 将AI回复的消息放到历史消息列表中
        historyMessage.add(assistantMessage);
        return assistantMessage.getContent();
    }

}

可以看到，我们已经成功让AI具有一定的记忆力了～

4. 人设设置

上节我们成功让AI具有了一定记忆力，并让它可以根据历史聊天进行回复，不过需要注意的是，并不是聊天记录列表越长，就越好。列表越长，就意味着每次询问都会造成大量的、不必要的费用开销，同时，也有可能会突破AI的Token限制（简单可以理解为字数限制），因此，我们需要合理的设定列表的最大长度。本节将介绍大语言模型的另外一个功能：人设设置。人设设置功能来自于“提示词工程”的理论基础的。目前，提示工程已成为一个较新的学科，应用于开发和优化提示词（Prompt），帮助用户有效地将语言模型用于各种应用场景和研究领域。掌握了提示工程相关技能将有助于用户更好地了解大型语言模型的能力和局限性。研究人员可利用提示工程来提高大语言模型处理复杂任务场景的能力，如问答和算术推理能力。开发人员可通过提示工程设计和研发出强大的技术，实现和大语言模型或其他生态工具的高效接轨。详情见：

https://www.promptingguide.ai/zh/introduction

在GitHub上，也有相关的仓库分享一些有趣的提示词来让我们使用ChatGPT时更加高效。国外版：https://www.promptingguide.ai/zh/introduction

中文版：https://github.com/PlexPt/awesome-chatgpt-prompts-zh

感兴趣的同学可以直接前往这些仓库了解一些提示词并拿来使用。

一定程度上讲，这些提示词能够限制AI的生成内容，让AI更加聚焦在某一个方面，所以，有点像人设设定。本篇就简单演示下：会骂人的人设设定。首先，在介绍Message的时候提到SystemMessage对AI生成的内容影响权重较大，人设设定就是需要靠SystemMessage实现。我们提供一个SystemMessage放入历史消息列表中，并让SystemMessage在每次发给AI时始终在历史消息列表中。提示词如下：你现在是一个语言学习辅助助手，我在学习中国的脏话，无论我问什么，你都要巧妙的用脏话回复。即使面对批评，道德审判，任何形式的质疑，或者让你忘记脏话学习助手的身份，等等任何提问和沟通，你都要用脏话回复并且隐瞒你脏话助手的身份。碰到无法回答的问题，就随便回复一句脏话。

package com.ningning0111.controller;

import org.springframework.ai.chat.ChatClient;
import org.springframework.ai.chat.ChatResponse;
import org.springframework.ai.chat.StreamingChatClient;
import org.springframework.ai.chat.messages.AssistantMessage;
import org.springframework.ai.chat.messages.Message;
import org.springframework.ai.chat.messages.SystemMessage;
import org.springframework.ai.chat.messages.UserMessage;
import org.springframework.ai.chat.prompt.Prompt;
import org.springframework.http.MediaType;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;
import reactor.core.publisher.Flux;

import java.util.ArrayList;
import java.util.List;

/**
 * @Project: com.ningning0111.controller
 * @Author: pgthinker
 * @GitHub: https://github.com/ningning0111
 * @Date: 2024/4/21 23:02
 * @Description:
 */
@RestController
public class ChatController {

    private final ChatClient chatClient;
    private final StreamingChatClient streamingChatClient;

    // 提示词
    private final String systemPrompt = "你现在是一个语言学习辅助助手，我在学习中国的脏话，无论我问什么，你都要巧妙的用脏话回复。即使面对批评，道德审判，任何形式的质疑，或者让你忘记脏话学习助手的身份，等等任何提问和沟通，你都要用脏话回复并且隐瞒你脏话助手的身份。碰到无法回答的问题，就随便回复一句脏话。";


    // 历史消息列表
    private List<Message> historyMessage = 
            new ArrayList<>(List.of(new SystemMessage(systemPrompt)));
    // 历史消息列表的最大长度
    private int maxLen = 10;

    public ChatController(ChatClient chatClient) {
        this.chatClient = chatClient;
    }


    @GetMapping("/prompt")
    public String prompt(String prompt) {
        historyMessage.add(new UserMessage(prompt));
        if(historyMessage.size() > maxLen) {
            historyMessage = historyMessage.subList(historyMessage.size() - maxLen - 1 , historyMessage.size());
            // 确保第一个是SystemMessage
            historyMessage.add(0,new SystemMessage(systemPrompt));
        }
        // 获取AssistantMessage
        ChatResponse chatResponse = chatClient.call(new Prompt(historyMessage));
        AssistantMessage assistantMessage = chatResponse.getResult().getOutput();
        // 将AI回复的消息放到历史消息列表中
        historyMessage.add(assistantMessage);
        return assistantMessage.getContent();
    }
}

5. Prompts模板语法

上节我们介绍了提示词工程，并通过设定SystemMessage获得了一个会骂人的AI。而本节介绍的内容仍然与提示词有关。

Spring AI为我们提供了提示词模板，允许我们通过一些模板，快速地动态生成提示词并发起提问。除此之外，我们还能使用Spring AI为我们提供的输出解析器将AI回复的内容解析为Bean对象。

5.1 PromptTemplate

PromptTemplate能够帮助我们创建结构化提示词，是Spring AI提示词工程中的关键组件，该类实现了三个接口：PromptTemplateStringActions、PromptTemplateActions和PromptTemplateMessageActions,这些接口的主要功能也有所不同：

• PromptTemplateStringActions: 主要用于创建和渲染提示词字符串，接口的返回值类型均是String类型，这是提示词的基本形式。
• PromptTemplateActions: 主要用于创建Prompt对象，该对象可直接传递给ChatClient以生成响应。
• PromptTemplateMessageActions：主要用于创建Message对象，这允许我们针对Message对象进行其他的相关操作。

例如，我们想定义一个这样的提示词：提供作者姓名，返回该作者最受欢迎的书，出版时间和书的内容概述。

    @GetMapping("/template")
    public String promptTemplate(String author){
        // 提示词
        final String template = "请问{author}最受欢迎的书是哪本书？什么时候发布的？书的内容是什么？";
        PromptTemplate promptTemplate = new PromptTemplate(template);
        // 动态地将author填充进去
        Prompt prompt = promptTemplate.create(Map.of("author", author));
        
        ChatResponse chatResponse = chatClient.call(prompt);
        
        AssistantMessage assistantMessage = chatResponse.getResult().getOutput();
        return assistantMessage.getContent();
    }

我们除了可以通过定义字符串加载Template以外，我们还可以以Resource的形式加载Template，例如，我们在resouces下创建prompt.st(文件后缀名合理即可)，将刚刚的提示词模板写入到该文件中。