通过本文您可以了解到:

  • 学习:从小白如何入手,从0到1开始学习大模型。
  • RAG系统:我想搭建属于自己或者企业的RAG系统,我该怎么去做?
  • 评估:微调后的模型或者RAG系统,如何评估自己的模型和系统?有哪些工具集、数据库、指标可以使用?
  • 优化:怎么去优化RAG系统?包括:prompt工程,LLM选择,embedding选择,数据清洗,如何分块,检索,二阶段检索等

欢迎大家访问个人博客网址:https://www.maogeshuo.com,博主努力更新中…

如何学习

给了以下几个推荐网站,每个网站各有侧重点

llm-action

侧重于大模型的训练、推理、压缩等

llm-universe

大模型应用开发,如何搭建知识库、构建RAG应用等

self-llm

各类开源大模型提供包括环境配置、本地部署、高效微调等技能在内的全流程指导

在这里插入图片描述

Awesome-AGI

模型下载地址

国内访问Huggingface官网下载模型和数据集,容易被墙。
可以使用Huggingface镜像站、ModelScope、wisemodel,若无法访问Huggingface官网,推荐Huggingface镜像站,理由是里面收集的模型和数据集比较全

Huggingface官网

  • https://huggingface.co/

Huggingface 镜像站

  • https://hf-mirror.com/

ModelScope

  • https://modelscope.cn/my/overview

wisemodel

  • https://wisemodel.cn/home

开源模型

LLama

Chinese-LLaMA-Alpaca

Llama-Chinese

国内大模型整理

在这里插入图片描述

Awesome-Chinese-LLM

介绍了如何训练、微调、部署llama

Prompt工程

提示工程是一个较新的学科,应用于开发和优化提示词(Prompt),帮助用户有效地将语言模型用于各种应用场景和研究领域。

promptingguide

LearnPrompt

LangGPT

飞书地址
在这里插入图片描述

优化

评估

Awesome-LLM-Eval

总结了几乎所有的测试工具、数据集合、model、论文等,以评估工具为例:

补充:

工具

langchain

LangChain 是一个用于开发由语言模型驱动的应用程序的框架。它使得应用程序能够:

  • 具有上下文感知能力:将语言模型连接到上下文来源(提示指令,少量的示例,需要回应的内容等)
  • 具有推理能力:依赖语言模型进行推理(根据提供的上下文如何回答,采取什么行动等)

streamlit

快速构建和部署应用程序

gradio


由于作者水平有限,因此不能保证文中内容准确无误,如有错误,请在下方留言,欢迎指出,谢谢!

大家有更好的学习资料,或者训练、应用落地,优化、评估等经验,欢迎大家在评论区留言,大家一起共勉和进步~

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐