目录

一.简介

二.机器学习

三.深度学习

四.数据结构与算法

五.LLM

六.夜深人静写算法

七.日常工具

---

一.简介

Python 机器学习、深度学习、算法主要是博主从研究生到工作期间接触的一些机器学习、深度学习以及一些算法的实现的记录，从早期的 LR、SVM 到后期的 Deep，从学习到工作，从理论推导到实践，也是记录了自己几年来的成长。下面对这几块内容做一下整理，方便读者浏览也方便自己快速查找。

- 机器学习

- 深度学习

- 数据结构与算法

- LLM

- 夜深人静写算法

除此之外，也有一些日常开发的小组件，例如自动获取 Bing 壁纸、自动发邮件等等，也会单独记录在日常工具中

- 日常工具

Tips 更新日期 20230811:

新增 LLM 模块整理，就最近的一些 LLM 相关工作心得进行整理。

二.机器学习

机器学习内容主要在博主读研期间编写，多为常规数据量下的 Python 实现与公式推导。

适用	文章	关键字
Python	机器学习 - 1.KNN 原理与实战	KNN、聚类
Python	机器学习 - 2.决策树原理与实战[1]	决策树
Python	机器学习 - 3.决策树原理与实战[2]	决策树
Python	机器学习 - 4.朴素贝叶斯原理与实战[1]	朴素贝叶斯、伯努利
Python	机器学习 - 5.朴素贝叶斯原理与实战[2]	朴素贝叶斯实战
Python	机器学习 - 6.Logistic 回归原理	Sigmod、梯度
Python	机器学习 - 7.Logistic 回归实战	随机梯度上升
Python	机器学习 - 8.Logistic 回归参数详解	LR 参数详解
Python	机器学习 - 9.SVM 拉格朗日乘子与对偶问题 [1]	对偶问题
Python	机器学习 - 10.SVM SMO 算法公式推导 [2]	SMO 公式
Python	机器学习 - 11.SVM 软间隔与松弛因子 [3]	软间隔与松弛因子
Python	机器学习 - 12.SVM Alpha范围界定与调整 [4]	Alpha 范围界定
Python	机器学习 - 13.SVM SMO 算法实现 [5]	SMO 实现
Python	机器学习 - 14.SVM 核函数原理 [6]	核函数原理
Python	机器学习 - 15.SVM 核函数实现 [7]	核函数实现
Python	机器学习 - 16.SVM 实现与绘图 [8]	支持向量标记
Python	机器学习 - 17.LASSO 回归与 L1 正则化	LASSO 回归、L1正则
Python	机器学习 - 18.集成学习 弱分类器与 AdaBoost 简介	Adaboost 理论
Python	机器学习 - 19.集成学习 AdaBoost 更新准则推导	Adaboost 更新原理
Python	机器学习 - 20.集成学习 AdaBoost 实现	Adaboost 实现
Python	机器学习 - 21.集成学习 Bagging 原理与实现	Bagging 理论与实践
Python	机器学习 - 22.集成学习 随机森林原理与实现	随机森林实践
Python	机器学习 - 23.线性回归与实现	自定义简单线性回归
Python	机器学习 - 24.局部加权线性回归	自定义局部加权线性回归

三.深度学习

深度学习内容主要在工作空闲时间编写，主要是工作中一些内容的思考与引申，后面主要会基于 TF x Keras 扩展常规的推荐算法实现。

适用	文章	关键字
TF x Keras	深度学习 - 1.TF x Keras Train And Evaluate Demo	Train Demo
TF x Keras	深度学习 - 2.TF x Keras 自定义 Loss 与 Metrics	Loss Metrics
TF x Keras	深度学习 - 3.TF x Keras 常见参数初始化方法	参数初始化
TF x Keras	深度学习 - 4.TF x Keras 训练时对样本和类别加权	样本、类别加权
TF x Keras	深度学习 - 5.TF x Keras 编写回调函数	回调 CallBack
TF x Keras	深度学习 - 6.TF x Keras SoftMax 自定义实现	自定义 Softmax
TF x Keras	深度学习 - 7.TF x Keras expand_dim 扩充维度	扩充维度
TF x Keras	深度学习 - 8.TF x Keras AutoEncoder 2D、3D 展示	AutoEncoder
TF x Keras	深度学习 - 9.TF x Keras 基于 Processing 与 Embedding 的文本处理	文本预处理
TF x Keras	深度学习 - 10.TF x Keras 基于 CNN 与 RNN 的温度预测问题	CNN、RNN
TF x Keras	深度学习 - 11.TF x Keras 多输入模型	多输入模型
TF x Keras	深度学习 - 12.TF x Keras 多输出模型	多输出模型
TF x Keras	深度学习 - 13.TF x Keras Inception 模块	Inception
TF x Keras	深度学习 - 14.TF x Keras 共享层与共享模型	共享层、模型
TF x Keras	深度学习 - 15.TF x Keras WideAndDeep	WideAndDeep
TF x Keras	深度学习 - 16.TF x Keras Losses 常见损失函数	Losser 损失函数
TF x Keras	深度学习 - 17.TF x Keras FM 原理与实现	FM 原理与实现
TF x Keras	深度学习 - 18.TF x Keras DeepFM 原理与实现	DeepFM 原理
TF x Keras	深度学习 - 19.TF x Keras Batch Normalization 理论与实践	BN 理论与实战
TF x Keras	深度学习 - 20.TF x Keras Dropout 理论与实践	Dropout
TF x Keras	深度学习 - 21.TF x Keras DSSM 理论与实践	DSSM 双塔
TF	深度学习 - 22.TF TF1.x tf.string_split VS TF2.x tf.strings.split	string_split
TF	深度学习 - 23.TF TF1.x tf.py_func VS TF2.x tf.py_function	py_function
TF	深度学习 - 24.TF tf.cond 条件判断	tf.cond 条件判断
TF	深度学习 - 25.TF TF1.x VS TF2.x tf.feature_column	feature_column
TF	深度学习 - 26.TF TF2.x tf.feature_column 详解	featur_column
TF x Keras	深度学习 - 27.TF DataSet 使用与优化	DataSet 使用
TF x Keras	深度学习 - 28.TF x Keras 训练中出现 Nan 值	Nan 值处理
Python	深度学习 - 29.GraphEmbedding networks 获取图结构	图结构生成
Python	深度学习 - 30.GraphEmbedding DeepWalk 图文详解	DeepWalk
TF x Keras	深度学习 - 31.GraphEmbedding 向量降维与可视化	向量降维
Python	深度学习 - 32.GraphEmbedding Alias 采样图文详解	Alias 采样
Python	深度学习 - 33.GraphEmbedding Node2vec 图文详解	Node2vec
Python	深度学习 - 34.GraphEmbedding Line 图文详解	Line
TF x Keras	深度学习 - 35.TF x Keras DeepFwFM、DeepFmFM 理论与实战	FM 家族实战
TF x Keras	深度学习 - 36.TF x Keras TF 常用矩阵计算方法大全	矩阵乘法大全
TF x Keras	深度学习 - 37.TF x Keras Deep & Cross Network DCN 实现	DeepCrossNet
TF x Gensim	深度学习 - 38.Gensim Word2Vec 实践	Word2vec
DeepLearning	深度学习 - 39. EGES 与推荐系统用户冷启动	EGES
TF x Keras	深度学习 - 40. N-Gram 采样与 Session 数据获取 For EGES	Skipgram、EGES
TF x Keras	深度学习 - 41.Word2vec、EGES 负采样实现 By Keras	Word2vec、EGES
DeepLearning	深度学习 - 42.特征交叉与 SENET、Bilinear Interaction 与 FiBiNet	FiBiNet
TF x Keras	深度学习 - 43.SeNET、Bilinear Interaction 实现特征交叉 By Keras	SeNet、BiLinear
DeepLearning	深度学习 - 44.Gate 与 MMOE 实现多目标学习	MoE、MMoE
TF x Keras	深度学习 - 45.MMOE && Gate 简单实现 By Keras	MMoE、Gate
DeepLearning	深度学习 - 46.DIN 深度兴趣网络	DIN、Attention
TF x Keras	深度学习 - 47.DIN 深度兴趣网络保姆级实现 By Keras	DIN、Dice
DeepLearning	深度学习 - 48.SIM Search-based Interest Model 搜索兴趣网络	SIM
TF x Keras	深度学习 - 49.SIM 搜索兴趣网络 GSU 与 Soft Search 实现	SIM、GSU
DeepLearning	深度学习 - 50.推荐场景下的 Attention And Multi-Head Attention	Attention、Multi
TF x Keras	深度学习 - 51.推荐场景下的 Attention And Multi-Head Attention 实现	Attention、Multi
DeepLearning	深度学习 - 52.推荐场景的多样性与 MMR 简介	MMR
TF x Keras	深度学习 - 53.Bert 简介与 Keras-Bert 常用示例	Bert
Python	深度学习 - 54.面向现实世界的人脸复原 GFP-GAN 简介与使用	GFP-GAN
Python	深度学习 - 55.利用 OCR 技术提取视频台词、字幕	OCR
Python	深度学习 - 56.GFPGAN + MoviePy 提高人物视频画质	MoviePy
Python	深度学习 - 57.Wave2lip 环境配置与 Wave2lip x GFP-GAN 实战	Wave2lip
Python	深度学习 - 58.Real-ESRGAN 提升图像、视频清晰度 - 最高可达 4 K	Real-ESRGAN

四.数据结构与算法

主要是学习与工作闲暇时间做一些有意思的题目，保持代码手感。

适用	文章	关键字
Python	算法 -1.快速排序	快排
Python	算法 - 2.栈与队列	栈
Python	算法 - 3.链表反转	链表
Python	算法 - 4.二叉树实现	二叉树
Python	算法 - 5.rand7 生成 rand10	概率
Python	算法 - 6.二分法与牛顿法求指定精度平凡根	二分法、牛顿法
Python	算法 - 7.二分法判断数组是否存在目标数字	二分法
Python	算法 - 8.二叉树 DFS 前序、中序、后序遍历	DFS
Python	算法 - 9.二叉树层序遍历	BFS
Python	算法 - 10.寻找和为指定偶数的质数对	质数
Python	算法 - 11.动态规划之寻找并显示所有路径	动态规划
Python	算法 - 12.判断数组中是否存在目标字符串	回朔
Python	算法 - 13.求两数的最大公约数与最小公倍数	公约数、公倍数
Python	算法 - 14.求数组的全排列	全排列
Python	算法 - 15.判断两树是否相同	二叉树
Python	算法 - 16.寻找最大矩阵 数字版 & 矩阵版	数形结合
Python	算法 - 17.两数相加 有链表 & 无链表	链表
Python	算法 - 18.两数相除 递进版	两数相除
Python	算法 - 19.最大堆实现与应用	最大堆
Python	算法 - 20.最小堆实现与应用	最小堆
Python	算法 - 21.返回1至n中所有可能的K个数的组合	递归
Python	算法 - 22.N皇后解法 数组 & 移位	N 皇后
Python	算法 - 23.构造 O(1) 时间插入、删除与获取随机元素的集合	数据结构
Python	算法 - 24.寻找数组的子集	数组子集
Scala	算法 - 25.两数、三数、四数、N数之和	N数之和
Scala	算法 - 26.无重复字符最长子串、最长回文子串	回文
Python	算法 - 27.Order in chaos 混乱中的秩序之随机点中值连线	中值连线
Python	算法 - 28.Huffman Tree 霍夫曼树实现与应用	霍夫曼树
Python	算法 - 29.随机 Coding 刷算法合集 [1]	算法合集

五.LLM

适用	文章	关键字
Python	LLM - 1.NotImplementedError: Cannot copy out of meta tensor； no data!	资源异常
Python	LLM - 2.Baichuan7B Tokenizer 生成训练数据	Tokenizer
Python	LLM - 3.Baichuan7B Lora 训练详解	Lora、Baichuan
Python	LLM - 4.DataCollatorForLanguageModeling 样本生成 by transformers	DataGen、Transformer
Python	LLM - 5.读取 Lora 模型进行文本生成	Lora、generate
Python	LLM - 6.ChatGLM-6B Lora 微调与推理	Lora、ChatGLM
Python	LLM - 7.Chinese-Llama-2-7b 初体验	Chinese-LLaMA-2
Python	LLM - 8.json 使用详解	json 常用示例
Python	LLM - 9.model batch generate 生成文本	batch generate
Python	LLM - 10.LLama 模型读取报错 TypeError: not a string	模型异常
Python	LLM - 11.LoRA 模型合并与保存	Lora、Model merge
Python	LLM - 12.Transformer && LLaMA2 结构分析与 LoRA 详解	Transformer、LLaMA-2
Python	LLM - 13.CUDA out of memory. 到底怎么事	CUDA、OOM
Python	LLM - 14.argparse 解析脚本参数	argparse
Python	LLM - 15.大模型评估指标之 BLEU	BLEU
Python	LLM - 16.大模型评估指标之 ROUGE	ROUGE
Python	LLM - 17.Model Load_in_8bit For LLaMA	Load_in_bit
Python	LLM - 18.Baichuan-13B 多卡加载与推理测试	多卡推理
Python	LLM - 19.LLaMA-2 获取文本向量并计算 Cos 相似度	大模型评估
Python	LLM - 20.大模型速递 Baichuan2 快速入门	Baichuan2
Python	LLM - 21.批量加载 dataset 并合并	Dataset，Batch
Python	LLM - 22.数据处理之 Process Dataset For LLM With PT、SFT、RM	Preprocess，Dataset
Python	LLM - 23.SFT workflow 微调工作流程	Workflow
Python	LLM - 24.大模型技术报告与训练细节	baichuan2
Python	LLM - 25.大模型速递 InternLM-20B 快速入门	internLM
Python	LLM - 26.通俗理解位置编码与 RoPE	RoPE
Python	LLM - 27.FastAPI 搭建简易问答 Server	FastAPI，Server
Python	LLM - 28.旋转位置编码 RoPE 代码详解	RoPE
Python	LLM - 29.训练与推理过程中的 GPU 算力评估	GPU
Python	LLM - 30.大模型速递之 Yi-34B 入门与 LoRA 微调	Yi、LoRA
Python	LLM - 31.Qwen-72B LoRA 训练与推理实战	Qwen、LoRA
Python	LLM - 32.Transformer && Multi-Head Attention	Transformer、Att
Python	LLM - 33.RAG 大型语言模型的检索增强生成研究综述	RAG
Python	LLM - 34.使用 Langchain 实现本地 Naive RAG	Naive RAG
Python	LLM - 35.基于 Hupu 数据利用 LLM 构建一个评分模型	Hupu、LoRA
Python	LLM - 36.具有 IO 感知的快速内存高效精确计算 FlashAttention	Flash Attention
Python	LLM - 37.Weight-Decomposed Low-Rank Adaptation 之 DoRA	DoRA
Python	LLM - 38.用于更好语义更快检索的句子白化操作	Bert-Whitening
Python	LLM - 39.Ruozhiba ＜Quality＞ is All You Need	Data、Ruozhiba
Python	LLM - 40.BGE M3-Embedding 一种高效可靠的向量模型	BGE
Python	LLM - 41.GPU 定期监控程序与 Metric 可视化	GPU Util、Memory
Python	LLM - 42.通过 PagedAttention 轻松、快速、廉价的提供 LLM 服务 - vLLM	vLLM
Python	LLM - 43.Get Sample Token Hist 获取批次样本 token 长度分布	Tokenizer、Tokens
Python	LLM - 44.长文本总结方案调研	Langchain，Long text

六.夜深人静写算法

下面是面试刷题从头到尾整理的数据结构与对应 Leetcode 高频题的算法专栏，有需要的同学可以打卡。

Index	链接	简介
1	深夜数据结构与算法之 ArrayList	数组、链表
2	深夜数据结构与算法之 Stack & Queue_python	栈、队列
3	深夜数据结构与算法之 Map & Set	字典、集合
4	深夜数据结构与算法之 Tree	树
5	深夜数据结构与算法之 Graph	图
6	深夜数据结构与算法之 Divide Conquer & Backtrack	分治与回溯
7	深夜数据结构与算法之 Recursion	递归
8	深夜数据结构与算法之 Heap & Binary Heap	堆
9	深夜数据结构与算法之 BFS & DFS	广度优先、深度优先
10	深夜数据结构与算法之 Greedy	贪心算法
11	深夜数据结构与算法之 Binary Search	二分查找
12	数据结构与算法之 排列与组合_组合	排列、组合
13	深夜数据结构与算法之 DP	动态规划
14	深夜数据结构与算法之 DP 进阶	动态规划-进阶
15	深夜数据结构与算法之 Prune	剪枝优化
16	深夜数据结构与算法之 Two-Ended BFS	双端 BFS
17	深夜数据结构与算法之 Heuristic Search	启发式搜索
18	深夜数据结构与算法之 BloomFilter	布隆过滤器
19	深夜数据结构与算法之 AVL 树 & 红黑树	AVL 树、红黑树
20	深夜数据结构与算法之 位运算	位运算
21	深夜数据结构与算法之 LRUCache	LRU 缓存
22	深夜数据结构与算法之 Sort	排序算法
23	深夜数据结构与算法之 DP 串讲	动态规划总结
24	深夜数据结构与算法之 股票问题大全	股票问题总结
25	深夜数据结构与算法之 高级字符串	高级字符串算法
26	深夜数据结构与算法之 字符串常规操作	字符串常规操作

七.日常工具

这些工具主要是工作中经常需要制作表格和发邮件或者偶尔进行全局查找，所以才有这些工具组件。

适用	文章	关键字
Python	日常工具 - 1.Python 遍历文件夹，文件内容，批处理文件	Python 看文件
Python	日常工具 - 2.多线程 Parallel / Multiprocessing 示例	Python 多线程
Python	日常工具 - 3.openpyxl Excel 操作示例与实践	Python 做表格
Python	日常工具 - 4.smtplib 发送 Excel 邮件与数据展示	Python 发邮件
Python	日常工具 - 5.删除文件、文件夹	Python 删文件
Python	日常工具 - 6.定时自动获取 Bing 首页壁纸	Python 拿壁纸
Python	日常工具 - 7.Mac Mini 外接第三台显示器	显示器拓展
Python	日常工具 - 8.Nginx 本机读取服务器图像、视频	本地看服务器
Shell	日常工具 - 9.cron_protect.sh 监控 Python、Streaming 程序	机器程序监控