Linux知识

【代码】Linux知识。

zhuikefeng

2227人浏览 · 2024-01-05 11:21:33

zhuikefeng · 2024-01-05 11:21:33 发布

apt下载指定版本的软件

#查看候选的软件
apt-cache madison datacenter-gpu-manager/cmake #最后才是要安装的包
#或是apt policy cmake

#安装指定版本
apt install datacenter-gpu-manager=1:3.0.4

查看当前监听的端口号

sudo netstat -tunlp #apt install net-tools
-t 显示TCP端口。-u 显示UDP端口。-n 显示数字地址而不是解析主机。-l 仅显示监听端口。-p 显示监听进程的PID和名称。仅当以root用户或 sudo 用户身份运行命令时，才会显示此信息。

Proto：套接字使用的协议，Local Address：进程所监听的IP地址及端口号，

PID/Program name：PID和进程名称

也可以使用：

sudo ss -tunlp，内容是差不多的，apt install iproute2

telnet

telnet ip port：测试相应ip的端口号是否连通 #apt install telnet

nc -l port：临时监听指定tcp端口，在服务器上执行之后，再使用telnet就可以发送消息了。

安装：apt install netcat

curl发送get和post请求

#发送get请求，-H参数可以省略
curl -X GET "http://localhost:10001/_health_check" -H "Accept: application/json"

#发送post请求
curl -X POST [options] URL
curl -X POST -F 'image=@/home/user/pic.jpg' URL #发送文件
curl http://127.0.0.1:10001/v1/completion -H "Content-Type: application/json" -d '{
    "model": "/Baichuan-13B",
    "prompt": "床前明月光，",
    "temperature": 0,
    "max_tokens": 30,
    "stream": true
}'

通过http.server实现文件传输

#服务器端，文件存在的服务器
cd 文件所在的文件夹
python3 -m http.server 80

#客户端，下载文件的服务器
#下载文件，要保证服务器端运行命令的文件夹下有qwen.zip，不能使用服务器上的绝对路径
wget http://114.116.250.138/qwen.zip
#下载文件夹，
mkdir Qwen-7B-Chat && cd Qwen-7B-Chat
wget -r -np -nH --cut-dirs=1 -P ./本地保存路径 http://114.116.250.138/Qwen-7B-Chat

rsync传输文件

#使用scp传输文件不仅速度慢，并且不支持断点传输。rsync支持
#从远程服务器传输文件到本地
rsync -avz --progress --partial -e ssh <用户名>@<服务器IP>:<目标路径> <本地文件>
#从本地传输文件到远程服务器
rsync -avz --progress --partial -e ssh <本地文件> <用户名>@<服务器IP>:<目标路径>
#指定2222端口
rsync -avz --progress -e "ssh -p 2222" <本地文件> <用户名>@<服务器IP>:<目标路径>

sz/rz传输文件

apt install lrzsz -y

免密访问远程服务器

#前提工作
useradd zhuikefeng #添加用户
passwd zhuikefeng #添加密码
#注册sudo权限
yum install sudo 或者 apt install sudo
vim /etc/sudoers 或者visudo
#在root    ALL=(ALL)       ALL下面加一行
zhuikefeng    ALL=(ALL)       ALL

#在创建账户之后出现不能登录的情况
vim /etc/ssh/sshd_config
#在最底下找到AllowUsers这一行，在后面添加自己的名字，中间用空格分隔
#如果只有AllowGroups，则只有指定组才能登录，在后面将自己所在组加上，或者是将自己改成已存在的组
systemctl restart sshd

#创建用户之后，ssh能连接，但是vscode不能连接，这可能是vscode不能在~/.vscode-server下面写文件的错误

#设置免密登录
#在本地机器执行
ssh-keygen -t rsa -b 4096 #生成私钥，-b是指定密钥长度，默认是2048
vim ~/.ssh/config
#填入下面的内容
Host cloud
    HostName 114.116.250.138
    User root
    Port 22
    IdentityFile ~/.ssh/id_rsa

ssh-copy-id cloud #将公钥发送到服务器，完整命令是ssh-copy-id -i ~/.ssh/id_rsa.pub root@114.116.250.138
ssh cloud #在服务器的~/.ssh/authorized_keys可看到公钥

#有的时候会碰到即使像上面的步骤上传了密码，但是仍然出现登录需要设置密码的方式
vim /etc/ssh/sshd_config
找到 #StrictModes yes，改成StrictModes no
systemctl restart sshd

#自动登录成功之后，如何实现sudo -i命令切换root用户时，不需要输入密码
vim /etc/sudoers
#在apps ALL=(root) NOPASSWD:  ALL复制一行
zhuikefeng ALL=(root) NOPASSWD:  ALL

#设置root用户自动登出时间
vim /etc/systemd/logind.conf
将 IdleTimeout=inf 添加到 [Login] 部分
systemctl daemon-reload
systemctl restart systemd-logind

显示文件的指定行数的内容

sed -n '5,10p' file.txt #显示文件5-10行的内容

127.0.0.1和0.0.0.0的区别

`127.0.0.1`和`0.0.0.0`是两个特殊的IP地址，在计算机网络中有着不同的含义和用途。

- `127.0.0.1` 是一个回环地址（Loopback Address），通常用于测试本机的网络接口。当一个数据包被发送到这个地址时，它将直接返回到发送它的设备，不会经过任何网络接口或路由器。这常用于检查网络软件是否能正常工作，而不需要物理网络连接。在大多数操作系统中，当你尝试连接到`127.0.0.1`时，你实际上在访问自己的计算机，其他任何网络设备都无法通过网络访问绑定到127.0.0.1的服务。

- `0.0.0.0` 通常用作默认网络的特殊地址。它代表当前主机上的所有IPv4地址。在服务器编程中，绑定服务到`0.0.0.0`意味着该服务将在所有可用的网络接口上监听，允许来自任何远程客户端的连接。此外，它有时也用于表示无特定地址或未知地址。

总结区别：

- `127.0.0.1` 指向本地主机，用于内部通信和测试。
- `0.0.0.0` 代表当前主机上的所有网络接口，用于监听来自任何外部源的连接。

新磁盘的挂载

lsblk #查看所有磁盘信息，包括名称，大小和挂载点
#显示NAME列有sda，nvme1n1，nvme0n1

#挂载整个磁盘，不分区
mkdir /data
mount /dev/nvme1n1 /data

#如果报错mount: /data: wrong fs type, bad option, bad superblock on /dev/nvme1n1, missing codepage or helper program, or other error.
#是因为磁盘还没有格式化，没有有效的超级块（superblock）

#使用lsblk -f可以查看所有磁盘的文件类型
mkfs.ext4 /dev/nvme1n1 #格式化为ext4文件系统
#umount /dev/nvme1n1取消挂载

如何清除ps -aux中指定名称的进程

#清除名字中带有tritonserver的所有进程
pgrep -f tritonserver | xargs kill -9

如果不确定清除的是否正确，可以先打印看下满足条件的进程，再执行上面的清除语句
pgrep -f tritonserver | xargs echo kill -9

如何查看机器PCIe版本

sudo lspci -vv
#Express (v2)，MaxPayload 128 bytes表示是2代，即Gen2

固定时间内关机，并且通知所有用户

sudo shutdown -h +1 #1表示1min，1min后关机并通知所有用户，如果想取消执行shutdown -c

hadoop操作

hadoop fs -ls hdfs:// #查看hdfs上的文件列表
hadoop fs -put <本地文件路径> <HDFS目标文件路径>
hadoop fs -get hdfs://bipcluster/path/to/file local_folder
hadoop fs -rm -r -f hdfs:// #删除hdfs上的文件或者目录

tar命令

#查看tar包的内容，但是不解压
tar -tf yourfile.tar

查看文件的md5和sha256

md5sum 文件名
sha256sum 文件名
#如果没有安装则先安装
apt-get install coreutils
yum install coreutils

#mac查看sha256
shasum -a 256 mp_rank_00_model_states_fp8.pt

重定向屏幕输出

./run.sh 2>&1 | tee output.log
./run.sh 2>&1 | tee -a output.log #追加日志而不是覆盖

./run.sh > output.log 2>&1 #不打印到终端
./run.sh &> output.log #同上，不打印到终端
nohup ./run.sh > output.log 2>&1 & #后台运行

查看cpu是否是省电模式

cat /sys/devices/system/cpu/cpu0/cpufreq/scaling_governor
#performance表示性能模式，ondemand表示省电模式

#如何切换模式
apt install cpufrequtils #ubuntu
yum install kernel-tools #centos
#查看系统支持的调频策略
cpupower frequency-info --governors
#切换成性能模式，performance表示性能，ondemand表示省电但响应快，powersave最省电
cpupower frequency-set -g performance