petrel_client.client 是用于访问和操作 Petrel 对象存储服务的 Python 客户端库。Petrel 是由阿里云推出的高性能分布式对象存储系统，支持海量数据存储和高并发访问。该库提供了简洁的 API，用于文件的上传、下载、删除、元数据查询等操作，适用于数据处理、机器学习、分布式计算等场景。

基本功能

1. 初始化客户端：通过配置访问凭证和 endpoint 连接到 Petrel 服务。
2. 文件操作：支持上传、下载、删除、检查文件是否存在等。
3. 目录操作：支持创建、列出目录内容等。
4. 元数据管理：获取和设置文件元数据。
5. 批量操作：支持批量上传或下载文件。

安装

pip install petrel_client

使用示例

下面是 petrel_client.client 的一些常见用法示例：

from petrel_client.client import Client

# 初始化客户端（方式一：配置文件）
# 配置文件路径默认为 ~/.petreloss.conf，也可通过环境变量 PETREL_CONFIG_PATH 指定
client = Client()

# 初始化客户端（方式二：直接传入配置）
client = Client(conf={
    'fs.petrel.access.key.id': 'your_access_key_id',
    'fs.petrel.access.key.secret': 'your_access_key_secret',
    'fs.petrel.endpoint': 'petrel_endpoint',
})

# 检查客户端是否初始化成功
if not client.initialized():
    print("客户端初始化失败")
    exit(1)

# 上传文件
local_path = 'local_file.txt'
petrel_path = 'oss://your-bucket/path/to/remote_file.txt'
client.put(local_path, petrel_path)
print(f"文件 {local_path} 已上传至 {petrel_path}")

# 下载文件
download_path = 'downloaded_file.txt'
client.get(petrel_path, download_path)
print(f"文件 {petrel_path} 已下载至 {download_path}")

# 检查文件是否存在
exists = client.exists(petrel_path)
print(f"文件 {petrel_path} 是否存在: {exists}")

# 获取文件元数据
metadata = client.head(petrel_path)
print(f"文件 {petrel_path} 的元数据: {metadata}")

# 列出目录内容
directory = 'oss://your-bucket/path/to/directory/'
objects = client.list(directory)
print(f"目录 {directory} 中的内容:")
for obj in objects:
    print(f"- {obj}")

# 删除文件
client.delete(petrel_path)
print(f"文件 {petrel_path} 已删除")

# 批量上传多个文件
file_mapping = {
    'local_file1.txt': 'oss://your-bucket/path/to/file1.txt',
    'local_file2.txt': 'oss://your-bucket/path/to/file2.txt',
}
client.put_multiple(file_mapping)
print("批量上传完成")

# 批量下载多个文件
download_mapping = {
    'oss://your-bucket/path/to/file1.txt': 'downloaded1.txt',
    'oss://your-bucket/path/to/file2.txt': 'downloaded2.txt',
}
client.get_multiple(download_mapping)
print("批量下载完成")

配置文件示例

如果你选择使用配置文件方式初始化客户端，~/.petreloss.conf 文件的示例内容如下：

[default]
fs.petrel.access.key.id = your_access_key_id
fs.petrel.access.key.secret = your_access_key_secret
fs.petrel.endpoint = petrel_endpoint

注意事项

• Petrel 路径格式为 oss://bucket-name/path/to/object。
• 对于大规模数据处理，建议使用批量操作以提高效率。