本文较详细地介绍了FastDFS服务器端的目录结构和文件格式,包括tracker server和storage server两部分。有兴趣对FastDFS进行深入了解和研究的朋友,可以阅读本篇文章。

FastDFS服务器端运行时目录结构如下:

  ${base_path}
    |__data:存放数据文件
    |__logs:存放日志文件

其中,${base_path}由配置文件中的参数“base_path”设定。

一、tracker server
tracker server目录及文件结构:

  ${base_path}
    |__data
    |     |__storage_groups.dat:存储分组信息
    |     |__storage_servers.dat:存储服务器列表
    |__logs
          |__trackerd.log:tracker server日志文件

数据文件storage_groups.dat和storage_servers.dat中的记录之间以换行符(\n)分隔,字段之间以西文逗号(,)分隔。
storage_groups.dat中的字段依次为:

  1. group_name:组名
  2. storage_port:storage server端口号
    storage_servers.dat中记录storage server相关信息,字段依次为:
  3. group_name:所属组名
  4. ip_addr:ip地址
  5. status:状态
  6. sync_src_ip_addr:向该storage server同步已有数据文件的源服务器
  7. sync_until_timestamp:同步已有数据文件的截至时间(UNIX时间戳)
  8. stat.total_upload_count:上传文件次数
  9. stat.success_upload_count:成功上传文件次数
  10. stat.total_set_meta_count:更改meta data次数
  11. stat.success_set_meta_count:成功更改meta data次数
  12. stat.total_delete_count:删除文件次数
  13. stat.success_delete_count:成功删除文件次数
  14. stat.total_download_count:下载文件次数
  15. stat.success_download_count:成功下载文件次数
  16. stat.total_get_meta_count:获取meta data次数
  17. stat.success_get_meta_count:成功获取meta data次数
  18. stat.last_source_update:最近一次源头更新时间(更新操作来自客户端)
  19. stat.last_sync_update:最近一次同步更新时间(更新操作来自其他storage server的同步)

二、storage server
storage server目录及文件结构:

  ${base_path}
    |__data
    |     |__.data_init_flag:当前storage server初始化信息
    |     |__storage_stat.dat:当前storage server统计信息
    |     |__sync:存放数据同步相关文件
    |     |     |__binlog.index:当前的binlog(更新操作日志)文件索引号
    |     |     |__binlog.###:存放更新操作记录(日志)
    |     |     |__${ip_addr}_${port}.mark:存放向目标服务器同步的完成情况
    |     |
    |     |__一级目录:256个存放数据文件的目录,目录名为十六进制字符,如:00, 1F
    |           |__二级目录:256个存放数据文件的目录,目录名为十六进制字符,如:0A, CF
    |__logs
          |__storaged.log:storage server日志文件

.data_init_flag文件格式为ini配置文件方式,各个参数如下:

  # storage_join_time:本storage server创建时间
  # sync_old_done:本storage server是否已完成同步的标志(源服务器向本服务器同步已有数据)
  # sync_src_server:向本服务器同步已有数据的源服务器IP地址,没有则为空
  # sync_until_timestamp:同步已有数据文件截至时间(UNIX时间戳)

storage_stat.dat文件格式为ini配置文件方式,各个参数如下:

  # total_upload_count:上传文件次数
  # success_upload_count:成功上传文件次数
  # total_set_meta_count:更改meta data次数
  # success_set_meta_count:成功更改meta data次数
  # total_delete_count:删除文件次数
  # success_delete_count:成功删除文件次数
  # total_download_count:下载文件次数
  # success_download_count:成功下载文件次数
  # total_get_meta_count:获取meta data次数
  # success_get_meta_count:成功获取meta data次数
  # last_source_update:最近一次源头更新时间(更新操作来自客户端)
  # last_sync_update:最近一次同步更新时间(更新操作来自其他storage server)

binlog.index中只有一个数据项:当前binlog的文件索引号
binlog.###,###为索引号对应的3位十进制字符,不足三位,前面补0。索引号基于0,最大为999。一个binlog文件最大为1GB。记录之间以换行符(\n)分隔,字段之间以西文空格分隔。字段依次为:

  1. timestamp:更新发生时间(Unix时间戳)
  2. op_type:操作类型,一个字符
  3. filename:操作(更新)的文件名,包括相对路径,如:5A/3D/FE_93_SJZ7pAAAO_BXYD.S
    ${ip_addr}${port}.mark:ipaddr为同步的目标服务器IP地址,port为本组storage server端口。例如:10.0.0.1_23000.mark。文件格式为ini配置文件方式,各个参数如下:
    # binlog_index:已处理(同步)到的binlog索引号
    # binlog_offset:已处理(同步)到的binlog文件偏移量(字节数)
    # need_sync_old:同步已有数据文件标记,0表示没有数据文件需要同步
    # sync_old_done:同步已有数据文件是否完成标记,0表示未完成,1表示已完成
    # until_timestamp:同步已有数据截至时间点(UNIX时间戳)
    # scan_row_count:已扫描的binlog记录数
    # sync_row_count:已同步的binlog记录数
    本文较详细地介绍了FastDFS服务器端的目录结构和文件格式,包括tracker server和storage server两部分。有兴趣对FastDFS进行深入了解和研究的朋友,可以阅读本篇文章。

FastDFS服务器端运行时目录结构如下:

  ${base_path}
    |__data:存放数据文件
    |__logs:存放日志文件

其中,${base_path}由配置文件中的参数“base_path”设定。

一、tracker server

tracker server目录及文件结构:
  ${base_path}
    |__data
    |     |__storage_groups.dat:存储分组信息
    |     |__storage_servers.dat:存储服务器列表
    |__logs
          |__trackerd.log:tracker server日志文件

数据文件storage_groups.dat和storage_servers.dat中的记录之间以换行符(\n)分隔,字段之间以西文逗号(,)分隔。
storage_groups.dat中的字段依次为:

  1. group_name:组名
  2. storage_port:storage server端口号
    storage_servers.dat中记录storage server相关信息,字段依次为:
  3. group_name:所属组名
  4. ip_addr:ip地址
  5. status:状态
  6. sync_src_ip_addr:向该storage server同步已有数据文件的源服务器
  7. sync_until_timestamp:同步已有数据文件的截至时间(UNIX时间戳)
  8. stat.total_upload_count:上传文件次数
  9. stat.success_upload_count:成功上传文件次数
  10. stat.total_set_meta_count:更改meta data次数
  11. stat.success_set_meta_count:成功更改meta data次数
  12. stat.total_delete_count:删除文件次数
  13. stat.success_delete_count:成功删除文件次数
  14. stat.total_download_count:下载文件次数
  15. stat.success_download_count:成功下载文件次数
  16. stat.total_get_meta_count:获取meta data次数
  17. stat.success_get_meta_count:成功获取meta data次数
  18. stat.last_source_update:最近一次源头更新时间(更新操作来自客户端)
  19. stat.last_sync_update:最近一次同步更新时间(更新操作来自其他storage server的同步)

二、storage server
storage server目录及文件结构:

  ${base_path}
    |__data
    |     |__.data_init_flag:当前storage server初始化信息
    |     |__storage_stat.dat:当前storage server统计信息
    |     |__sync:存放数据同步相关文件
    |     |     |__binlog.index:当前的binlog(更新操作日志)文件索引号
    |     |     |__binlog.###:存放更新操作记录(日志)
    |     |     |__${ip_addr}_${port}.mark:存放向目标服务器同步的完成情况
    |     |
    |     |__一级目录:256个存放数据文件的目录,目录名为十六进制字符,如:00, 1F
    |           |__二级目录:256个存放数据文件的目录,目录名为十六进制字符,如:0A, CF
    |__logs
          |__storaged.log:storage server日志文件

.data_init_flag文件格式为ini配置文件方式,各个参数如下:

  # storage_join_time:本storage server创建时间
  # sync_old_done:本storage server是否已完成同步的标志(源服务器向本服务器同步已有数据)
  # sync_src_server:向本服务器同步已有数据的源服务器IP地址,没有则为空
  # sync_until_timestamp:同步已有数据文件截至时间(UNIX时间戳)

storage_stat.dat文件格式为ini配置文件方式,各个参数如下:

  # total_upload_count:上传文件次数
  # success_upload_count:成功上传文件次数
  # total_set_meta_count:更改meta data次数
  # success_set_meta_count:成功更改meta data次数
  # total_delete_count:删除文件次数
  # success_delete_count:成功删除文件次数
  # total_download_count:下载文件次数
  # success_download_count:成功下载文件次数
  # total_get_meta_count:获取meta data次数
  # success_get_meta_count:成功获取meta data次数
  # last_source_update:最近一次源头更新时间(更新操作来自客户端)
  # last_sync_update:最近一次同步更新时间(更新操作来自其他storage server)

binlog.index中只有一个数据项:当前binlog的文件索引号
binlog.###,###为索引号对应的3位十进制字符,不足三位,前面补0。索引号基于0,最大为999。一个binlog文件最大为1GB。记录之间以换行符(\n)分隔,字段之间以西文空格分隔。字段依次为:

  1. timestamp:更新发生时间(Unix时间戳)
  2. op_type:操作类型,一个字符
  3. filename:操作(更新)的文件名,包括相对路径,如:5A/3D/FE_93_SJZ7pAAAO_BXYD.S
    ${ip_addr}${port}.mark:ipaddr为同步的目标服务器IP地址,port为本组storage server端口。例如:10.0.0.1_23000.mark。文件格式为ini配置文件方式,各个参数如下:
    # binlog_index:已处理(同步)到的binlog索引号
    # binlog_offset:已处理(同步)到的binlog文件偏移量(字节数)
    # need_sync_old:同步已有数据文件标记,0表示没有数据文件需要同步
    # sync_old_done:同步已有数据文件是否完成标记,0表示未完成,1表示已完成
    # until_timestamp:同步已有数据截至时间点(UNIX时间戳)
    # scan_row_count:已扫描的binlog记录数
    # sync_row_count:已同步的binlog记录数
文档更新时间: 2019-06-20 06:10   作者:月影鹏鹏