OpenStack之swift安装笔记

在顺利的安装部署了KeyStone之后,原以为swift的安装调试也会如KeyStone一般,但过程却充满了坎坷,在结合源代码中的一些函数之后,终于成功的完成了swift的安装,并实验了上传下载文件等功能,下面整理了swift的安装过程,并对遇到的问题进行了总结,希望对遇到同样问题的人有些启示或帮助。安装过程依然参考的是OpenStack的官方安装手册,但补充了一些细节。在安装之前,先简单的介绍一下Swift是什么、主要功能是什么。OpenStack的对象存储(Swift)是一个多租户的、高可扩展的对象存储系统,通过RESTful HTTP API管理着大量的非结构化数据,在部署对象存储之前必须至少安装了身份服务(KeyStone)。Swift包含的组件包括:
  1. 代理服务器(swift-proxy-server):接受对象存储API和HTTP请求以上传文件、修改元数据和创建容器,也向浏览器提供文件或容器的列表。为了改进性能,代理服务器可以使用可选的缓存,通常选择memcache与代理服务器一起部署。
  2. 账户服务(account-server):管理对象存储中的账户。
  3. 容器服务(container-server):管理对象存储中容器或文件夹的映射。
  4. 对象服务(object-server):管理存储节点上的实际对象,比如文件。
  5. WSGI中间层:处理认证,通常是身份服务(KeyStone)。
  6. 周期性进程:在集群中执行各种维护任务,比如复制(replicator)服务确保集群中数据的一致性和可用性,其它还包括:auditor,updater和reaper。

代理服务依赖于认证和授权机制,如果使用身份服务完成认证和授权的话,则在配置管理swift之前,首先要在keystone中创建swift的认证信息和endpoint。对象存储在控制节点上不适用SQL数据库。由于之前已经成功部署了KeyStone,所以这里就不在赘述KeyStone的安装过程,直接进入Swift的安装。本次安装是在单节点的虚拟机进行的,也就是控制节点和存储节点部署在相同的主机中,操作系统为CentOS7.1。首先在KeyStone中创建Swift的用户、服务及endpoint,具体命令及结果如下:

[openstack@localhost ~]$ keystone user-create --name swift --pass 123456
+----------+----------------------------------+
| Property |              Value               |
+----------+----------------------------------+
|  email   |                                  |
| enabled  |               True               |
|    id    | ed4f45ac3e8a4ac683d54b642e61ac04 |
|   name   |              swift               |
| username |              swift               |
+----------+----------------------------------+
keystone user-role-add --user swift --role admin --tenant service
[openstack@localhost ~]$ keystone service-create --name swift --type object-store
+-------------+----------------------------------+
|   Property  |              Value               |
+-------------+----------------------------------+
| description |                                  |
|   enabled   |               True               |
|      id     | 094cc0da43e348f8b792f77ef99f8e7e |
|     name    |              swift               |
|     type    |           object-store           |
+-------------+----------------------------------+
[openstack@localhost ~]$ keystone endpoint-create --region regionOne --service swift --publicurl 'http://localhost:8080/v1/AUTH_%(tenant_id)s' --internalurl 'http://localhost:8080/v1/AUTH_%(tenant_id)s' --adminurl 'http://localhost:8080/v1/AUTH_%(tenant_id)s'
+-------------+-----------------------------------------------------------------+
|   Property  |                              Value                              |
+-------------+-----------------------------------------------------------------+
|   adminurl  |                    http://locoalhost:8080/v1/                   |
|      id     |                 c0da7d196e204e038766740e405dbbce                |
| internalurl | http://locoalhost:8080/v1/AUTH_2835009c452b4d408f95ff5a920fc877 |
|  publicurl  | http://locoalhost:8080/v1/AUTH_2835009c452b4d408f95ff5a920fc877 |
|    region   |                            regionOne                            |
|  service_id |                 094cc0da43e348f8b792f77ef99f8e7e                |
+-------------+-----------------------------------------------------------------+
然后安装proxy-server,swift客户端、memcached等:yum install openstack-swift-proxy python-swiftclient python-keystone-auth-token python-keystonemiddleware memcached。上面命令中的python-keystone-auth-token是无法安装的,当使用yum安装时将会报如下的异常信息:没有可用软件包 python-keystone-auth-token。经过在OpenStack的官网确认,该问题属于文档中的错误,直接忽略该问题或者执行yum install openstack-swift-proxy python-swiftclient python-keystonemiddleware memcached。安装执行完毕后,执行下面的命令下载proxy-server.conf文件:
curl -o /etc/swift/proxy-server.conf https://raw.githubusercontent.com/openstack/swift/stable/juno/etc/proxyserver.conf-sample
下载完成后需要对文件中的配置参数进行修改,修改的具体内容如下:
  • 在[DEFAULT]中指定端口号、用户名和配置文件目录:
[DEFAULT]
...
bind_port = 8080
user = swift
swift_dir = /etc/swift
  • 在[pipeline:main]中,启用合适的模块:
[pipeline:main]
pipeline = authtoken cache healthcheck keystoneauth proxy-logging proxy-server
  • 在[app:proxy-server]中,启用用户管理功能:
[app:proxy-server]
...
allow_account_management = true
account_autocreate = true
  • 在[filter:keystoneauth]中配置合适的操作角色;
[filter:keystoneauth]
use = egg:swift#keystoneauth
...
operator_roles = admin,_member_
  • 在[filter:authtoken]中配置认证服务的相关信息:
[filter:authtoken]
paste.filter_factory = keystonemiddleware.auth_token:filter_factory
...
auth_uri = http://localhost:5000/v2.0
identity_uri = http://localhost:35357
admin_tenant_name = service
admin_user = swift
admin_password = SWIFT_PASS #指定为使用keystone创建swift用户时设置的密码,比如123456
delay_auth_decision = true
  • 在[filter:cache]中,配置memcached的位置:
[filter:cache]
...
memcache_servers = 127.0.0.1:11211
这样就完成了proxy-server的安装和部署,可以使用systemctl启动该服务了,但目前先不启动该服务,直到部署配置存储服务后。在安装存储服务之前,先为存储服务指定存储目录,这需要将磁盘分区挂载到存储目录。根据官方的安装手册,挂载的磁盘必须具备分区表,也就是该磁盘已经分区完毕。经过测试,该磁盘具备几个分区不重要,但必须执行了分区,可以使用fdisk命令进行磁盘分区操作。虽然Swift支持各种文件系统,但根据测试XFS文件系统具有最好的性能和稳定性,所以对磁盘分区后,比如/dev/sdb1,需要使用命令mkfs.xfs对/dev/sdb1进行格式化:mkfs.xfs /dev/sdb1。格式化完成后,创建挂载目录:mkdir -p /srv/node/,然后编辑/etc/fstab,添加下面语句:
/dev/sdb1 /srv/node/ xfs noatime,nodiratime,nobarrier,logbufs=8 0 2
最后挂载设备的存储目录:mount /srv/node,并修改该目录的所有者为运行swift的用户:chown -R swift:swift /srv/。挂载目录是swift一个潜在的容易出问题的地方,有可能是权限问题,也有可能和后面介绍的配置文件有关,具体的问题后面再详细介绍。挂载设备后,还需要修改/etc/rsyncd.conf文件,具体内容如下:
uid = swift
gid = swift
log file = /var/log/rsyncd.log
pid file = /var/run/rsyncd.pid
address = MANAGEMENT_INTERFACE_IP_ADDRESS
[account]
max connections = 2
path = /srv/
read only = false
lock file = /var/lock/account.lock
[container]
max connections = 2
path = /srv/
read only = false
lock file = /var/lock/container.lock
[object]
max connections = 2
path = /srv/
read only = false
lock file = /var/lock/object.lock
做完准备工作后,执行下面的命令进行存储服务的安装,包括account-server、container-server和object-server:yum install openstack-swift-account openstack-swift-container openstack-swift-object。安装完成后,执行下面的命令下载account-server.conf、container-server.conf和object-server.conf文件:
curl -o /etc/swift/account-server.conf https://raw.githubusercontent.com/openstack/swift/stable/juno/etc/account-server.conf-sample

curl -o /etc/swift/container-server.conf https://raw.githubusercontent.com/openstack/swift/stable/juno/etc/container-server.conf-sample

curl -o /etc/swift/object-server.conf https://raw.githubusercontent.com/openstack/swift/stable/juno/etc/object-server.conf-sample
三个配置文件所要修改的内容很相似,因此仅对account-server.conf进行说明,其它两个文件不同的地方将进行标记。
  • 在[DEFAULT]中,配置ip地址、端口号、用户、配置文件所在目录和挂载目录,需要注意的地方是挂载目录,该目录为挂载点的上级目录,比如/dev/sdb1挂载到目录/srv/node目录,在该配置文件的中的挂载目录应该为/srv,而不是/srv/node。
[DEFAULT]
...
bind_ip = 127.0.0.1
bind_port = 6002 #不同的服务使用不同的端口
user = swift
swift_dir = /etc/swift
devices = /srv/ #设备挂载目录的上级目录
  • 在[pipeline:main]中,设置合适的模块:
[pipeline:main]
pipeline = healthcheck recon account-server#account-server在其它配置文件中应该改为container-server、object-server
  • 在[filter:recon]中,配置recon缓存目录:
[filter:recon]
...
recon_cache_path = /var/cache/swift
container-server.conf和object-server.conf只需要修改上面注释的地方即可,其它地方完全一致。修改完所有配置文件后,将/var/cache/swift的拥有者改为运行swift的用户,比如swift用户:chown -R swift:swift /var/cache/swift。在执行完所有上述步骤后,接下来就是要生成ring文件,命令的具体含义不会做深入解释,可以在命令直接输入swift-ring-builder查看详细说明。首先进入到/etc/swift目录,该目录在上述几个配置文件中进行设置,然后分别为account、container和object生成ring文件,由于所有的存储服务都部署在单节点上,所以副本的数量设置为1,具体命令为:
swift-ring-builder account.builder create 8 1 1
swift-ring-builder container.builder create 8 1 1
swift-ring-builder object.builder create 8 1 1
其中第一个参数指定了要生成的partition的数量,比如2^8=256,第二个参数执行了副本的数量,此处为1,第三个参数的含义为至少移动分区一次间隔的小时数。创建了ring文件后,需要将存储节点或者目录增加到ring中:
swift-ring-builder account.builder add r1z1-127.0.0.1:6002/node 100
swift-ring-builder container.builder add r1z1-127.0.0.1:6001/node 100
swift-ring-builder object.builder add r1z1-127.0.0.1:6000/node 100
其中的端口号一定要匹配相应配置文件中设置的端口号,而斜线/后面的内容要匹配挂载点的最后一级目录,比如将/dev/sdb1挂载到/srv/node上,则/后面的内容为node,而配置文件中的devices的值则为/srv/,如果设置错位或者不匹配挂载目录的话,会出现下面的错误:
object-replicator: node is not mounted
proxy-server: ERROR Insufficient Storage 127.0.0.1:6002/node
还可以在python命令行下输入下面的语句验证设置是否挂载正常、配置是否正确,如果一切正确,返回True,否则返回False:
from swift.common.constraints import check_mount
check_mount('/srv','node') #第一个参数为配置文件中devices的值,第二个参数为向ring增加设备时/后面的值
然后运行下面的命令对ring进行rebalance:
swift-ring-builder account.builder rebalance
swift-ring-builder container.builder rebalance
swift-ring-builder object.builder rebalance
注意上述生成ring文件,增加存储节点到ring的步骤都是在控制节店中执行的。下载swift.conf文件并对其进行修改:
curl -o /etc/swift/swift.conf https://raw.githubusercontent.com/openstack/swift/stable/juno/etc/swift.conf-sample
  • 在[swift-hash]中配置hash路径的前缀和后缀:
[swift-hash]
...
swift_hash_path_suffix = HASH_PATH_PREFIX
swift_hash_path_prefix = HASH_PATH_SUFFIX
  • 在[storage-policy:0]配置默认的存储策略:
[storage-policy:0]
...
name = Policy-0
default = yes
如果是多节点部署swift的话,还需要将上述步骤生成的ring文件、swift.conf文件复制到所有节点中,并修改/etc/swift的拥有者为swift用户:chown -R swift:swift /etc/swift。
部署配置完成后,就需要启动所有服务。除了proxy-server、account-server、container-server和object-server外,swift还包括许多其它的周期性进程,如果每次都要逐一启动、停止、重启这些服务,将会是繁琐且无聊的过程,因此建议将所有启动、停止或重启的命令编入相应的脚本,这样只需执行脚本就可以了,比如:
[openstack@localhost ~]$ cat swift-stop.sh 
#! /bin/bash
systemctl stop openstack-swift-account.service openstack-swift-account-auditor.service openstack-swift-account-reaper.service openstack-swift-account-replicator.service
systemctl stop openstack-swift-container.service openstack-swift-container-auditor.service openstack-swift-container-replicator.service openstack-swift-container-updater.service
systemctl stop openstack-swift-object.service openstack-swift-object-auditor.service openstack-swift-object-replicator.service openstack-swift-object-updater.service
所有服务启动完毕后,就可以检验一下向swift上传下载文件的功能了:
[openstack@localhost ~]$ source demo-openrc.sh 
[openstack@localhost ~]$ swift stat
        Account: AUTH_1928446a6c364ace8a40043b5318bd9f
     Containers: 0
        Objects: 0
          Bytes: 0
X-Put-Timestamp: 1434681204.28622
     Connection: keep-alive
    X-Timestamp: 1434681204.28622
     X-Trans-Id: tx60e7648bf53f4365a2c84-0055837f72
   Content-Type: text/plain; charset=utf-8
 
          
[openstack@localhost ~]$ swift upload demo swift-stop.sh --object-name stop
stop
[openstack@localhost ~]$ swift list
demo
[openstack@localhost ~]$ swift list demo
stop
至此就完成了swift的单节点部署工作,并且从测试结果来看,一切动作正常。成功部署swift并不意味者对swift的所有功能、流程都已经熟悉了,相反还有很多需要学习的,比如swift客户端命令的详细使用方法,上传下载文件的具体流程,ring文件的具体含义,如何调整partition的数量等,还需要进一步的学习。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


软件简介:蓝湖辅助工具,减少移动端开发中控件属性的复制和粘贴.待开发的功能:1.支持自动生成约束2.开发设置页面3.做一个浏览器插件,支持不需要下载整个工程,可即时操作当前蓝湖浏览页面4.支持Flutter语言模板生成5.支持更多平台,如Sketch等6.支持用户自定义语言模板
现实生活中,我们听到的声音都是时间连续的,我们称为这种信号叫模拟信号。模拟信号需要进行数字化以后才能在计算机中使用。目前我们在计算机上进行音频播放都需要依赖于音频文件。那么音频文件如何生成的呢?音频文件的生成过程是将声音信息采样、量化和编码产生的数字信号的过程,我们人耳所能听到的声音频率范围为(20Hz~20KHz),因此音频文件格式的最大带宽是20KHZ。根据奈奎斯特的理论,音频文件的采样率一般在40~50KHZ之间。奈奎斯特采样定律,又称香农采样定律。...............
前言最近在B站上看到一个漂亮的仙女姐姐跳舞视频,循环看了亿遍又亿遍,久久不能离开!看着小仙紫姐姐的蹦迪视频,除了一键三连还能做什么?突发奇想,能不能把舞蹈视频转成代码舞呢?说干就干,今天就手把手教大家如何把跳舞视频转成代码舞,跟着仙女姐姐一起蹦起来~视频来源:【紫颜】见过仙女蹦迪吗 【千盏】一、核心功能设计总体来说,我们需要分为以下几步完成:从B站上把小姐姐的视频下载下来对视频进行截取GIF,把截取的GIF通过ASCII Animator进行ASCII字符转换把转换的字符gif根据每
【Android App】实战项目之仿抖音的短视频分享App(附源码和演示视频 超详细必看)
前言这一篇博客应该是我花时间最多的一次了,从2022年1月底至2022年4月底。我已经将这篇博客的内容写为论文,上传至arxiv:https://arxiv.org/pdf/2204.10160.pdf欢迎大家指出我论文中的问题,特别是语法与用词问题在github上,我也上传了完整的项目:https://github.com/Whiffe/Custom-ava-dataset_Custom-Spatio-Temporally-Action-Video-Dataset关于自定义ava数据集,也是后台
因为我既对接过session、cookie,也对接过JWT,今年因为工作需要也对接了gtoken的2个版本,对这方面的理解还算深入。尤其是看到官方文档评论区又小伙伴表示看不懂,所以做了这期视频内容出来:视频在这里:本期内容对应B站的开源视频因为涉及的知识点比较多,视频内容比较长。如果你觉得看视频浪费时间,可以直接阅读源码:goframe v2版本集成gtokengoframe v1版本集成gtokengoframe v2版本集成jwtgoframe v2版本session登录官方调用示例文档jwt和sess
【Android App】实战项目之仿微信的私信和群聊App(附源码和演示视频 超详细必看)
用Android Studio的VideoView组件实现简单的本地视频播放器。本文将讲解如何使用Android视频播放器VideoView组件来播放本地视频和网络视频,实现起来还是比较简单的。VideoView组件的作用与ImageView类似,只是ImageView用于显示图片,VideoView用于播放视频。...
采用MATLAB对正弦信号,语音信号进行生成、采样和内插恢复,利用MATLAB工具箱对混杂噪声的音频信号进行滤波
随着移动互联网、云端存储等技术的快速发展,包含丰富信息的音频数据呈现几何级速率增长。这些海量数据在为人工分析带来困难的同时,也为音频认知、创新学习研究提供了数据基础。在本节中,我们通过构建生成模型来生成音频序列文件,从而进一步加深对序列数据处理问题的了解。
基于yolov5+deepsort+slowfast算法的视频实时行为检测。1. yolov5实现目标检测,确定目标坐标 2. deepsort实现目标跟踪,持续标注目标坐标 3. slowfast实现动作识别,并给出置信率 4. 用框持续框住目标,并将动作类别以及置信度显示在框上
数字电子钟设计本文主要完成数字电子钟的以下功能1、计时功能(24小时)2、秒表功能(一个按键实现开始暂停,另一个按键实现清零功能)3、闹钟功能(设置闹钟以及到时响10秒)4、校时功能5、其他功能(清零、加速、星期、八位数码管显示等)前排提示:前面几篇文章介绍过的内容就不详细介绍了,可以看我专栏的前几篇文章。PS.工程文件放在最后面总体设计本次设计主要是在前一篇文章 数字电子钟基本功能的实现 的基础上改编而成的,主要结构不变,分频器将50MHz分为较低的频率备用;dig_select
1.进入官网下载OBS stdioOpen Broadcaster Software | OBS (obsproject.com)2.下载一个插件,拓展OBS的虚拟摄像头功能链接:OBS 虚拟摄像头插件.zip_免费高速下载|百度网盘-分享无限制 (baidu.com)提取码:6656--来自百度网盘超级会员V1的分享**注意**该插件必须下载但OBS的根目录(应该是自动匹配了的)3.打开OBS,选中虚拟摄像头选择启用在底部添加一段视频录制选择下面,进行录制.
Meta公司在9月29日首次推出一款人工智能系统模型:Make-A-Video,可以从给定的文字提示生成短视频。基于**文本到图像生成技术的最新进展**,该技术旨在实现文本到视频的生成,可以仅用几个单词或几行文本生成异想天开、独一无二的视频,将无限的想象力带入生活
音频信号叠加噪声及滤波一、前言二、信号分析及加噪三、滤波去噪四、总结一、前言之前一直对硬件上的内容比较关注,但是可能是因为硬件方面的东西可能真的是比较杂,而且需要渗透的东西太多了,所以学习进展比较缓慢。因为也很少有单纯的硬件学习研究,总是会伴随着各种理论需要硬件做支撑,所以还是想要慢慢接触理论学习。但是之前总找不到切入点,不知道从哪里开始,就一直拖着。最近稍微接触了一点信号处理,就用这个当作切入点,开始接触理论学习。二、信号分析及加噪信号处理选用了matlab做工具,选了一个最简单的语音信号处理方
腾讯云 TRTC 实时音视频服务体验,从认识 TRTC 到 TRTC 的开发实践,Demo 演示& IM 服务搭建。
音乐音频分类技术能够基于音乐内容为音乐添加类别标签,在音乐资源的高效组织、检索和推荐等相关方面的研究和应用具有重要意义。传统的音乐分类方法大量使用了人工设计的声学特征,特征的设计需要音乐领域的知识,不同分类任务的特征往往并不通用。深度学习的出现给更好地解决音乐分类问题提供了新的思路,本文对基于深度学习的音乐音频分类方法进行了研究。首先将音乐的音频信号转换成声谱作为统一表示,避免了手工选取特征存在的问题,然后基于一维卷积构建了一种音乐分类模型。
C++知识精讲16 | 井字棋游戏(配资源+视频)【赋源码,双人对战】
本文主要讲解如何在Java中,使用FFmpeg进行视频的帧读取,并最终合并成Gif动态图。
在本篇博文中,我们谈及了 Swift 中 some、any 关键字以及主关联类型(primary associated types)的前世今生,并由浅及深用简明的示例向大家讲解了它们之间的奥秘玄机。