定制化rpm包及本地yum仓库搭建以及同步支持rsync的源和同步不支持rsync源

为方便本地yum的管理,一般都是在公司局域网内搭建本地yum仓库,实现公司内部快速安装常用软件。
步骤如下:
1、搭建要实现本地yum管理的软件,测试该软件搭建成功与否;
2、定制rpm包及其相关依赖;
3、搭建本地yum源
4、配置客户端yum,实现局域网取包安装。
首先声明:该本地yum仓库中的包要尽量全,不然有些定制包可能安装不上。原因很简单,该包原本就需要一些其他的依赖包,而你的本地仓库没有。
安装nginx,测试安装是否成功
1.
#先保留平常下载下来的rpm包
sed -i 's#keepcache=0#keepcache=1#g' /etc/yum.conf
这样当我们yum安装软件的时候,文件就是被保存下来:
/var/cache//
#部署nginx,提供80端口服务
#安装依赖包
yum install -y pcre-devel openssl-devel ;
rpm -qa pcre-devel openssl-devel
#下载nginx-10.0.2
mkdir /tmp/tools
cd /tmp/tools/
tar xf nginx-1.10.2.tar.gz
cd nginx-1.10.2
mkdir /application
#配置
./configure --user=www --group=www --prefix=/application/nginx-1.10.2 --with-http_stub_status_module --with-http_ssl_module
#编译
make && make install
#做软连接
ln -s /application/nginx-1.10.2 /application/nginx
添加www用户:
useradd -u 789 www -s /sbin/nologin -M
#启动nginx进行测试
/applicaton/nginx/sbin/nginx
lsof -i:80
关闭nginx 为定制rpm包做准备:
pkill nginx
#定制rpm包
####下载工具及配置
FPM安装
#fpm是ruby写的,因此系统环境需要ruby,且ruby版本号大于1.8.5
#安装ruby模块
yum -y install ruby rubygems ruby-devel
检查安装成功与否
rpm -qa ruby rubygems ruby-devel
#添加阿里云的rubygems仓库,外国的源太慢
gem sources -ahttp://mirrors.aliyun.com/rubygems/ http://mirrors.aliyun.com/rubygems/ added to sources
#移除原生的Ruby仓库
gem sources --remove http://rubygems.org/ http://rubygems.org/ removed from sources
#安装fpm
#指定安装fpm1.3.3版本的软件,fpm这个工具升级很频繁,而且在每次升级后会出现各种各样的问题。但是老版本的fpm工具能够满足我们的需求,因此就用这个版本了。
#这里一定要指定fpm的版本,不然会报错,报错原因可追溯到版本频繁升级的问题导致。
gem install fpm -v 1.3.3 开始定制nginx 的rpm包 #创建nginx的rpm包要执行的脚本 cat > /server/scripts/nginx_rpm.sh << eof
#!/bin/bash
useradd -u 789 www -M -s /sbin/nologin
ln -s /application/nginx-1.10.2/ /application/nginx
eof
#通过fpm命令打包rpm fpm -s dir -t rpm -n nginx -v 1.10.2 -d 'pcre-devel,openssl-devel' --post-install /server/scripts/nginx_rpm.sh -f /application/nginx-1.10.2/ #fpm相关命令说明
# fpm -h #查看命令的帮助,下面对常用的参数进行简单的说明
# -s:指定源类型
# -t:指定目标类型
# -n:指定名字
# -v:指定版本号
# -C:指定打包的相对路径
# -d:指定依赖于哪些包
# -f:第二次打包时目录下如果有同名安装包存在,则覆盖它
# -p:输出的安装包的目录,不想放在当前目录下就需要指定
# --post-install 软件包安装完成之后所要运行的脚本;同--after-install
# --pre-install 软件包安装完成之前所要运行的脚本;同--before-install
# --post-uninstall 软件包卸载完成之后所要运行的脚本;同--after-remove
# --pre-uninstall 软件包卸载完成之前所要运行的脚本;同--before-remove
#查看rpm包信息 rpm -qpi nginx-1.10.2-1.x86_64.rpm #查看rpm包内容 rpm -qpl nginx-1.10.2-1.x86_64.rpm #查看rpm的包依赖 rpm -qpR nginx-1.10.2-1.x86_64.rpm #查看rpm自带的执行脚本,执行脚本不是以文件的形式存在rpm包中 rpm -qp --scripts nginx-1.10.2-1.x86_64.rpm
创建本地yum仓库
创建仓库目录 mkdir /application/yum/centos6/x86_64 -p 将生成的nginx rpm包放到该目录 mv nginx-1.10.2-1.x86_64.rpm /application/yum/centos6/x86_64/ 安装createrepo yum -y install createrepo 初始化repodata索引文件 createrepo -pdo /application/yum/centos6/x86_64/ /application/yum/centos6/x86_64/ #修改nginx配置文件,让它默认访问浏览器找到/application/yum/centos6/x86_64/目录 cat >/application/nginx/conf/nginx.conf<<EOF
worker_processes 1;
events {
worker_connections 1024;
}
http {
include mime.types;
default_type application/octet-stream;
sendfile on;
keepalive_timeout 65;
server {
listen 80;
server_name localhost;
location / {
root /application/yum/centos6/x86_64/;
autoindex on; ##开启目录
index index.html index.htm;
}
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
EOF
检查nginx配置问,启动nginx: /application/nginx/sbin/nginx -t
/application/nginx/sbin/nginx
使用yum下载nginx依赖包,拷贝到本地yum源目录: yumdownloader pcre-devel openssl-devel
mv openssl* pcre* /application/yum/centos6/x86_64/
#每加入一个rpm包就要执行一下如下命令,用来更新索引 createrepo --update /application/yum/centos6/x86_64
配置客户端
创建脚本 cat > /etc/yum.repos.d/local.repo << eof
[local]
name=Server
baseurl=http://172.16.1.61
enable=1
gpgcheck=0
yum操作、清除缓存、重新建立缓存;
yum clean all 指定指定使用local源,此命令重启linux系统失效: yum --enablerepo=local --disablerepo=base,extras,updates,epel list
#这条命令中的local名称一定要对应local.repo中的[local]
#注意最下面白色的文件列表
永久生效法: vi CentOS-Base.repo
#在每一个启动的源加上
enabled=0 #改为1就启用,没有此参数也是启用。
安装nginx yum install nginx
~~~~~~~~~~~~~~~~~~~~~~~~~

同步支持rsync上游yum源必须要支持rsync协议,否则不能使用rsync进行同步。

扩展:
但还有一种企业需求,说的更具体一点,平时大家yum安装软件都是从公网下载的,占用带宽,因此在公司里搭建一个内网yum服务器,但又考虑到如果yum软件的数据库文件repodata不一样,就会有问题。因此我想到的解决方法就是直接使用公网yum源的repodata。
镜像同步公网yum源
上游yum源必须要支持rsync协议,否则不能使用rsync进行同步。
http://mirrors.ustc.edu.cn/status/
CentOS官方标准源:rsync://mirrors.ustc.edu.cn/centos/
epel源:rsync://mirrors.ustc.edu.cn/epel/
同步命令:
# 使用rsync同步yum源,为了节省带宽、磁盘和下载时间,我只同步了CentOS6的rpm包,这样所有的rpm包只占用了21G,全部同步需要300G左右。
# 同步base源,小技巧,我们安装系统的光盘镜像含有部分rpm包,大概3G,这些就不用重新下载。
#创建四个目录,用于同步公网yum源
mkdir -p /application/yum/centos/6/os/x86_64/
mkdir -p /application/yum/centos/6/extras/x86_64/
mkdir -p /application/yum/centos/6/updates/x86_64/
mkdir -p /application/yum/epel/6/x86_64/
#下面四条命令,同时复制执行,就会开始同步官网yum源到本地。
1 /usr/bin/rsync -av rsync://mirrors.ustc.edu.cn/centos/6/os/x86_64/ /application/yum/centos/6/os/x86_64/
2 /usr/bin/rsync -av rsync://mirrors.ustc.edu.cn/centos/6/extras/x86_64/ /application/yum/centos/6/extras/x86_64/
3 /usr/bin/rsync -av rsync://mirrors.ustc.edu.cn/centos/6/updates/x86_64/ /application/yum/centos/6/updates/x86_64/
4 /usr/bin/rsync -av --exclude=debug rsync://mirrors.ustc.edu.cn/epel/6/x86_64/ /application/yum/epel/6/x86_64/

同步不支持rsync无所谓上游是什么情况,都可以

扩展:
之前总结的搭建本地 yum 源是通过 rsync 直接同步其他在线的 源,例如清华大学大 YUM 源,但是类似的阿里云的 源,因为其不支持 所以不能进行同步,

同样的,想要同步其他一些官方的YUM源,也要对方支持rsync才能支持同步,而有很希望安装的YUM源并不支持rsync,这样怎么办呢?

因上述原因我想到了另一种思路去同步“所有”我想同步的YUM源,并且搭建成本地可用的YUM源,下面记录下我的思路。

1、首先预备好一台nginx或者apacheserver来做本地的YUM源(我喜欢nginx),该操作可以去参考“YUM本地源搭建,且Rsync同步官方”的操作。

2、搭建好的本地YUMserver后,再下载想要同步YUM源的repo文件。

例如:

wget -O /etc/yum.repos.d/CentOS-Base.repohttp://mirrors.aliyun.com/repo/Centos-6.repo

3、安装几个工具,默认的centos是没有安装,yum installcreaterepo yum-utils -y

安装这两个工具主要使用createreporeposync这两个命令

4、上面的操作完毕后,执行命令yum repolist

例如:其中“仓库标识:中的名字是我们下面将要用到的

5、例如我想要把wmj作为本地YUM源(这是我在做Ambari + hadoop实验的yum源,因为该源可能被很多台hadoop datanode端用到所有,搭建本地yum源会节约大量的出口带宽

提高工作效率。)那么我执行如下命令行

[root@localhosttmp]# reposync -r wmj

如下开始自动更新yum源到本地文件夹


当然在这一步,我们可以参考下reposync的帮助,直接把想要同步的yum源直接定位到希望下载的某个目录,

例如使用参数-p

也可以使用-d来删除本地老旧,yum源已经不存的安装包。

6、当通过reposync命令同步yum源到想要指定的路径之下后,然后使用createrepo命令创对该路径下的rpm创建为本地的YUM仓库


6.1、到这里的时候,其实想要的yum本地仓库已经算是制作完毕,为了简化工作量,我们可以把上面的操作制作成bash脚本

思路如下:

reposync自动同步想要的yum源到指定的路径,因为每次同步后,内容可能有所改变,所以需要重新执行createrepo命令重新创建YUM仓库。

7、上面的操作完毕后,就是在client端制作repo文件并指向我们本地的YUM源了,因为我们同步YUM源的时候,可能会忽略掉对方的gpgkey,那么记得“gpgcheck=0

例子:

为方便日常工作,需要在本地搭建CentOS\EPEL\Ovirt等的本地yum源,根据一般网上文章步骤搭建的本地源基本上都缺少软件分组信息,无法使用yum group*的相关命令,在认真研究相关命令的文档的前提下,经过实践,整理形成完美的,基于reposync/createrepo命令的YUM本地源搭建过程,具体步骤如下:
一、上游源配置目录结构及信息如下:

1、目录结构如下:

/app/yumconfig/centos6

├── cache

├── log

├── yum.conf

└── yum.repos.d

└── Centos-6.repo

2、yum.conf的内容:
[main]
cachedir=/app/yumconfig/centos6/cache/yum/x86_64/6
keepcache=0
debuglevel=2
logfile=/app/yumconfig/centos6/log/yum.log
exactarch=1
obsoletes=0
gpgcheck=1
plugins=0
installonly_limit=3
reposdir=/app/yumconfig/centos6/yum.repos.d
3、Centos-6.repo的内容: (上游源为阿里云的软件源)
[base]
name=CentOS-6-Base-mirrors.aliyun.com
failovermethod=priority
baseurl=http://mirrors.aliyun.com/centos/6/os/x86_64/
gpgcheck=1
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-6

#releasedupdates
[updates]
name=CentOS-6-Updates-mirrors.aliyun.com
failovermethod=priority
baseurl=http://mirrors.aliyun.com/centos/6/updates/x86_64/
gpgcheck=1
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-6

#additionalpackagesthatmaybeuseful
[extras]
name=CentOS-6-Extras-mirrors.aliyun.com
failovermethod=priority
baseurl=http://mirrors.aliyun.com/centos/6/extras/x86_64/
gpgcheck=1
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-6

#additionalpackagesthatextendfunctionalityofexistingpackages
[centosplus]
name=CentOS-6-Plus-mirrors.aliyun.com
failovermethod=priority
baseurl=http://mirrors.aliyun.com/centos/6/centosplus/x86_64/
gpgcheck=1
enabled=1
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-6


二、同步脚本sync_centos6.sh的内容如下:
#!/bin/bash
#set -x
date=`date +%Y%m%d`
log_file="/app/log/sync_centos6.$date.log" #同步日志文件,请根据实际情况进行修改
echo "---- $Date `date` Begin ----" >>$log_file
cd /app/centos6 #本地软件源目目录,请根据实际情况进行修改
reposync -m -c /app/yumconfig/centos6/yum.conf -n>> $log_file 2>&1
#从上游源同频软件包及软件分组信息:
#-m选项指明需下载软件分组信息文件——comps.xml,
#-c选项指明上游源的配置文件
#-n选项指明只下载最新的软件包
for file in `ls `
do
if [ -d $file ]
then
if [ -f ./$file/comps.xml ]
then
createrepo -g comps.xml --update ./$file>> $log_file 2>&1 #如果存在comps.xml文件,则创建含软件分组信息的本地包索引信息
else
createrepo --update ./$file >> $log_file 2>&1
fi
fi
done
#createrepo ./ >> $log_file 2>&1
echo "---- $Date `date` End ----" >>$log_file

三、配置apache,通过http服务发布"/app/centos6"目录的本地源
发布时需注意目录文件的权限问题,建议执行:chown -R apache:apache /app/centos6命令,确保权限设置正确。





分类: linux 服务

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


用的openwrt路由器,家里宽带申请了动态公网ip,为了方便把2280端口映射到公网,发现经常被暴力破解,自己写了个临时封禁ip功能的脚本,实现5分钟内同一个ip登录密码错误10次就封禁这个ip5分钟,并且进行邮件通知使用步骤openwrt为19.07.03版本,其他版本没有测试过安装bashmsmtpopkg
#!/bin/bashcommand1&command2&wait从Shell脚本并行运行多个程序–杨河老李(kviccn.github.io)
1.先查出MAMP下面集成的PHP版本cd/Applications/MAMP/bin/phpls-ls 2.编辑修改.bash_profile文件(没有.bash_profile文件的情况下回自动创建)sudovim~/.bash_profile在文件的最后输入以下信息,然后保存退出exportPATH="/Applications/MAMP/bin/php/php7.2.20/b
1、先输入locale-a,查看一下现在已安装的语言2、若不存在如zh_CN之类的语言包,进行中文语言包装:apt-getinstalllanguage-pack-zh-hans3、安装好后我们可以进行临时修改:然后添加中文支持: locale-genzh_CN.UTF-8临时修改> export LC_ALL='zh_CN.utf8'> locale永久
BashPerlTclsyntaxdiff1.进制数表示Languagebinaryoctalhexadecimalbash2#[0~1]0[0~7]0x[0~f]or0X[0~f]perl0b[0~1]0[0~7]0x[0~f]tcl0b[0~1]0o[0~7]0x[0~f]bashdifferentbaserepresntationreference2.StringlengthLanguageStr
正常安装了k8s后,使用kubect工具后接的命令不能直接tab补全命令补全方法:yum-yinstallbash-completionsource/usr/share/bash-completion/bash_completionsource<(kubectlcompletionbash)echo"source<(kubectlcompletionbash)">>~/.bashrc 
参考这里启动jar包shell脚本修改过来的#!/bin/bash#默认应用名称defaultAppName='./gadmin'appName=''if[[$1&&$1!=0]]thenappName=$1elseappName=$defaultAppNamefiecho">>>>>>本次重启的应用:$appName<
#一个数字的行#!/bin/bashwhilereadlinedon=`echo$line|sed's/[^0-9]//g'|wc-L`if[$n-eq1]thenecho$linefidone<1.txt#日志切割归档#!/bin/bashcd/data/logslog=1.logmv_log(){[-f$1]&&mv$1$2
#文件增加内容#!/bin/bashn=0cat1.txt|whilereadlinedon=[$n+1]if[$n-eq5]thenecho$lineecho-e"#Thisisatestfile.\n#Testinsertlineintothisfile."elseecho$linefidone#备份/etc目录#
# su - oraclesu: /usr/bin/ksh: No such file or directory根据报错信息:显示无法找到文件 /usr/bin/ksh果然没有该文件,但是发现存在文件/bin/ksh,于是创建了一个软连接,可以规避问题,可以成功切换到用户下,但无法执行系统自带命令。$. .bash_profile-ksh: .: .b
history显示历史指令记录内容,下达历史纪录中的指令主要的使用方法如果你想禁用history,可以将HISTSIZE设置为0:#exportHISTSIZE=0使用HISTIGNORE忽略历史中的特定命令下面的例子,将忽略pwd、ls、ls-ltr等命令:#exportHISTIGNORE=”pwd:ls:ls-ltr:”使用HIS
一.命令历史  1.history环境变量:    HISTSIZE:输出的命令历史条数,如history的记录数    HISTFILESIZE:~/.bash_history保存的命令历史记录数    HISTFILLE:历史记录的文件路径    HISTCONTROL:     ignorespace:忽略以空格开头的命令
之前在网上看到很多师傅们总结的linux反弹shell的一些方法,为了更熟练的去运用这些技术,于是自己花精力查了很多资料去理解这些命令的含义,将研究的成果记录在这里,所谓的反弹shell,指的是我们在自己的机器上开启监听,然后在被攻击者的机器上发送连接请求去连接我们的机器,将被攻击者的she
BashOne-LinersExplained,PartI:Workingwithfileshttps://catonmat.net/bash-one-liners-explained-part-oneBashOne-LinersExplained,PartII:Workingwithstringshttps://catonmat.net/bash-one-liners-explained-part-twoBashOne-LinersExplained,PartII
Shell中变量的作用域:在当前Shell会话中使用,全局变量。在函数内部使用,局部变量。可以在其他Shell会话中使用,环境变量。局部变量:默认情况下函数内的变量也是全局变量#!/bin/bashfunctionfunc(){a=99}funcecho$a输出>>99为了让全局变量变成局部变量
1、多命令顺序执行;  命令1;命令2  多个命令顺序执行,命令之间没有任何逻辑联系&&  命令1&&命令2  逻辑与,当命令1正确执行,才会执行命令2||  命令1||命令2  逻辑或,当命令1执行不正确,才会执行命令2例如:ls;date;cd/home/lsx;pwd;who ddif=输入文件of=输
原博文使用Linux或者unix系统的同学可能都对#!这个符号并不陌生,但是你真的了解它吗?首先,这个符号(#!)的名称,叫做"Shebang"或者"Sha-bang"。Linux执行文件时发现这个格式,会把!后的内容提取出来拼接在脚本文件或路径之前,当作实际执行的命令。 Shebang这个符号通常在Unix系统的脚本
1、历史命令history[选项][历史命令保存文件]选项:-c:  清空历史命令-w:  把缓存中的历史命令写入历史命令保存文件 ~/.bash_historyvim/etc/profile中的Histsize可改存储历史命令数量历史命令的调用使用上、下箭头调用以前的历史命令使用“!n”重复执行第n条历史
目录1.Shell脚本规范2.Shell脚本执行3.Shell脚本变量3.1环境变量3.1.1自定义环境变量3.1.2显示与取消环境变量3.1.3环境变量初始化与对应文件的生效顺序3.2普通变量3.2.1定义本地变量3.2.2shell调用变量3.2.3grep调用变量3.2.4awk调用变量3.3
   http://www.voidcn.com/blog/wszzdanm/article/p-6145895.html命令功能:显示登录用户的信息命令格式:常用选项:举例:w显示已经登录的用户及正在进行的操作[root@localhost~]#w 11:22:01up4days,21:22, 3users, loadaverage:0.00,0.00,0.00USER