ubuntu16.04+cuda8.0+cudnn5.1+caffe 安装基于独立主机&集成显卡&GTX1080Ti

最近开始配置自己的深度学习主机,由于之前只在笔记本上和单显卡主机上安装过,所以可以说是zero经验,以至于很多问题不了解都当成了bug,故为了方便以后的自己以及大众,特在此写下post一篇。(由于可能会有很多的问题我没有遇到但各位可能遇到,故在文末贴出其他的安装链接,请自取)

~~~~~~~~~~~~~~~~~~~~华丽丽分割线~~~~~~~~~~~~~~~~~~~~

一、ubuntu16.04安装

1.首先当然是系统盘的制作,这个不作赘言,一般使用 UltraISO,具体度娘会告诉你;

2.紧接着就是安装,如何安装,如何分区,度娘也会一一告知,此处就说几个不同之处:

1)首先,带有独立显卡的主机,通常有独显输出和集显输出两种端口,而独显是需要安装驱动才可以使用的,所以最初装系统的时候需要使用集显输出的端口,否则你可能完全进不去安装界面

2)其次,在BOOT界面选择启动项的时候,对U盘启动会出现两个选项,第一个带有前缀UEFI,另一个这没有。这是因为现在的主板驱动一般有 BIOS 和 UEFI 两种,虽说 UEFI 是BIOS 的继任者,但 BIOS 才用起来 更加顺手。更重要的是在用UEFI模式进行ubuntu16.04安装的时候,在安装后期会出现bug中断,具体什么不记得了,与grub有关,会导致系统无法启动,而这与UEFI有莫大的关系,所以安全起见,选后不带UEFI前缀的,也就是BIOS模式进行系统安装;

3)ubuntu16.04 安装好之后,启动可能会出现 grub rescue 故障,找不到 normal.mod,这可以通过我的另一篇 post 解决,附上解救指南:ubuntu系统下grub rescue故障恢复

3.至此,ubuntu16.04 算是安装完毕,第一次撒花o(∩_∩)o

注:需要注意的是,目前我们也一直在使用集成显卡输出!且直到安装好nvidia驱动重启都要一直使用集成显卡输出!!!


二、各种依赖环境安装:

sudo apt-get update

sudo apt-get upgrade

sudo apt-get install -y build-essential cmake git pkg-config

sudo apt-get install -y libprotobuf-dev libleveldb-dev libsnappy-dev libhdf5-serial-dev protobuf-compiler

sudo apt-get install -y libatlas-base-dev 

sudo apt-get install -y --no-install-recommends libboost-all-dev

sudo apt-get install -y libgflags-dev libgoogle-glog-dev liblmdb-dev

# (Python general)
sudo apt-get install -y python-pip

# (Python 2.7 development files)
sudo apt-get install -y python-dev
sudo apt-get install -y python-numpy python-scipy

# (or,Python 3.5 development files)
sudo apt-get install -y python3-dev
sudo apt-get install -y python3-numpy python3-scipy
 
# (OpenCV 2.4)
sudo apt-get install -y libopencv-dev

(or,OpenCV 3.X - see other blogs in the end of the post)

以上是caffe官方安装指南的内容,亲测好用无疑,其实文末的caffe官方安装指南还是很不多错的指南,只是在nvidia驱动、cuda、cudnn、open3.x方面很不足(貌似这些都是重点内容,结果都被caffe官方文档屏蔽了,手动滑稽(*^__^*) )

注:在upgrade时,可能会提起缺少fireware,这个不是大问题,直接上网下载相应版本的固件安装即可


三、Nvidia驱动+cuda安装

写在安装前:

1)其实在cuda的安装中会涉及到nvidia驱动的安装,但是屡次尝试,总是会出现kernel souce的error,所以,还是提前安装为好。

2)安装nvidia驱动需要在命令行模式下,但有时可能会出现无法进入命令行或者进入命令行黑屏及显示nouveau相关的error提示,这是可通过以下的改动进行修复,重启后可能会出现屏幕显示非常延迟卡顿的现象,这正常,因为我们把显示驱动修改了。不过建议把需要的nvidia驱动、cuda和cudnn都下载好后再进行处理,否则如此卡顿会很忧伤的o(∩_∩)o

sudo gedit /etc/default/grub

# set GRUB_CMDLINE_LINUX_DEFAULT = "quiet splash nomodeset"

sudo update-grub

sudo reboot
1.下载需要的nvidia驱动程序(下载最新的即可),附上飞行链接:NVIDIA驱动程序下载

2.下载需要的cuda程序,下载runfile版本的,同样附上飞行链接:CUDA下载

2.卸载之前安装的nvidia驱动程序,新安装的系统不需要的这一步,但依旧写在此以告后人,因为nvidia驱动重复安装会出现循环登录无法进入系统的问题,或者反过来说,循环登录无法进入系统一般都是由于显卡驱动出现问题导致的,卸载后重新安装即可(如何卸载重装

sudo apt-get remove –purge nvidia*
3.禁用nouveau,其实这一步可能并不需要,因为在厂商安装的原始系统中并没有相关文件,我想可能是因为我们的集成显卡和独立显卡分别有各自的输出端口,可以自主插拔选择显示使用的显卡,而在笔记本等上面,两种显卡是同时连接的,故需要进行禁用:
sudo gedit /etc/modprobe.d/blacklist-nouveau.conf

# add blacklist nouveau option nouveau modeset=0 

sudo update-initramfs -u

再配置环境

sudo gedit ~/.bashrc

# add the following two lines
    export LD_LIBRARY_PATH=/usr/lib/x86_64-linux-gnu:$LD_LIBRARY_PATH
    export LD_LIBRARY_PATH=/lib/x86_64-linux-gnu:$LD_LIBRARY_PATH 

source ~/.bashrc
4.开始正式安装驱动

1)进入命令行模式(Ctrl+Alt+F1),并关闭桌面

sudo service lightdm stop
2) 进入驱动文件所在目录,修改文件权限(可选),然后执行文件
sudo chmod a+x NVIDIA-Linux-x86_64-375.26.run  # optional

sudo bash ./NVIDIA-Linux-x86_64-375.26.run
3)安装过程中开始会提示一个预安装script安装失败,问你要continue 还是abort,点击 continue就行,不用管。

5.进入cuda安装文件的文件夹,安装cuda

sudo sh cuda_8.0.61_375.26_linux.run
1)在选择是否安装nvidia驱动时,选‘n’,因为我们已经安装好了

2)在选择安装cuda samples,选 ‘n’,因为不需要

3)其余选项选择‘y’,或默认就行了

4)安装成功后,关机(命令为 shutdown -h now),更换显示输出端口为独立显卡的输出端后再启动;此处如果直接重启(sudo reboot)的话,由于未更换显示输出端口,而原驱动被禁用等原因,会出现循环登录的情况,此时强行关机再更换显示输出端口即可。

6.启动后配置cuda环境变量

1)一般配置此步即可,但有时会出现问题,可以选择用root用户进行编辑,也可以尝试后两步

gedit ~/.bashrc  # if can't edit,add sudo before

# add the two lines following
    export PATH=/usr/local/cuda/bin:$PATH
    export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH

# cuda can change as cuda-8.0 specifically

source ~/.bashrc  # MUST source

2)

sudo gedit /etc/ld.so.conf.d/cuda.conf

# add the two lines following
    /usr/local/cuda/lib64
    /lib

sudo ldconfig -v
3)
sudo gedit /etc/profile  

# add following two lines
    PATH=/usr/local/cuda/bin:$PATH  #  不能有空格!! 
    export PATH  

source /etc/profile

7.验证是否安装成功:

cd /usr/local/cuda-8.0/samples/1_Utilities/deviceQuery

sudo make

./deviceQuery


四、安装cudnn

1.下载对应cuda版本的cudnn,可以去官网下载,需要注册;不想注册的可以从网盘下载,网盘有5.1和6.0,建议下载cudnn 6.0(tensorflow要求6.0);也可以用下面的命令行下载:

wget http://developer.download.nvidia.com/compute/redist/cudnn/v6.0/cudnn-8.0-linux-x64-v6.0.tgz

2.下载后解压,得到cuda文件夹,里面有include和lib64两个子文件夹

3.进入include子文件夹

sudo cp cudnn.h /usr/local/cuda/include/  # 复制头文件到之前安装的cuda目录

4.进入lib64子文件夹,可以图形界面进入看清楚版本号,方便后期修改

sudo cp lib* /usr/local/cuda/lib64/  # 复制动态链接库到之前安装的cuda目录,注意查看

5.重新生成软链接

cd /usr/local/cuda/lib64/sudo rm -rf libcudnn.so libcudnn.so.x  # 删除原有动态文件,版本号注意变化,可在cudnn的lib64文件夹中查看

sudo ln -s libcudnn.so.x.x.x libcudnn.so.x  # 生成软衔接,具体看cudnn的lib64中为什么版本,注意变化

sudo ln -s libcudnn.so.x libcudnn.so  # 生成软链接

sudo ldconfig -v
6.验证安装cudnn后cuda是否依旧可用
nvcc --version  # or nvcc -V


五、安装caffe

1.下载caffe,此处下载caffe-master源码,并解压至任何地方即可;

2.进入caffe根目录,进行配置,文件中对每项设置都有注释,看看基本能懂

sudo cp Makefile.config.example Makefile.config

sudo gedit ./Makefile.config
配置好后,Makefile.config会包含以下有效内容
USE_CUDNN := 1
CUDA_DIR := /usr/local/cuda    # or cuda-8.0
CUDA_ARCH := -gencode arch=compute_20,code=sm_20 \
        -gencode arch=compute_20,code=sm_21 \
        -gencode arch=compute_30,code=sm_30 \
        -gencode arch=compute_35,code=sm_35 \
        -gencode arch=compute_50,code=sm_50 \
        -gencode arch=compute_52,code=sm_52 \
        -gencode arch=compute_60,code=sm_60 \
        -gencode arch=compute_61,code=sm_61 \
        -gencode arch=compute_61,code=compute_61
BLAS := atlas
PYTHON_INCLUDE := /usr/include/python2.7 \
                /usr/lib/python2.7/dist-packages/numpy/core/include \
                /usr/local/lib/python2.7/dist-packages/numpy/core/include
PYTHON_LIB := /usr/lib
WITH_PYTHON_LAYER := 1
INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial/
LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/lib/x86_64-linux-gnu/usr/lib/x86_64-linux-gnu/hdf5/serial/
BUILD_DIR := build
DISTRIBUTE_DIR := distribute
TEST_GPUID := 0
Q ?= @
3.进一步更改配置
sudo gedit ./Makefile

# replace this line
    NVCCFLAGS += -ccbin=$(CXX) -Xcompiler -fPIC $(COMMON_FLAGS)
# with the following line
    NVCCFLAGS += -D_FORCE_INLINES -ccbin=$(CXX) -Xcompiler -fPIC $(COMMON_FLAGS)
并打开CMakelists.txt添加一下内容
# ---[ Includes
set(${CMAKE_CXX_FLAGS} "-D_FORCE_INLINES ${CMAKE_CXX_FLAGS}")
4.为hdf5添加软连接,ubuntu16.04的某些升级之后,此步不再需要,但安全起见依然进行
cd /usr/lib/x86_64-linux-gnu

sudo ln -s libhdf5_serial.so.10.1.0 libhdf5.so  # 源文件的版本可能有所不同,可进入文件夹进行查看后再确定

sudo ln -s libhdf5_serial_hl.so.10.0.2 libhdf5_hl.so 
5.安装需要的python模块,先进入caffe根目录(可以以root用户运行,避免出现一些权限问题)
cd python

for req in $(cat requirements.txt); do pip install $req; done
如果有任何问题,可以再次执行以下命令
for req in $(cat requirements.txt); do sudo -H pip install $req --upgrade; done
6.开始正式编译caffe
make all -j8
7.编译成功后,进行验证,没有错误即安装成功,大大地撒花o(∩_∩)o
make runtest -j8
注:有的时候可能会出现找不到cuda相关的文件,可以直接进入cuda安装目录进行确认,一般都是存在的,可能是环境没有配置好,可以使用root用户重新配置环境并用root用户运行runtest,或者重启,一般都不会有大问题


六、编译其他结构

可以编译caffe的matlab和python接口,此处我们只编译python接口

1.直接进入caffe根目录,编译pycaffe

make pycaffe -j8
2.配置环境
sudo gedit ~/.bashrc

# add the following line
export PYTHONPATH=/path/to/caffe-master/python:$PYTHONPATH

source ~/.bashrc
3.测试pycaffe
python

>>> import caffe    # 不报错即安装成功
注:如果提示找不到caffe,可以尝试用root用户配置环境,并用root用户执行;或者今后在写代码的时候,每次都直接将caffe的路径加入即可,只要caffe安装成功了,其他都是小问题
import sys

sys.path.append('/path/to/caffe-master/python')

import caffe
4.最后,可以安装jupyter神器
sudo pip install jupyter

# 命令终端输入以下语句即可使用
jupyter notebook


~~~~~~~~~~~~~~~~~~~~~~华丽丽分割线~~~~~~~~~~~~~~~~~~~~

参考:

1.Ubuntu 16.04 or 15.10 Installation Guide:https://github.com/BVLC/caffe/wiki/Ubuntu-16.04-or-15.10-Installation-Guide#the-gpu-support-prerequisites

2.Install caffe-GPU on Ubuntu-16.04:http://gear.github.io/2017-03-30-caffe-gpu-installation/
3.Ubuntu16.04 Caffe 安装步骤记录(超详尽)http://blog.csdn.net/yhaolpz/article/details/71375762

4.Ubuntu16.04+CUDA8.0+cudnn7.5+Caffe安装过程:http://www.jb51.cc/article/p-ccblelec-ys.html

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


文章浏览阅读2.3k次,点赞4次,收藏22次。最近安装了CARLA预编译版,总体过程感觉还是挺简单的,但是由于在网上找的参考资料并没有和自己遇到的情况完全一样的,所以把自己的安装过程记录下来,方便和自己一样的后来人进行安装,同时也自己作个记录留作备忘。其实预编译版的CARLA本身几乎不用什么命令行进行安装,主要步骤只有解压缩和拷贝文件,和极少的命令行安装操作。但是相关依赖以及其它的CARLA所使用的一些工具需要一起安装好,下面一起来看看安装步骤吧。_ubuntu22.04安装carla
文章浏览阅读6.3k次,点赞5次,收藏15次。在清华镜像中下载Ubuntu 20 安装包_ubuntu20下载
文章浏览阅读5k次。linux环境, python3.7.问题描述: 安装rally, pip3 install -r requirements.txt 时提示如下: 说明openssl 已安装。解决:1. pip3 install --upgrade pip , 结果输出如下 ..._error: command '/usr/bin/gcc' failed with exit code 1
文章浏览阅读1.1k次。自己刚踩坑装好的W11 WSL2 miniconda_wsl2 cuda
文章浏览阅读4.2k次,点赞4次,收藏17次。要安装这个 standalone的,会有一点区别(不识别 下面的 -localhost no)上面的命令会在~/.vnc/目录下生成一个 passwd文件。具体端口号,可以查看vncserver -list返回结果中的RFB PROT。作用是vncserver启动的时候运行这些命令,把桌面程序启动起来。如果希望用某个用户比如 demo登录,就用su切换到这个用户。桌面版默认就已安装,服务器版需要手动安装,并启动。关闭某个会话可以用下面的命令。远程地址输入ip:port。查看全部的vnc会话。_ubuntu vncserver
文章浏览阅读894次,点赞51次,收藏31次。在安卓使用vscode主要是连接一个远程的code-server服务,code-server服务安装在什么系统,调用的就是什么系统的环境,如这里使用ubuntu进行安装code-server,那使用的就是ubuntu环境,如需要go,python,java开发,需要在Ubuntu安装相关环境,创建的文件夹和项目也是在Ubuntu里面.这种方式其实在访问vscode的时候利于可以随时随地进行连接使用,且不受设备影响。
安装Ubuntu上超好用的终端Terminator。通过添加软件源、更新源、安装Terminator等步骤完成。
文章浏览阅读1.1k次,点赞83次,收藏74次。不要嫌弃Ubuntu的单调的终端界面啦,快来试试这些有意思的命令_ubuntu系统有趣的玩法
文章浏览阅读2.5k次。在ubuntu系统中,swap空间就是虚拟内存,所以考虑在磁盘空间富余的目录下设置虚拟内存swap文件,用来缓解内存不足的问题。通过上面的信息可以看到,/dev/vda2 目录下还剩余45G,那么就可以把swap文件生成在/dev/vda2目录下。在系统监控中发现,当数据库服务程序启动后,占用了大量内存空间,导致系统的剩余的内存往往只有几十MB。# bs 为块的大小,count 创建多少个块。# 执行命令后,删除创建的swap目录即可。#把生成的文件转换成 Swap 文件。2、创建一个swap文件。_ubuntu20修改swap大小
文章浏览阅读2.9k次,点赞2次,收藏10次。记录RV1126的SDK编译错误,以及解决处理_command exited with non-zero status 1
文章浏览阅读1.1w次,点赞22次,收藏101次。【记录】ubuntu20.04安装nvidia显卡驱动_ubuntu20.04安装nvidia显卡驱动
文章浏览阅读727次,点赞6次,收藏27次。在嵌入式Linux开发过程中,可能遇到uboot无法通过nfs服务从Ubuntu下载系统镜像(TTTTTT)的问题。如果你使用的是较新版本的Ubuntu,那么其**默认内核将不支持nfs2**!而**uboot仅支持到nfs2**,因此我们需要修改系统内核以及nfs配置文件,开启nfs2服务。**此问题非常棘手**,因为问题出现的时间太近,并且使用的人少。由于是2023年后才出现的问题,**chatgpt也无法解答**!本文参考网络上多篇博客资料,是解决此问题的最新办法。
ubuntu系统下安装软件的方法有多种,包括使用apt工具、deb软件包安装、源码编译安装以及通过软件中心安装。还有一种以 .run 后缀的软件包也可以在ubuntu系统下安装。具体的安装方法可以通过百度搜索来获取。
文章浏览阅读814次。本篇目的:Xubuntu如何安装pkg-configpkg-config是一个计算机软件包,用于帮助开发人员查找、定位和使用依赖库。它通常用于构建软件时,开发人员需要指定程序所依赖的外部库的位置和版本信息。使用pkg-config,开发人员可以很容易地查找、检索和导出这些依赖库的信息,从而简化了软件的构建过程。_ubuntu中怎么下载pkg-config
文章浏览阅读2k次。ubuntu创建共享文件夹_ubuntu20.04共享文件夹
文章浏览阅读2.9k次,点赞74次,收藏73次。对于有长期远程桌面需求的用户,建议将cpolar套餐升级到专业套餐,支持配置固定的公网TCP端口,且带宽也会相应的增大,支持更高效便捷的远程桌面连接Ubuntu系统。【cpolar内网穿透支持http/https/tcp协议,支持永久免费使用,不限制流量,无需公网IP,也不用进入路由器设置,操作简单。隧道创建成功后,点击左侧仪表盘的状态——在线隧道列表,查看xrdp隧道的所生成的公网TCP端口地址,复制下来。,使用cpolar内网穿透映射3389端口,生成公网TCP端口地址,实现在公网环境下,_ubuntu 局域网桌面
文章浏览阅读3.2k次。而在linux的ubuntu版本中,又多出两类用户:安装ubuntu系统的源用户xxx,其与root具有相同权限,仅在执行命令时,前面加sudo。在ubuntu中,用命令deluser username可以直接删除用户账号及家目录,而用centos7中的命令userdel -r username才能达到同样目的。在ubuntu中,没有moduser命令,centos7中的usermod修改用户信息的命令,同样可以用在ubuntu中。在系统中,创建新的用户或称为账号,一般需要多步操作。_ubuntu创建一个新用户
文章浏览阅读1.6w次,点赞4次,收藏23次。系统的许多日志文件都存储在 /var/log 目录中。你可以使用 ls /var/log 命令来列出可用的日志文件。/var/log/Xorg.0.log:包含 X 服务器的日志信息(图形界面)。打开DASH,搜索日志或者log,打开app,这个是/var/log的界面版。这将显示系统日志的末尾,并提供有关系统崩溃和错误的信息。/var/log/kern.log:包含内核日志信息。/var/log/dmesg:包含开机时的日志信息。/var/log/syslog:包含系统日志信息。_ubuntu查看系统日志
文章浏览阅读857次。首先将source.list复制为source.list.bak备份,然后将source.list内容改为需要的镜像源列表即可。Ubuntu采用apt作为软件安装工具,其镜像源列表记录在/etc/apt/source.list文件中。本节均为 Ubuntu 20.04 的镜像源列表。若为其他版本,将所有focal更改为其他版本代号即可。_apt 国内源