Nosql数据库总结

Nosql概述
为什么要用Nosql而不是关系型数据库？
大数据时代（一般的数据库无法进行分析处理）

• 单机MysqL时代
  

  

  
  一个基本网站访问量不大，单个数据库完全足够，静态网页html=>服务器没有太大的压力
  这种情况下，网站瓶颈是什么

1. 数据量如果太大，一台机器放不下
2. 数据索引 单表超过300万一定要建立索引，MysqL（B+ tree索引）台打，一个机器也放不下
3. 访问量（读写混合），一个服务器承受不了

只要发生三种情况之一，一定要改进

• 缓存时代 Memcached+MysqL+垂直拆分（读写分离，主从复制）==>解决读的问题
  优化MysqL底层数据结构和索引 ----> 文件索引（IO） ----> 缓存Memcached
  网站80%都在执行读操作，每次查询数据库都会十分麻烦，希望减轻数据的压力，我们可以使用缓存来保证效率
  

  

• 表分区（没有大量使用）

• 分库分表+水平拆分（MysqL集群）==>使用分库分表解决写的压力

• 如今数据量很多，变化很快，MysqL等关系型数据库不够用了

新型数据库==>图形数据库，Json数据库
使用MysqL数据库存储图片，文件等大型数据，数据库表就会很大，效率就低了
如果有一种数据专门处理大型数据，那么MysqL的压力就会变小，大数据的IO压力下，表几乎无法更改（一亿条数据增加一列 非常难办！）
灰度发布：平滑升级

互联网基本架构模型

本质：数据库（读，写）
MyISAM：表锁（查询一个数据需要锁定整个表）==>影响效率，高并发下出现严重问题
Innodb：行锁（查询一个数据只需锁定一行）

为什么要用Nosql？
用户的个人信息，社交网络，地理位置，用户自己产生的数据，用户日志等爆发式增长
关系型数据库达到瓶颈，使用Nosql可以很好的处理这种情况

Nosql=Not Only sql(不仅仅是sql)泛指非关系型数据库，随着WEB2.0互联网的诞生，传统的关系型数据库很难对付（尤其是大规模高并发的社区）
关系型数据库：表格（行和列来记录）（POI使用java操作Excel）
Nosql数据库：没有固定的格式，拓扑图（动态发展），不需要多于操作就可以横向扩展, Map<String,Object>

Nosql特点

• 方便扩展（数据之前没有关系，很好扩展！） 解耦
• 大数据量高性能（Redis一秒可以写8w次，读取11w次，Nosql的缓存记录，是一种细粒度的缓存，性能会比较高）
• 数据类型多样型（八种类型），不需要设计数据库，随取随用（如果数据量大很多人就无法设计）

传统RDBMS

1. 结构化组织
2. sql
3. 数据和sql都存在单独的表中 row col
4. 操作数据的操作，数据定义语言
5. 严格的一致性
6. 基础的事务

Nosql

1. 不仅仅是数据
2. 没有固定的查询语言
3. 键值对存储，列数据（Hbase），文档存储（Mongodb），图形数据库存储
4. 最终一致性
5. CAP定理和BASE理论（异地多活）
6. 高性能，高可用，高扩展

大数据时代的3V+3高

Nosql+关系型数据库一起使用

阿里巴巴演进分析

商品基本信息：MysqL
商品描述：mongodb
图片：分布式文件系统Hdfs
搜索：搜索引擎elasticserach，ISearch
热门波段信息：内存数据库（Redis，memache）
商品交易：三方应用

出现问题

• 数据类型太多
• 数据源太多
• 经常重构
• 数据改造，大面积改造

统一数据服务层UDSL,类似JDBC屏蔽了数据库的差异

Nosql四大分类

1. KV键值对存储
   Map<String,Object>
   新浪：Redis
   美团：Redis+Tair
   阿里，百度：Redis+Memache

2. 文档型数据库（bson（类似于json））

• 必须掌握 MongoDB：一个基于分布式文件存储的数据库，C++编写，主要用于处理大量文档
• MongDB是一个介于关系型数据库和非关系型数据库的中间产品，是Nosql非关系型数据库中功能最丰富，最像关系型数据库的

3. 列存储数据库（HBase，分布式文件系统）

4. 图形关系数据库（社交拓扑图）

• 存放的是关系而不是图形
• Neo4j