mongodb学习笔记系列一

一、简介和安装
    ./bin/mongod --dbpath /path/to/database --logpath /path/to/log --fork --port 27017
    mongodb非常的占磁盘空间, 刚启动后要占3-4G左右,--smallfiles
二、基本命令
    1、登录mongodb client
        /use/local/mongo
    2、查看当前数据库
        show databases;
        show dbs;
        两个可能
    3、admin是和管理有关的库，local 是放schema有关的内容，不要乱动
    4、切换到数据库
        use admin;
        show tables;
        或者
        show collections;
            admin下的表不要随便操作。
    5、db help查看数据库操作帮助命令
    6、创建数据库：mongo是隐式创建
        use shop;
    7、创建表[集合]
        db.createcollection('user');
    8、show dbs;
    9、查看表[集合]
        show collections
    10、插入数据
        db.user.insert({name:lisi,age:22});
    11、查看数据：db.user.find();
    12、db.user.insert(id:3,name:'hmm',hoby:['basketball','fottball'],intro:{title:'my intro'});
    13、collection也是不用显示创建的
    14、db.goods.insert(_id:1,name:'n1',price:133);
        由此可见不用显示创建collection
    15、删除collection
        db.user.drop();//删除集合user
    16、db.dropDatabase();//删除database;
三、CRUD操作
    1、增加单篇文档
        db.stu.insert({sn:001,name,'xiaoming'});
        覆盖默认ID
        db.stu.insert({_id:002,sn:002,name:'lisi'});
    2、批量插入
        db.stu.insert({_id:3,sn:003,name:guangyu},{_id:4,sn:004,name:zhangwei});
    3、插入无限制深度的文档
        db.stu.insert({name:x:'li',m:'shimin'},{jli:'xxx'})
    4、删除
        db.stu.remove({sn:001});
        删除sn为001的文档
    5、删除全部
        db.stu.remove();
    6、查询表达式是json对象
    7、继续删除
        db.stu.remove(gender:'m');
        db.stu.remove(gender:'m'，true);
        true限制只能删除一行
        
    8、错误的修改
        db.stu.update({name:'zhangsan'},{name:'lisi'});
        前一个表达式为想要修改的操作，后一个表达式表示要改成什么样。这个修改有问题，新文档直接替换旧文档，其他属性都不见了。
    9、正确的修改
        db.stu.update({name:'poxi'},{$set:{name:'yanpoxi'}});
        $set 修改
        $unset 重设 1-->true 0-->false
        $rename    重命名
        $inc 增长
        

        
        db.stu.update(
            {name:'wukong'},
            {
             $set:{name:'douzhanshengfo'},
             $unset:{jinggu:1},
             $rename:{set:gender},
             $inc:{age:2}
            }
            );
        
    
    10、multi 修改多行
            db.stu.update({
            {gender:'m'},
            {gender:'male'},
            {multi:1}
            })
    multiple表示可修改多行，不加只能修改匹配多行中的一行
    11、upsert $setonInsert
        db.stu.update(
            {name:'wuyong'},
            {$set:{name:'junshiwuyong'}}
            );
        如果没有wuyong这个人，那么将不做任何修改
        db.stu.update(
            {name:'wuyong'},
            {$set:{name:'junshiwuyong'}},
            {upsert:true}
            );
        如果添加upsert为true,那么自动插入
        但是这还是有问题，原来的字段会丢失
        这个时候需要upsert的setOnInsert
            db.stu.update(
            {name:'wuyong'},
            {$set:{name:'junshiwuyong'}},
            {upsert:true},
            {$setOnInsert:{gender:'male'}}//加上原来的字段
            );
    12、查询
        查询所有文档所有内容
        db.stu.find();
        查询所有文档的gender属性
        db.stu.find({},{gender:1})
        查询所有文档的gender属性，且不查询_id属性
        db.stu.find({},{gender:1,_id:0})

四：深入查询表达式
        1: 最简单的查询表达式
        {filed:value} ,是指查询field列的值为value的文档

        2: $ne --- != 查询表达式
        {field:{$nq:value}}
        作用--查filed列的值 不等于 value 的文档
           $gt--大于
               $lt--小于
           $lte小于等于
             $gte大于等于
        3: $nin --> not in
            {
                $nin
                [{cat_id:{$ne:30}},
                {cat_id:{$eq:300}}
                ]
            }

        4: $all
        语法: {field:{$all:[v1,v2..]}}
        是指取出 field列是一个数组,且至少包含 v1,v2值

        5、$or $and
            {
                $and:
                [{shop_price:{$gte:30}},
                {shop_price:{$lte:300}}
                ]
            }
            {
                $or
                [{shop_price:{$ne:30}},
                {shop_price:{$eq:300}}
                ]
            }
        6: $nor,
        {$nor,[条件1,条件2]}
        是指  所有条件都不满足的文档为真返回
        7、取模 $mod
            {
                goods_id:{$mode:[5,0]},
                
            },
            {
                goods_id:1,
                goods_name:1,
                _id:0
            }
        8、$exists 存在某一列则查出来
            {
                age:{$exists:1}
            },
            {
                goods_id:1,
                goods_name:1,
                _id:0
            }
        9、$type 按类型查询
            {
                age:{$type:2}
            }
          10、$where
            例: db.goods.find            ({$where:'this.cat_id != 3 && this.cat_id != 11'});
            直接将二进制数据转换为对象，对象的任何属性都可以导航得到、效率极低。不建议使用，好处是表达式可以写得很复杂和灵活
        11、用正则表达式查询 以”诺基亚”开头的商品
            例:db.goods.find({goods_name:/诺基亚.*/},{goods_name:1});
四、游标操作
        > var mycursor = db.bar.find({_id:{$lte:5}})
        > while(mycursor.hasNext()) {
        ... printjson(mycursor.next());
        ... }
五、用户管理
六、导入导出
七、副本集
    如果主服务器自动关掉
        rs.shutdownServer();
    会自动切换到别的服务器作为主服务器
    编写mongo副本集的自动化安装脚本：参考mongo副本集安装脚本.sh
八、分片
    分片配置
    1、启动两台mongo服务器
        mkdir -p /home/m17 /home/m18 /home/m20 /home/m30 /home/mlog
        mongd --dbpath /home/m17 --logpath /home/mlog/m17.log --fork --port 27017
        mongd --dbpath /home/m18 --logpath /home/mlog/m18.log --fork --port 27018
    2、配置configserver，管理meta信息
        mongd --dbpath /home/m20 --logpath /home/mlog/m20.log --fork --port 27020  --configserver
    3、配置一台mongo路由
        mongos --logpath /home/mlog/m30.log  --port 30000 --configdb 192.168.1.202:27020 --fork
    4、连接路由
        mongo --port 30000
    5、在路由节点增加片节点
        sh.addShard('192.168.10.202:27017')
        sh.addShard('192.168.10.202:27018')
    
    6、在路由节点查看路由状态，发现路由片节点信息
        sh.status();
    7、在路由节点插入数据
    8、路由节点有数据，发现17有数据，18没有数据。因为没有加入路由规则的原因
    9、sh.status 可以看到数据库，分区false，优先被放在shard0000
    10、针对数据库启用分片
        sh.enableShard('shard');
    11、sh.status 可以看到数据库shop，分区false，优先被放在shard0000
    12、添加分片的表
        sh.shardCollection(‘shop.goods’,{good_id:1});
        将good_id作为片键
    13、查看sh.status，可以看到现实目前分片信息先落在shard0001
    14、插入3W条数据
    15、查看sh.status ，看到数据都落在shard0001上
    16、再插入10W条数据，看到数据还是都落在shard0001上
    17、上面疑问的原因如下：
        
        mongodb不是从单篇文档的级别,绝对平均的散落在各个片上,

        而是N篇文档,形成一个块"chunk",
        优先放在某个片上,
        当这片上的chunk,比另一个片的chunk,区别比较大时, (>=3) ,会把本片上的chunk,移到另一个片上, 以chunk为单位,
        维护片之间的数据均衡

        问: 为什么插入了10万条数据,才2个chunk?
        答: 说明chunk比较大(默认是64M)
        在config数据库中,修改chunksize的值.

        问: 既然优先往某个片上插入,当chunk失衡时,再移动chunk,
        自然,随着数据的增多,shard的实例之间,有chunk来回移动的现象,这将带来什么问题?
        答: 服务器之间IO的增加,

        接上问: 能否我定义一个规则, 某N条数据形成1个块,预告分配M个chunk,
        M个chunk预告分配在不同片上.
        以后的数据直接入各自预分配好的chunk,不再来回移动?

        答: 能, 手动预先分片!
    18、在config数据库，修改chunk
        use config;
        show tables;
        db.settings.find();
        db.settings.save({_id:chunksize},{$set:{value:1}})
    19、查看分片信息
        sh.status();
    20、继续插入更多数据15W吧 50W也可以的
    21、查看分片信息
        sh.status();
    22、可以看到两台片节点的分片数量大致平衡


    手动预先分片：
        1、对shop库下的user表分片，片键为userid
        sh.shardingCollection('shop.user',{userid:1})
        2、sh.status();
        3、模拟：40个块每个块1000条数据
        4、定义规则
            for(var i = 1;i<=40;i++){
                sh.splitAt('shop.user',{userid:i*1000});        

            }
            这样将会有40个chunk,这些chunk会平均分布到各节点上，这样插入的时候就不会产生chunk频繁移动的现象了
        5、快速查看分片信息
            sh.status();
        6、插入4W条数据
            for(var i = 0;i<40000;i++){
                db.user.insert({userid:i,name:'nnnn hello'});
            }
        7、查看两个分片节点的总数据，各2W条数据
九、分片和副本集配合
    B--configserver
    C--副本集
    D--副本集
        1、分别创建副本集C、D，利用脚本自动化创建
        2、副本集C，D可以认为是一台机器，将分片节点设置到C、D的主节点即可
        3、配置configserver，管理meta信息
        mongd --dbpath /home/m20 --logpath /home/mlog/m20.log --fork --port 27020  --configsvr
        4、配置一台mongo路由
        mongos --logpath /home/mlog/m30.log  --port 30000 --configdb 192.168.1.202:27020 --fork
            
        5、在路由节点增加片节点
        sh.addShard('rs3/192.168.10.203:27017')#假设203的27017就是C的主节点
        sh.addShard('rs4/192.168.10.203:27018')#假设203的27017就是D的主节点
        6、添加需要分片的库
            sh.enableSharding('shop');
        7、添加需要分片的表
            sh.shardCollection('shop.user',{userid:1});
        8、手动分片测试
            sh.splitAt('shop.user',{userid:1000})#1千条数据拆分一下
            sh.splitAt('shop.user',{userid:2000})#两千条数据后拆分一下
            sh.splitAt('shop.user',{userid:3000})#3千条数据后拆分一下

        9、插入数据
            for(var i = 0;i<4000;i++){
                        
                    db.user.insert({    userid:i,intro:'i am lili'});

            }    
        10、查看两个副本集的数据量
            包括主节点和从节点
        11、移除某个分片
            use admin
            db.runCommand({removeShard:"rs2"})
        12、查询分片上的信息
            sh.status();
            可以看到被移除分片的数据移动到别的分片上
            并且被移除分片被标记上"draining" : true
        13、将移除的分片恢复
            db.shards.update({"_id" : "rs2"},{$unset:{draining:true}}, false, true)
            可以看到分片的数据移动到恢复的分片的上
        14、
十、网址转换项目
    1、功能说明
        *输入网址
        *点击变短
        *生成比较短的网址
        *如果已经存在短网址，提示已经存在
        *需要存储数据
            原网址        短网址
    2、短网址生成
    3、PHP连接mongodb编译扩展