hive表查询mongo怎么解决认证

mongodb 集群模式是 sharding + Replicate Set  模式之前是没用开啟用户认证的,而且hive表 服务之前的抽数一直正常最近把集群的重启开启认证后,hive表 服务抽数一直失败

mongodb 在没有开启认证中心的时候,任哬登陆都拥有最高的权限对任何库都拥有读写操作权限。开启认证后用户只拥有之前建立用户时所分配的权限,hive表 服务在抽数过程中會读取 mongodb 集群 的config 库的信息mongodb 单机模式是没有config 这个库的。所以mongodb 集群模式在分配hive表 抽数用户时要分配config库的读取权限

1、重新添加用户,指定risk、config库讀取权限

利用MongoDB的SplitVector命令实现并发数据迁移授权给该用户

数据迁移是数据库运维中一个很常见的场景。数据迁移分为全量和增量为了追求速度,通常我们会采用并发的方式对数据进行全量迁移在全量导出数据时,通常都会选择做到记录级的并发因此通常会涉及到对需要導出的某个表(集合)按照并发度进行切分(分区)的过程。事实上MongoDB还有一个SplitVector命令特别适合用来做集合的分区

}

上一篇文章主要介绍了mongodb-based通过直連mongodb的方式进行数据映射来进行数据查询,但是那种方式会对线上的数据库产生影响所以今天介绍第二种方式—BSON-based,即使用mongoexport将所需要的表导絀到本地文件文件个是默认为bson。然后将导出的bson文件put到HDFS文件系统里面最后在hive表里面创建相应的表来使用hive表

使用mongoexport命令,导出所需要的collection或字段常用的命令如下:

}

我要回帖

更多关于 hive表 的文章

更多推荐

版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。

点击添加站长微信