700字范文,内容丰富有趣,生活中的好帮手!
700字范文 > org.apache.hadoop.security.AccessControlException: Permission denied

org.apache.hadoop.security.AccessControlException: Permission denied

时间:2024-01-10 09:16:00

相关推荐

org.apache.hadoop.security.AccessControlException: Permission denied

在测试往hive表中插入数据时报以下权限问题:

org.apache.hadoop.security.AccessControlException: Permission denied:user=hive, access=WRITE, inode="/app/.../test_table/_SUCCESS":Administrator:hadoop:-rw-r--r--

at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.java:353)

at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:252)

at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:190)

at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:1950)

at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:1934)

at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPathAccess(FSDirectory.java:1908)

at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.startFileInternal(FSNamesystem.java:2761)

at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.startFileInt(FSNamesystem.java:2702)

at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.startFile(FSNamesystem.java:2586)

at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.create(NameNodeRpcServer.java:736)

at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.create(ClientNamenodeProtocolServerSideTranslatorPB.java:409)

at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)

at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:640)

at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:982)

at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2351)

at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2347)

at java.security.AccessController.doPrivileged(Native Method)

at javax.security.auth.Subject.doAs(Subject.java:422)

at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1869)

at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2347)

(读写时遇到读写问题一定要仔细阅读报错信息,可能解决方法甚至出现问题的原因都可以从日志中获取到)

上面的日志信息说明在访问inode节点的数据文件时权限受限(我这里是访问hive数仓报的权限问题),然后在仔细看日志信息可以看到hive账户有写权限,但是当前访问的账户是Administrator。Administrator账户一般是windows的默认账户名,所以我的情况是本地起的程序默认账户是Administrator,所以不能去写hdfs文件系统中需要hive账户才能操作的文件。这里解决思路有两个,一个是修改hdfs文件系统中该文件的访问账户限制。另一个则是清空指定路径下的所有文件(即变相的清空表中数据,但比清空表数据更彻底)。这样无论什么账户在指定的路径下都可以重新生成文件。因为表中数据是测试数据,我采用了第二种方式,直接删除了指定路径下的所有文件。这样本地测试就可以了。

(第二种解决方式还有一个弊端,就是再用hive账户增删改表中数据时又会报权限问题,这个时候还得再删一遍,因为这个时候的数据文件默认账户是Administrator)

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。