700字范文,内容丰富有趣,生活中的好帮手!
700字范文 > sqoop遇到mysql字段为保留字_关于在sqoop 导出数据到mysql数据库的过程对于空字符的处理。...

sqoop遇到mysql字段为保留字_关于在sqoop 导出数据到mysql数据库的过程对于空字符的处理。...

时间:2019-11-14 13:50:21

相关推荐

sqoop遇到mysql字段为保留字_关于在sqoop 导出数据到mysql数据库的过程对于空字符的处理。...

今天在做sqoop的导入和导出的操作。在导出数据到mysql数据库的时候一直有问题,在导入空字段的时候就出现下面这个错误。

WARNhdfs.DFSClient:Caughtexception

java.lang.InterruptedException

atjava.lang.Object.wait(NativeMethod)

atjava.lang.Thread.join(Thread.java:1281)

atjava.lang.Thread.join(Thread.java:1355)

atorg.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.closeResponder(DFSOutputStream.java:967)

atorg.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.endBlock(DFSOutputStream.java:705)

atorg.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:894)

18/09/0512:02:12INFOinput.FileInputFormat:Totalinputpathstoprocess:1

18/09/0512:02:12INFOinput.FileInputFormat:Totalinputpathstoprocess:1

GXG/9/512:30:34

ERRORtool.ExportTool:Errorduringexport:

Exportjobfailed!

atorg.apache.sqoop.mapreduce.ExportJobBase.runExport(ExportJobBase.java:439)

atorg.apache.sqoop.manager.SqlManager.exportTable(SqlManager.java:931)

atorg.apache.sqoop.tool.ExportTool.exportTable(ExportTool.java:80)

atorg.apache.sqoop.tool.ExportTool.run(ExportTool.java:99)

atorg.apache.sqoop.Sqoop.run(Sqoop.java:147)

atorg.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)

atorg.apache.sqoop.Sqoop.runSqoop(Sqoop.java:183)

atorg.apache.sqoop.Sqoop.runTool(Sqoop.java:234)

atorg.apache.sqoop.Sqoop.runTool(Sqoop.java:243)

atorg.apache.sqoop.Sqoop.main(Sqoop.java:252)

然后发现在hive表当中的数据是为空的。而且没有指定对空字符进行操作。所以导致拿不到这个字段。最后在对string类型的数据进行处理之后顺利的导入数据库:

--input-null-string '\\N'\--input-null-non-string '\\N' \

对sqoop的脚本加上这段代码就可以实现对数据的导入。具体的sqoop脚本如下:

sqoop export \--connect jdbc:mysql://172.16.230.138/report \

--username u_report \--password 1234 \--table middle_table1 \--export-dir /user/hive/warehouse/middle_table_copy/*\

--input-null-string '\\N' \

--input-null-non-string '\\N' \

--input-fields-terminated-by '\t'

至此问题得到解决。数据顺利的导入到关系型数据库mysql当中。

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。