代码之家  ›  专栏  ›  技术社区  ›  chEn

配置单元无法创建map/reduce作业

  •  1
  • chEn  · 技术社区  · 11 年前

    我使用了hive-0.11.0、hadoop2.0.3和mysql5.6作为元数据

    我可以成功地运行SELECT*FROM记录这样的语句,它不会创建map/reduce任务。

    但是当我尝试运行SELECT*FROM记录,其中year='1949'时,map/reduce任务总是会出现一些错误

    hadoop给我诊断:
    应用程序Application_1382680612829_0136失败1次,原因是apptemppt_138268061829_0136_00001的AM容器退出,exitCode:-1000,原因是:java.io.FileNotFoundException:org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFile System.java:492)在org.apache.hodoop.fs.FileSystem.primitiveMkdir中不存在文件/tmp/hadop hadoop/nm localdir/filecache(FileSystem.java:996)位于org.apache.hadop.fs.DegateToFileSystem.mkdir(DelegateToFile System.java:150),位于org.apache.Hadop.fs.FilterFs.mkdir(FilterFs.java:187),位于org.apache.hadop.f.FileContext$4.next(FileContext.java:730),位于org.apache.Hadop.fs。FileContext$4.nextorg.apache.hadop.yarn.util.FSDownload.createDir(FSDownload.java:88),位于org.apache.hadap.yarn.util.FSDDownload.call(FSDownload.java:274),位于java.util.concurrent.FsTask.run(FutureTask.java:138)在java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:441),位于java.util.coccurrent.FutureTask$Sync.innerRun(FutureTask.java:303),位于java.util.concurrent.FutreTask.run(线程.java:662)。尝试失败。。应用程序失败。

    我该怎么办?谢谢

    1 回复  |  直到 11 年前
        1
  •  1
  •   emecas    11 年前

    总之,作为他们建议的创建父文件夹的解决方案,还有一个补丁应该在2.0.3版本中修复 [1]

    Tom White添加了一条评论-30/11/12 21:36这通过以下方式解决了问题 如果父目录不存在,则创建父目录。如果没有 修复10次测试中失败4次的问题;我没有看到的修复 失败。

    这看起来是我在hadoop bug数据库中发现的最类似的问题

    它还与 [2] [3] 如果你想看一看