使用最新的DSE 6.0.1。
top
我们启动pysparkshell并对cassandra表运行简单的计数查询。
警告2018-07-19 10:52:47983
(TID 1,10.5.7.56,执行者3):执行者失败(执行者3退出)
由正在运行的任务之一引起)原因:命令退出,代码为1
警告2018-07-19 10:52:47984
org.apache.spark网站.调度器.TaskSetManager:在阶段0.0中丢失任务69.0
(TID 78,10.5.7.56,执行人3):执行人失败(执行人3
退出由正在运行的任务之一导致)原因:命令退出
org.apache.spark网站.调度器.TaskSetManager:在阶段0.0中丢失任务82.0
(TID 99,10.5.7.56,执行人3):执行人失败(执行人3
退出由正在运行的任务之一导致)原因:命令退出
代码1警告2018-07-19 10:52:47984
org.apache.spark网站.调度器.TaskSetManager:在阶段0.0中丢失任务36.0
退出由正在运行的任务之一导致)原因:命令退出
代码1警告2018-07-19 10:52:47984
(TID 57,10.5.7.56,执行人3):执行人损失失败(执行人3
退出由正在运行的任务之一导致)原因:命令退出
org.apache.spark网站.调度器.TaskSetManager:在阶段0.0中丢失任务22.0
退出由正在运行的任务之一导致)原因:命令退出
0:==========================================================>(1406+19)/
1425]错误2018-07-19 10:53:18165
org.apache.spark网站.调度程序.TaskSchedulerImpl:执行器7丢失
10.5.7.56:命令退出,代码137 WARN 2018-07-19 10:53:18166org.apache.spark网站.调度器.TaskSetManager:阶段中丢失任务908.0
0.0(TID 932,10.5.7.56,executor 7):ExecutorLostFailure(executor 7因某个正在运行的任务而退出)原因:命令退出
代码:2018-07-19 10:53:18166
org.apache.spark网站.调度器.TaskSetManager:阶段中丢失任务1377.0
0.0(TID 1240,10.5.7.56,executor 7):ExecutorLostFailure(executor 7退出是由一个正在运行的任务引起的)原因:命令退出
代码:2018-07-19 10:53:18167
org.apache.spark网站.调度器.TaskSetManager:阶段中丢失任务1378.0
0.0(TID 1243,10.5.7.56,executor 7):ExecutorLostFailure(executor 7退出是由于某个正在运行的任务导致的)原因:命令退出
代码:2018-07-19 10:53:18167
org.apache.spark网站.调度器.TaskSetManager:阶段中丢失任务940.0
0.0(TID 965,10.5.7.56,executor 7):ExecutorLostFailure(executor 7因某个正在运行的任务而退出)原因:命令退出
代码:2018-07-19 10:53:18167
org.apache.spark网站.调度器.TaskSetManager:阶段中丢失任务864.0
代码137
此时,pyspark作业失败,所有节点上的所有cassandra进程的内存消耗都会增加到85%左右,而且永远不会停止,即使在退出pyspark shell之后也是如此。
释放ram的唯一方法是重新启动每个进程。
节点工具状态输出:
Datacenter: Cassandra
=====================
Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
-- Address Load Tokens Owns Host ID Rack
UN 10.5.7.53 2.1 TiB 32 ? 8c441d54-c5ae-42c0-819a-6d6b597c9903 rack1
UN 10.5.7.52 1.79 TiB 32 ? efdc8d20-72a2-4b99-a88c-4a8c5ed6be93 rack1
UN 10.5.7.55 1.5 TiB 32 ? 3d72fb6b-a45f-46af-abdd-b8b7b13873cf rack1
UN 10.5.7.54 2.02 TiB 32 ? 886849ff-90ac-4ed0-940e-92d92a54cc49 rack1
UN 10.5.7.51 1.99 TiB 32 ? 7834b960-f074-4139-82de-9444320130d1 rack1
UN 10.5.7.57 1.72 TiB 32 ? bc195dbd-4449-423b-8527-5cf9669c1bd3 rack1
UN 10.5.7.56 1.89 TiB 32 ? 51e2ad43-fb44-4729-a55f-437ce5b1f505 rack1
