Spark Streaming監(jiān)控應(yīng)用程序

Spark Streaming監(jiān)控應(yīng)用程序

除了Spark的監(jiān)控功能，Spark Streaming增加了一些專有的功能。應(yīng)用StreamingContext的時(shí)候，Spark web UI顯示添加的Streaming菜單，用以顯示運(yùn)行的receivers（receivers是否是存活狀態(tài)、接收的記錄數(shù)、receiver錯(cuò)誤等）和完成的批的統(tǒng)計(jì)信息（批處理時(shí)間、隊(duì)列等待等待）。這可以用來監(jiān)控流應(yīng)用程序的處理過程。

在WEB UI中的Processing Time和Scheduling Delay兩個(gè)度量指標(biāo)是非常重要的。第一個(gè)指標(biāo)表示批數(shù)據(jù)處理的時(shí)間，第二個(gè)指標(biāo)表示前面的批處理完畢之后，當(dāng)前批在隊(duì)列中的等待時(shí)間。如果批處理時(shí)間比批間隔時(shí)間持續(xù)更長或者隊(duì)列等待時(shí)間持續(xù)增加，這就預(yù)示系統(tǒng)無法以批數(shù)據(jù)產(chǎn)生的速度處理這些數(shù)據(jù)，整個(gè)處理過程滯后了。在這種情況下，考慮減少批處理時(shí)間。

Spark Streaming程序的處理過程也可以通過StreamingListener接口來監(jiān)控，這個(gè)接口允許你獲得receiver狀態(tài)和處理時(shí)間。注意，這個(gè)接口是開發(fā)者API，它有可能在未來提供更多的信息。