12.07.2011, 04:12 UTC+2

Sie sind nicht angemeldet.

kurioses gearman / reload - problem

beli

Anfänger

Beiträge: 5

Anzahl Nagios-Server: 2

Nagios-Version(en): 3.2.1

Verteiltes Monitoring: Nein

Redundantes Monitoring: Nein

Anzahl-Hosts: 60

Anzahl Services: 608

Betriebssystem(e): Win, Mac, Appliance, Linux

Plugin-Version(en): 1.0

NDO-Version: 2

1

30.06.2011, 19:15

kurioses gearman / reload - problem

Hi!



Ich bin gerade dabei ein Testsystem für

-icinga

-icinga-web

-pnp4nagios

aufzusetzen.



Folgende Broker spielen mit:

idomod

mod_gearman



Funktioniert Super -> AAAAAAAber.. ;)



Nach einem Reload über init-script wie über NagiosQL funktionieren die gearman-check_results-worker nicht mehr und die jobs-waiting sammeln sich.



Starte ich Icinga jedoch per init-restart anstatt init-reload kommen wieder worker hinzu die die queue abarbeiten.



Bevor ich wahllos Logs/Infos anhänge (mod_gearman-debug-log sieht sauber aus, es fehlt lediglich folgende Zeile:

Quellcode

 
1

started result_worker thread for queue: check_results




Gruß,

Thomas

sni

Profi

Beiträge: 667

Geschlecht: Männlich

Wohnort: München

Anzahl Nagios-Server: viele

Nagios-Version(en): 2.* / 3

Verteiltes Monitoring: Ja

Redundantes Monitoring: Ja

Anzahl-Hosts: viele

Anzahl Services: viele

Betriebssystem(e): viele

Plugin-Version(en): 1.4.11

Sonstige Addon's: Thruk, ModGearman

2

30.06.2011, 23:40

Welche Version von mod-gearman verwendest du und was macht NagsiosQL bei nem reload? Tritt das Problem auch auf wenn du von Hand nen reload machst?
--
Thruk - Monitoring Webinterface - Mod Gearman

beli

Anfänger

Beiträge: 5

Anzahl Nagios-Server: 2

Nagios-Version(en): 3.2.1

Verteiltes Monitoring: Nein

Redundantes Monitoring: Nein

Anzahl-Hosts: 60

Anzahl Services: 608

Betriebssystem(e): Win, Mac, Appliance, Linux

Plugin-Version(en): 1.0

NDO-Version: 2

3

30.06.2011, 23:50

latest Release wie aktueller git clone haben selbes verhalten

Icinga init-Script reload manuell entspricht dem verhalten von nagiosql

Mit einem restart als Parameter des init scriptes läuft der worker allerdings ohne Probleme

Von unterwegs
Gruß
Thomas

sni

Profi

Beiträge: 667

Geschlecht: Männlich

Wohnort: München

Anzahl Nagios-Server: viele

Nagios-Version(en): 2.* / 3

Verteiltes Monitoring: Ja

Redundantes Monitoring: Ja

Anzahl-Hosts: viele

Anzahl Services: viele

Betriebssystem(e): viele

Plugin-Version(en): 1.4.11

Sonstige Addon's: Thruk, ModGearman

4

01.07.2011, 13:42

Kann ich hier (mit Nagios 3.2.3) nicht nachvollziehen. Die Threads werden beim Event Type NEBTYPE_PROCESS_EVENTLOOPSTART gestartet. Kannst du mal das Icinga debug log aktivieren und schauen ob das richtig an die Broker geschickt wird?
--
Thruk - Monitoring Webinterface - Mod Gearman

beli

Anfänger

Beiträge: 5

Anzahl Nagios-Server: 2

Nagios-Version(en): 3.2.1

Verteiltes Monitoring: Nein

Redundantes Monitoring: Nein

Anzahl-Hosts: 60

Anzahl Services: 608

Betriebssystem(e): Win, Mac, Appliance, Linux

Plugin-Version(en): 1.0

NDO-Version: 2

5

01.07.2011, 14:29

Ich bekomme bei

Quellcode

 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27

# DEBUG LEVEL
# This option determines how much (if any) debugging information will
# be written to the debug file.  OR values together to log multiple
# types of information.
# Values:
#          -1 = Everything
#          0 = Nothing
#          1 = Functions
#          2 = Configuration
#          4 = Process information
#          8 = Scheduled events
#          16 = Host/service checks
#          32 = Notifications
#          64 = Event broker
#          128 = External commands
#          256 = Commands
#          512 = Scheduled downtime
#          1024 = Comments
#          2048 = Macros
debug_level=64
 
# DEBUG VERBOSITY
# This option determines how verbose the debug log out will be.
# Values: 0 = Brief output
#         1 = More detailed
#         2 = Very detailed
debug_verbosity=2


nur einen Haufen

Quellcode

 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

[1309522985.385927] [064.1] [pid=31479] Making callbacks (type 8)...
[1309522985.385984] [064.2] [pid=31479] Callback #1 (type 8) return code = 0
[1309522985.386008] [064.2] [pid=31479] Callback #2 (type 8) return code = 0
[1309522985.636148] [064.1] [pid=31479] Making callbacks (type 8)...
[1309522985.636204] [064.2] [pid=31479] Callback #1 (type 8) return code = 0
[1309522985.636249] [064.2] [pid=31479] Callback #2 (type 8) return code = 0
[1309522985.886403] [064.1] [pid=31479] Making callbacks (type 8)...
[1309522985.886468] [064.2] [pid=31479] Callback #1 (type 8) return code = 0
[1309522985.886495] [064.2] [pid=31479] Callback #2 (type 8) return code = 0
[1309522986.136651] [064.1] [pid=31479] Making callbacks (type 8)...
[1309522986.136720] [064.2] [pid=31479] Callback #1 (type 8) return code = 0
[1309522986.136745] [064.2] [pid=31479] Callback #2 (type 8) return code = 0
[1309522986.386848] [064.1] [pid=31479] Making callbacks (type 18)...
[1309522986.386975] [064.2] [pid=31479] Callback #1 (type 18) return code = 0
[1309522986.387072] [064.1] [pid=31479] Making callbacks (type 8)...
[1309522986.387116] [064.2] [pid=31479] Callback #1 (type 8) return code = 0
[1309522986.387137] [064.2] [pid=31479] Callback #2 (type 8) return code = 0




interessant ist, das bei einem "rc.d/icinga reload" folgendes passiert:

Quellcode

 
1
2
3
4

[1309522987.358127] [064.0] [pid=31479] Attempting to unload module '/usr/local/lib/mod_gearman/mod_gearman.o': flags=1, reason=2
[1309522987.363547] [064.0] [pid=31479] Module '/usr/local/lib/mod_gearman/mod_gearman.o' unloaded successfully.
[1309522987.363884] [064.0] [pid=31479] Attempting to unload module '/usr/local/icinga/bin/idomod.o': flags=1, reason=2
[1309522987.364392] [064.0] [pid=31479] Module '/usr/local/icinga/bin/idomod.o' unloaded successfully.




Ich kann dann sooft rc.d/icinga reloaden wie ich will, es passiert NIX.



Beim rc.d/icinga Restart passiert dann:

Quellcode

 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29

[1309523210.888886] [064.1] [pid=31783] Making callbacks (type 9)...
[1309523210.890877] [064.1] [pid=31783] Making callbacks (type 9)...
[1309523210.891682] [064.1] [pid=31783] Making callbacks (type 9)...
[1309523210.899155] [064.1] [pid=31783] Making callbacks (type 9)...
[1309523210.899365] [064.0] [pid=31783] Module '/usr/local/lib/mod_gearman/mod_gearman.o' loaded with return code of '0'
[1309523210.899466] [064.0] [pid=31783] nebmodule_deinit() found
[1309523210.900476] [064.1] [pid=31783] Making callbacks (type 9)...
[1309523210.902854] [064.1] [pid=31783] Making callbacks (type 9)...
[1309523210.903069] [064.1] [pid=31783] Making callbacks (type 9)...
[1309523210.903199] [064.2] [pid=31783] Callback #1 (type 9) return code = 0
[1309523210.903471] [064.0] [pid=31783] Module '/usr/local/icinga/bin/idomod.o' loaded with return code of '0'
[1309523210.903531] [064.0] [pid=31783] nebmodule_deinit() found
[1309523210.904058] [064.1] [pid=31783] Making callbacks (type 7)...
[1309523210.904121] [064.2] [pid=31783] Callback #1 (type 7) return code = 0
[1309523210.904200] [064.2] [pid=31783] Callback #2 (type 7) return code = 0
[1309523210.912141] [064.1] [pid=31783] Making callbacks (type 7)...
[1309523210.912331] [064.2] [pid=31783] Callback #1 (type 7) return code = 0
[1309523210.915406] [064.2] [pid=31783] Callback #2 (type 7) return code = 0
[1309523210.924627] [064.1] [pid=31787] Making callbacks (type 7)...
[1309523210.924811] [064.2] [pid=31787] Callback #1 (type 7) return code = 0
[1309523210.924983] [064.2] [pid=31787] Callback #2 (type 7) return code = 0
[1309523210.925286] [064.1] [pid=31787] Making callbacks (type 9)...
[1309523210.925334] [064.2] [pid=31787] Callback #1 (type 9) return code = 0
[1309523210.930034] [064.1] [pid=31787] Making callbacks (type 26)...
[1309523210.932072] [064.2] [pid=31787] Callback #1 (type 26) return code = 0
[1309523210.932802] [064.1] [pid=31787] Making callbacks (type 19)...
[1309523210.933166] [064.2] [pid=31787] Callback #1 (type 19) return code = 0
[1309523210.933588] [064.1] [pid=31787] Making callbacks (type 20)...
[1309523210.933791] [064.2] [pid=31787] Callback #1 (type 20) return code = 0




Und der Worker taucht auf.. Ich teste gleich nochmal ob der ido-broker auch betroffen ist. Jetzt erstmal Mittag..

beli

Anfänger

Beiträge: 5

Anzahl Nagios-Server: 2

Nagios-Version(en): 3.2.1

Verteiltes Monitoring: Nein

Redundantes Monitoring: Nein

Anzahl-Hosts: 60

Anzahl Services: 608

Betriebssystem(e): Win, Mac, Appliance, Linux

Plugin-Version(en): 1.0

NDO-Version: 2

6

01.07.2011, 16:35

Soo.. Ido scheint zu funktionieren, er führt halt nur keine Checks mehr durch - die Datenbank (Log Entries, Programm Status) wird geführt.

sni

Profi

Beiträge: 667

Geschlecht: Männlich

Wohnort: München

Anzahl Nagios-Server: viele

Nagios-Version(en): 2.* / 3

Verteiltes Monitoring: Ja

Redundantes Monitoring: Ja

Anzahl-Hosts: viele

Anzahl Services: viele

Betriebssystem(e): viele

Plugin-Version(en): 1.4.11

Sonstige Addon's: Thruk, ModGearman

7

02.07.2011, 13:05

Ich habs nun mal mit Icinga 1.4.2 und Mod-Gearman 1.0.6 probiert und auch das klappt. Wenn ich einen /etc/init.d/icinga reload mache, verschwindet der check_results Worker kurz und ist dann nach 1-2 Sekunden wieder da.
--
Thruk - Monitoring Webinterface - Mod Gearman

pitchfork

Super Moderator

Beiträge: 14 778

Wohnort: Kassel

Beruf: Sysadmin SAP / Linux / AIX

Anzahl Nagios-Server: 2

Hobbys: Motorrad fahren, wenns die Zeit erlaubt :-)

Nagios-Version(en): 3.2.1

Icinga-Version(en): ---

Verteiltes Monitoring: Nein

Redundantes Monitoring: Nein

Anzahl-Hosts: 310

Anzahl Services: 4500

Betriebssystem(e): Debian 5.0 Lenny

Plugin-Version(en): 1.4.x

NagVis-Version: 1.4.1

NDO-Version: ---

IDO-Version: ---

Perfparse-Version: ---

Sonstige Addon's: SNMPTT, NagTrap, NagVis 1.4.5, check_mk, PNP-0.6.x. Thruk

8

02.07.2011, 13:10

Kann das Problem dur ein 2. Broker Modul ausgelöst werden?
Was ist wenn man mal testweise idomod deaktiviert und icinga nur mit dem gearman modul laufen lässt?
PNP Developer.
PNP 0.6.13 ist online !
Fragen zu PNP mit Angabe der verwendeten PNP Version werden bevorzugt beantwortet.
OMD - Open Monitoring Distribution

Ähnliche Themen