Beim Streifen durch das Internet, sei es mit Feedreader oder Browser, denke ich mir häufig wen das eigentlich intressiert. Ist der Wayne-Faktor zu hoch fliegt die Webseite aus den Rundgang, sinkt er kommt man umso gerne wieder. Müßte ich dieses Vorgehen verallgemeinern, so ist der Wayne-Faktor in der letzten Zeit stark gestiegen.
Veröffentlicht am 24.Juli 2008 | Kommentare: keine | Artikel 19mal angeschaut
Tags: Egal,Wayne?
Ich hatte heute eine kurze Diskussion darüber, woran man erkennt, das ein Server ausgelastet ist. Liegt es an der CPU-Auslastung? Load von 1 per CPU? Interrupts? Context Switche? IOWait? Averade Service Time? Swap? Vorschläge sind erbeten.
Veröffentlicht am 21.Juli 2008 | Kommentare: 18 | Artikel 462mal angeschaut
Tags: Linux,Performance,System Management
Manche Ergebnisse scheinen von vornherein so klar zu sein, das man kaum einen Gedanken daran verschwendet auch mal zu hinterfragen, ob man nicht doch falsch liegen könnte. Ich war zum Beispiel fest der Meinung, das der NOOP IO-Scheduler auf einen Raid-Controller mit 256MB Cache am meisten Performance bringt. Schließlich bietet der Controller eine eigene Logik, sowie Zwischenspeicher und weiss damit am besten wie er die Blöcke auf die Platten bringt. Eine vorgeschaltete Logik im Kernel wäre da nur kontraproduktiv.
Nach ein paar Messungen auf einen RAID-10 mit vier 146GB 10K Festplatten bin ich klüger. Von den drei getesteten IO-Schedulern NOOP, CFQ und DEADLINE war (bis auf einen Wert) der CFQ-Scheduler am schnellsten. Selbst der DEADLINE-Scheduler konnte mit NOOP oft mithalten, ganz davon abgesehen das die Werte aller Drei nicht allzuweit auseinanderlagen.
Veröffentlicht am 16.Juli 2008 | Kommentare: 1 | Artikel 243mal angeschaut
Tags: IO,Linux
Seit den beiden ersten Teilen über die Optimierung von Spamassassin (unten in den related Links) ist ein wenig Zeit vergangen. Mittlerweile setze ich Spamassassin in der Version 3.25 ein, wodurch sich an meinen Setup aber nichts Grundlegendes geändert hat. Hier mal ein neues Regelwerk (Sought), da ein Plugin rausgeflogen (OCR-Plugin), mehr ist es nicht gewesen.
Für diese kontinuierliche Verbesserung ist es wichtig immer auf den Laufenden zu bleiben und dafür braucht man natürlich Helferlein, mit denen man messen kann wie erfolgreich (oder auch nicht) das eigene Setup wirklich ist. Eines davon ist sa-stats , welches ich im ersten Teil kurz angesprochen hatte. sa-stats liefert ein paar grundlegende Daten über den Email-Traffic, wieviel davon als Spam oder Ham eingestuft wurde und die Trefferquote von Regeln:
Email: 1719 Autolearn: 1553 AvgScore: 29.84 AvgScanTime: 3.75 sec Spam: 1571 Autolearn: 1505 AvgScore: 33.42 AvgScanTime: 3.74 sec Ham: 148 Autolearn: 48 AvgScore: -8.16 AvgScanTime: 3.75 sec Time Spent Running SA: 1.79 hours Time Spent Processing Spam: 1.63 hours Time Spent Processing Ham: 0.15 hours TOP SPAM RULES FIRED ---------------------------------------------------------------------- RANK RULE NAME COUNT %OFMAIL %OFSPAM %OFHAM ---------------------------------------------------------------------- 1 BAYES_99 1540 89.59 98.03 0.00 2 RAZOR2_CHECK 1351 78.77 86.00 2.03 3 RAZOR2_CF_RANGE_51_100 1342 78.07 85.42 0.00 4 URIBL_BLACK 1233 71.90 78.49 2.03 5 PYZOR_CHECK 1221 71.09 77.72 0.68 6 RAZOR2_CF_RANGE_E8_51_100 1143 66.49 72.76 0.00 7 DIGEST_MULTIPLE 1108 64.46 70.53 0.00 [..] TOP HAM RULES FIRED ———————————————————————- RANK RULE NAME COUNT %OFMAIL %OFSPAM %OFHAM ———————————————————————- 1 AWL 136 11.58 4.01 91.89 2 BAYES_00 91 5.29 0.00 61.49 3 BAYES_50 50 3.66 0.83 33.78 4 HTML_MESSAGE 39 57.88 60.85 26.35 5 SPF_HELO_FAIL 18 4.07 3.31 12.16 6 TW_GM 13 0.81 0.06 8.78 7 USER_IN_WHITELIST 11 0.64 0.00 7.43
Hier ist sehr schnell ersichtlich ob etwas falsch läuft, weil z.B. Regeln im Spam-Bereich auftauchen, welche eigentlich in den Ham-Bereich gehören. Etwas ausführlicher, was die selbst hinzugefügten Regeln angeht, ist sa-addon-stats:
Addon Rules hitting the most spam (top 20) Ruleset Rule Name % of Spam ----------------------------------------------------------- local.cf BAYES_99 93.86% local.cf RCVD_IN_BL_SPAMCOP_NET 64.41% iXhash.cf LOGINHASH 49.27% iXhash.cf LOGINHASH2 46.33% iXhash.cf IXHASH 24.57% local.cf AWL 4.95% local.cf GP_SCAM_CN 1.60% local.cf GEOCITIES1_NUM 0.52% local.cf BAYES_80 0.46% local.cf BAYES_60 0.36% local.cf GEOCITIES_NUM 0.11%
Addon Rules hitting the most ham (top 20) Ruleset Rule Name % of Ham ----------------------------------------------------------- local.cf AWL 85.89% local.cf BAYES_60 0.33% local.cf BAYES_80 0.21% local.cf BAYES_99 0.14% local.cf RCVD_IN_BL_SPAMCOP_NET 0.12% pdfinfo.cf GMD_PDF_ENCRYPTED 0.09% iXhash.cf LOGINHASH2 0.05% local.cf GEOCITIES1_NUM 0.05%
Hier lassen sich recht leicht ineffektive Regeln identifizieren. Ein wichtiger Punkt, denn Spamassassin wird durch jede nicht benutzte Regel schlanker und damit schneller. Beides Dinge worüber sich mein kleiner, gequälter Root-Server sich immer freut.
Veröffentlicht am 15.Juli 2008 | Kommentare: keine | Artikel 230mal angeschaut
Tags: Spamassassin
Mark Shuttleworth im Interview:
So one option that we considered was: “Let’s not call 8.04 the LTS, let’s call 8.04.1 the LTS”
Kurzer Augenblick der Einsicht - aber nur ein ganz kurzer.
Veröffentlicht am 14.Juli 2008 | Kommentare: keine | Artikel 173mal angeschaut
Tags: Linux,Ubuntu,Zitat
Das Thema CPU Frequency Scaling ging ja eine Zeitlang durch alle Blogs und Foren. Mittlerweile ist das Normalitäet und funktioniert auch gut. Ist das Wirklich so? Ich habe da so meine Zweifel.
Auf Single- und Dual-Core Systemen tut es tatsächlich wie erwartet, aber auf Systemen mit mehreren CPU-Sockeln habe ich nun schon mehrfach erlebt, das das Scaling das System ausbremste, weil CPUs unterschiedlich getaktet waren. Trotz steigender Last takteten die Cores auf der einen CPU nicht wieder hoch und irgendwann war die Load so hoch, das ein Arbeiten nicht mehr möglich war. Erst das Abschalten des Daemons brachte das System wieder auf den richtigen Weg. Ähnlich sieht es mit iowait aus auf die das Scaling ebenfalls nicht reagiert. Also im Zweifel besser immer ausschalten.
Veröffentlicht am 11.Juli 2008 | Kommentare: 1 | Artikel 245mal angeschaut
Tags: Hardware,Linux,Scaling
Jörg kann sich ja immer wunderbar über, aus seiner Sicht, ungerechtfertiger Kritik an Dingen auf denen Sun steht aufregen. Im Moment hat er es mit Kai Siering und seiner Sicht auf Suns CMT Technologie.
Mir ist das ehrlich gesagt vollkommen egal, was für Technik da drin steckt und wie alt die evtl. sein mag, entscheidend ist doch was dabei rumkommt. Klar, die CMT-Prozessoren mögen mit 1,2Ghz und 1,6 Ghz auf den ersten Blick etwas lahm erscheinen, aber die schiere Masse kann das mehr als wett machen. Es ist schon beeindruckend wenn ein System 64 oder 96 CPUs meldet, noch viel beeindruckender ist es so ein System bei der Arbeit zu sehen. Wichtig ist dabei die richtige Anwendung. Was nützt mir ein Dual-Quadcore System, wo sich die 3 Ghz CPUs langweilen, weil hauptsächlich Daten durch das Internet geschoben werden - ein Scenario das heutzutage nicht unüblich ist. Die CPU macht die Sache nicht schneller. Applikationen wie SpamAssassin oder Diablo haben fast keinerlei Nutzen von solchen GHZ-Monstern, sie brauchen viele Prozessoren fast egal wie schnell, nicht wenige schnelle. Hier liegt die große Chance und Nutzen der CMT Maschinen.
Leider gibt heutzutage noch immer viel zu viel Software die nur auf Single-Cores vernünftig läuft, ein Problem das sich aber hoffentlich in den nächsten Jahren legen wird. Bis dahin werden vielleicht auch Intel und AMD nachgezogen haben und wird es etwas ganz normales sein.
Achja, den Stromverbrauch hätte ich fast vergessen. Der liegt (als grober Daumenwert) bei 3:1, also drei Intel-Maschinen gegen eine CMT. Bleibt ein Wermuts-Tropfen: die Dinger spielen preislich nicht in der i386-Liga. Ob sie sich rechnen liegt an der Applikation, dem Workload und den dabei verbrauchten Strom - und hier schließt sich der Kreis. Da muss jeder selbst nachrechnen. Man muss sich also eine Meinung bilden oder einfach weiter mit seinen Weltbild leben.
Veröffentlicht am 7.Juli 2008 | Kommentare: 7 | Artikel 301mal angeschaut
Tags: CMT,Hardware,Sun
