Forums Neueste Beiträge
 

Crash beim Scoren mit vielen Artikeln

17/05/2008 - 08:31 von Manfred H. Winter | Report spam
Hallo!

Scheinbar kommt Dialog mit dem Scoring bei sehr vielen Artikeln nicht klar.
Der Newsserver meines Providers war knapp 3 Wochen down. Nachdem ich jetzt
endlich wieder neue Nachrichten abholen konnte, gab's nach jedem einen
Crash. Im Log wurde nur das Scoring angezeigt.
Nachdem ich jetzt erstmal alles Scoring-Regeln gelöscht habe, klappt wieder
alles.

Dialog 2.0.15.41 (Beta 38) unter Vista32 SP1, 15 NGs, ca. 8500 neue
Postings.

Scoring-Regeln:

| ########################################################################
| # NEGATIV-Scoring: Allgemeinen Dreck scoren
| ########################################################################
|
| [*] # böse Subjectànderungen bekommen Punktabzug
| -101 Subject -{^Re: } -"was:" +@References:{<.+>}
|
| [* -cancel] # E-Mailadressen mit Anti-Spam-Spoilern scoren
| -102 From {(no|ab|kein|nix).*(spam|fcnz|trash|muell)}
{(remove|delete|cut).*this} -@From:{spamfence|nurfuerspam|despammed}
|
| [* -cancel] # Xpost ohne Fup2 ist böse
| -104 Header {^Newsgroups:\s([\w.-]*,)} -@Header:{^Followup-To:}
|
| [* -cancel] # Out-of-the-box defekte NUAs runterscoren
| -248 Header {^X\-Newsreader: Xnews} -@Header:{(Korrnews|Morver)}
| -248 Header {^User\-Agent: Xnews} -@Header:{(Korrnews|Morver)}
| -248 Header {^X\-Newsreader: Forte Free Agent 1\.[0-8]}
-@Header:{(Korrnews|Morver)}
| -250 Header {^X\-Newsreader: Microsoft}
-@Header:{(Korrnews|Morver|OE-Tools)}
| -254 Header {^X\-Newsreader: Surfino NewsReader}
| -258 Header {^X\-Newsreader: Freenet-Webnews} # Freenet verunstaltet das
Subject
| -403 Header {^X\-Newsreader: UseNeXT} # ganz böser NUA vom Syndikus-Clan
der die References löscht
| -406 Header {^User\-Agent: G2.0\..}
|
| [* -cancel] # Poster ohne korrekte E-Mailadresse bekommen Punktabzug
| -500 From -{.*\w.*@\w+.*\.[a-zA-Z]{2,4}}
| -501 From
{anonymous@discussions.microsoft|anonymous@microsoft|@anonymous.|.nospam>|.invalid>|.ungueltig>|@example.net|@privacy.net|@private.net|@example.org|@mailinator.com}
-@Header:{^Reply\-To:(.*\w.*@\w+.*\.[a-zA-Z]{2,4})}
|
| #[* -cancel] # Postings ohne Realnamen bekommen Punktabzug
| #-502 From -{(^|\(|")([^\s@<>]+(\s|\.)){1,}[^\s@<>.]{3,}}
|
| [* -test] # Content-Type fehlt komplett
| -504 Header -{^Content\-Type:.+text\/plain.+} +@Header:{^Message\-ID:}
|
| [*] # Über Google kommt selten was gescheites
| -550 Message-ID {posting.google.com|googlegroups.com}
|
| [* -test -de.admin.net -abuse.mail -netdigest] # SPAM-verdàchtiges
| -1001 Subject {(?-i)[A-Z]{4,}} -{(?-i)[a-z]{2,}} # Mind. 2
Kleinbuchstaben vorhanden?
| -1002 Subject {\${2,} # zwei $$-Zeichen?
| -1004 Subject {dollar|sex}
| -1008 Subject {please|important|very}
| -9999 From "wholesaletohome.com"
| -9999 From "yenc@yenc-news.co.uk"
| -9999 From "sufasale@hotmail.com"
|
| [* -test] # Multipart-Dreck will ich nicht
| -1024 Header "text/html;" "Content-Type: multipart"
|
| [* -de.alt.test] # Anonymen Dreck braucht niemand
| -2001 Header
{(@redneck.efga.org|@echelon.alias.net|@nym.alias.net|@anon|@replay.com|@remailer.privacy.at|@dizum.com)}
| -2002 Header "X-Remailer"
|
| [* -cancel -test] # Newsserver von denen hauptsàchlich Spam kommt
| -2004 Message-ID {(@news.freeserve.com|@read3.inet.fi|@netvigator.com>)}
| !delete Header {^Path:.*!psinet-eu-nl!|!news.uswest.net.POSTED!} #
dreckiger Bot
|
| [* -de.markt.misc -admin -mozilla -cancel]
| -2008 Xpost %>3 # Crosspost in mehr als 3 Gruppen runterscoren
| -2016 Xpost %>5 # Crosspost in mehr als 5 Gruppen sind nicht viel besser
|
| [* -de.admin.net -abuse.mail -netdigest] # Eindeutigen SPAM scoren
| -4001 Subject {money|credit|market|opportunity|bucket} #
Geld-\Kredit-Werbung
| -4002 Subject {tits|viagra|xxx|pics|teen|asia|hardcore|pr0n|\bporn} #
Porno & Sex-Werbung
| -4004 Subject {Geld verdienen|make rich|make you rich} #
Schneeballsysteme
| -4008 Subject ",,," ",,." ",.," ".,,"
| -4016 Subject {\s{2,}\d{3,5}$} # 2 Blanks am Ende gefolgt von 3-5 Zahlen
| -4032 Subject {sieg heil|nazi|hitler} # Nazi-Dreck
| -4064 Subject {cool site|find locals for hookup} # Webseiten-Werbung
| -4072 Subject {wholesale|Wholesale}
|
| ########################################################################
| # Artikel nach Alter scoren
| ########################################################################
|
| [* -40tude-dialog -netdigest] # Artikel werden nur (!) beim Runterladen
gescored
| -650 Age %>14 # Alle Postings àlter als 14 Tage bekommen Abzug
| -1500 Age %>29 # 30 Tage altes Zeug ist kaum noch genießbar
| -3000 Age %>90 # 90 Tage alte Saurier will ich nicht
|
| ########################################################################
| # Artikel nach Größe scoren
| ########################################################################
|
| [* -cancel -netdigest -test]
| -504 Bytes %<42 # Das ist mir viel zu klein.
| -508 Bytes %>20442 # Und das nur unwesentlich zu gross ;-)
| -516 Lines %<4 # Postings mit weniger als 4 Zeilen enthalten selten
Sinnvolles
| -532 Lines %<2 # Postings mit weniger als 2 Zeilen noch weniger
|
| ########################################################################
| # Spezielle Scoring-Regeln für bestimmte Gruppen
| ########################################################################
|
| [news.groups] # Die FAQs kenne ich
| !markread Subject "Die Newsgruppen der de.alt-Hierarchie" "Die
Newsgruppen der de-Hierarchie" "Missverstaendnisse in de.admin.news.groups"
| !setcolor($6163BB;default) Subject "dana-Status"
|
| [*]
| !ignore,markread Subject "Hinweise fuer Google-Poster" # Die Hinweise
kenne ich
|
|
| ########################################################################
| # Eigene Postings + Replies scoren & einfàrben
| ########################################################################
|
| [*] # Meine Postings + Replies scoren und einfàrben
| =+9999 Message-ID {(mahowi\.de)>}
| +1000 References {@.*(mahowi\.de)>$}
| +1000 References {@.*(mahowi\.de)>(\s*<[^<]+>)?$}
| +1000 References {@.*(mahowi\.de)>(\s*<[^<]+>){0,2}$}
| +1000 References {@.*(mahowi\.de)>(\s*<[^<]+>){0,3}$}
| +1000 References {@.*(mahowi\.de)>(\s*<[^<]+>){0,4}$}
| !setcolor(navy;default) References {@.*(mahowi\.de)>(\s*<[^<]+>){0,4}$}
|
| [*]
| !setcolor(red;default) Message-ID {(mahowi\.de)>} # Meine Postings
einfàrben
| !markread,retrieve Score 9999 # Meine Postings immer komplett laden
|
|
| ########################################################################
| # Abschließende Aktionen
| ########################################################################
|
| [*] # Nachtràglich Farben verteilen, um auch Fups auf meine Postings zu
erwischen.
| !setcolor($B475B5;default) Header {^X-No-Archive: yes} # XNA erkenntlich
machen, zum ausführlich quoten
| !setcolor(gray;default) Header {^X\-Newsreader: Microsoft}
-@Header:{^Content-Type:} # kein Content-Type bei OE ist _meistens_ böse
(sicherheitshalber einfàrben)
|
| [*]
| !delete Score %<-5999
| !move(Spam),markread Score %<-1999
| !markread Subject "FAQ" "Pointer"
|
| [test]
| !markread Bytes %>20

Ciao,
Manfred
 

Lesen sie die antworten

#1 Manfred H. Winter
17/05/2008 - 08:44 | Warnen spam
Am Sat, 17 May 2008 08:31:01 +0200 schrieb Manfred H. Winter:

Hallo!

Scheinbar kommt Dialog mit dem Scoring bei sehr vielen Artikeln nicht klar.
Der Newsserver meines Providers war knapp 3 Wochen down. Nachdem ich jetzt
endlich wieder neue Nachrichten abholen konnte, gab's nach jedem einen
Crash. Im Log wurde nur das Scoring angezeigt.
Nachdem ich jetzt erstmal alles Scoring-Regeln gelöscht habe, klappt wieder
alles.

Dialog 2.0.15.41 (Beta 38) unter Vista32 SP1, 15 NGs, ca. 8500 neue
Postings.

Scoring-Regeln:



[...]

Ich hab jetzt mal die Regeln wieder eingefügt und manuell das Scoring für
diese Gruppe mit ca. 1500 neuen Postings angeworfen. Das treibt sorgt
direkt für volle Prozessorauslastung, zumindest auf dem von Dialog
genutzten Kern und macht Dialog für einige Zeit unbenutzbar. Aber kein
Crash. Scheint also nur beim gleichzeitgen Runterladen und Scoring zum
Absturz zu führen.

Ciao,
Manfred

Ähnliche fragen