| Author |
Message |
|
|
Post subject: RE: blokovanie p2p spojeni
 Posted: 29.08.2004 - 13:16 #11181
|
|
Guru
Joined: Jan 30, 2003
Posts: 1572
|
|
| no, to ma nikto neopravi ze co tam mam nadbytocne, pripadne nie celkom standardne uplacane? |
|
|
| |
|
|
|
 |
|
|
|
Post subject: RE: blokovanie p2p spojeni
Posted: 30.08.2004 - 23:11 #11243
|
|
Basic
Joined: Feb 18, 2003
Posts: 252
Location: Zvolen
|
|
minule som sa nechcel rozpisovat... takze teraz to napravim... ten _moj_ system (ako ho nazval kiwi) nebol este naprogramovany, ale aspon vam tu predostriem myslienky, ktore ma viedli... mozno ten, kto bude mat viacej casu ako ja a bude zbehlejsi v programovani to napravi...
<dream>
predpoklady z ktoreho ma vychadzat "dynamicky shaping" (to co si vzdy mathew prial):
- na zaklade zisteni a merani bolo empiricky povedane, ze bezny uzivatel nestiahne za mesiac viacej ako 1GB dat (naozaj iba tolko !!! tomuto predpokladu vyhovuje az 80% uzivatelov)
- uzivatel nesmie byt NIKDY odpojeny A jeho pridelene (zdielane) pasmo nesmie klesnut pod 1/4 jeho prideleneho pasma (takze v pripade ze uzivatel ma zdielany inet do sirky pasma 128kbit CEIL nesmie byt nikdy mensi ako 32 kbit... btw. pri tejto rychlosti uzivatel dokaze stiahnut stale za den nieco okolo 300 MB dat !!!)
- system ukladania informacii o prenesenych datach by mal byt jednoduchy, mal by vychadzat z tried HTB, ale nemal by postihovat iba riesenie dynamickeho shapovania... na tomto mieste som chcel zabit dve muchy jednou ranou a to tak, ze vycitavanie tried pomocou klasickeho 'tc -s class show dev xxx' (samo ze cez daky script iba s jednym prechodom pre vsetky triedy !!!) s naslednym ulozenim do databaz rrd s tym, ze tieto by sa dali vyuzit nielen na zistenie stavu za urcite obdobie (pre dynamicky shaping) ale aj pre generovanie grafov pre jednotlivych uzivatelov ci uz pre potreby administracie, alebo preto aby sami uzivatelia videli ako im to chodi (tak za toto asi dostanem vynadane... )
- kazdy uzivatel ma na tyzden "este nieco navyse" (povedzme 200MB)
- system vyhodnocovania (samotny dynamicky shaping) by mal byt spustany raz za hodinu... zisti kolko uzivatel stiahol dat za predchadzajuci TYZDEN a na zaklade toho upravi velkost hodnoty CEIL jeho triedy podla vzorca:
CEIL=((MAX+BONUS-ODBER)/MAX)*CEILMAX
kde
CEIL je hodnota, na ktoru ma byt nastavena trieda uzivatela
MAX je mnozstvo dat za mesiac, ktore povazujeme este a rozumne pre vacsinu uzivatelov
BONUS je mnozstvo dat za tyzden, ktore budeme uzivatelom tolerovat bez znizenia CEIL
ODBER je mnozstvo dat prenesenych za predchadzajuci tyzden
CEILMAX je zakladna hodnota nastavenia pre danu triedu
samozrejme mi tam este chyba podmienka, ze ak bude vypocitana hodnota CEIL mensia ako CEILMAX/4 aby bola nastavena prave na CEILMAX/4...
vychodzim predpokladom este je aby vsetky potrebne udaje pre vytvorenie tried a prislusnych rrd databaz boli ulozene v rozumnom tvare (ci uz databaza alebo txt subor), nad ktorymi by prislusne scripty dokazali robit prislusne ukony (shape create | check | ...)
ID IP dev ceilmax MAXDAT BONUS meno co.ja.viem.co.este...........
0001 10.1.138.1 ethx 128Kbit 1000MB 200MB JankoHrasko ..........
</dream> |
|
|
| |
|
|
|
|
|
|
|
Post subject: RE: blokovanie p2p spojeni
Posted: 30.08.2004 - 23:23 #11247
|
|
Majster
Joined: Jan 12, 2003
Posts: 4250
Location: /dev/null
|
|
face: iba giga ? tusim ti niekam skusim capnut prenosove statistiky ludi u mna zo siete a to ich mam vychovanych a zvycajne netahaju blbiny  |
|
|
| |
|
|
|
|
|
|
|
Post subject: RE: blokovanie p2p spojeni
Posted: 30.08.2004 - 23:34 #11249
|
|
Basic
Joined: Feb 18, 2003
Posts: 252
Location: Zvolen
|
|
| 2si: ja teda neviem ale u vas mate potom asi aktivnejsich ludi co maju vela casu, ktory travia na nete, pripadne sa hraju (taky CS aj 20MB/hodinu ?) |
|
|
| |
|
|
|
|
|
|
|
Post subject: RE: blokovanie p2p spojeni
Posted: 30.08.2004 - 23:38 #11250
|
|
Majster
Joined: Jan 12, 2003
Posts: 4250
Location: /dev/null
|
|
| face: tak vies no, ja len na ssh-ckach (bez scp !!!) dokazem za mesiac poprenasat aj zo 2 - 3 GB a to su ciste data co ja pisem z klavesnice a druha strana mi posiela vystup... |
|
|
| |
|
|
|
|
|
|
|
Post subject: RE: blokovanie p2p spojeni
Posted: 30.08.2004 - 23:41 #11251
|
|
Basic
Joined: Feb 18, 2003
Posts: 252
Location: Zvolen
|
|
| 2si: neverim... urcite cez aalibs hravas quake a ostatnym vysvetlujes, ze je to iba textova konzola.. |
|
|
| |
|
|
|
|
|
|
|
Post subject: RE: blokovanie p2p spojeni
Posted: 31.08.2004 - 00:06 #11252
|
|
Guru
Joined: Jan 30, 2003
Posts: 1572
|
|
to face: myslim ze sme postupom casu prisli na rovnaky system
musime skumat minulost usera ak chcem odhadnut jeho dnesne spravanie, tzn.pridelit mu urcite mantinely
toto dovoli kludnejsim ludom vyssiu maximalku a naopak tym ktori sa nevedia zmestit do koze prideli nizsie moznosti, kedze dotycny ich vyuziva (zneuziva) naplno
niekolko zaujimavosti zo statistik: prvych 50 downloaderov (12%) v prvy den spustenia systemu spotrebovalo viac ako 50% konektu. Po 7 dnoch sa ich spotreba (hovorime o case medzi 8:00 az 23:00, kedy je system aktivny a rata data) znizila na 44% co povazujem za velmi pozitivny trend, hlavne z hladiska uzivatelov ktori byvaju na nete kratko ale zaroven od neho ocakavaju sviznost
50.-ty downloader (12%) stiahne u nas mesacne 3500MB z toho medzi 8-23 2600MB
najvacsi downloaderi stiahnu mesacne 11GB (inak neviem si predstavit co pre boha ziveho tolko tahaju, ak su to filmy, tak si neviem predstavit cloveka ktory si za mesiac pozrie 11/0.6=18 filmov) |
|
|
| |
|
|
|
|
|
|
|
Post subject: RE: blokovanie p2p spojeni
Posted: 31.08.2004 - 08:46 #11255
|
|
Basic
Joined: Jún 21, 2004
Posts: 69
Location: Nove Zamky
|
|
znizovat CEIL nie je podla mojho nazoru az taka vyhoda. ked je volne pasmo (idealne len jeden stahovac  ) a ma CEIL nastaveny na 96kbps tak o to dlhsie bude stahovat. keby sa menila RATE, v pripade volneho pasma sa mu rychlo natahaju veci (a treba dufat ze ho to coskoro prestane bavit) a ked pride niekto kto netaha stale, len obcas cita fora, tak ma RATE vyssi no a pojde mu to rychlejsie.
nezabite ma ak sa mylim.
btw co tak menit prioritu? |
|
|
| |
|
|
|
|
|
|
|
Post subject: RE: blokovanie p2p spojeni
Posted: 31.08.2004 - 09:21 #11256
|
|
Majster
Joined: Jan 12, 2003
Posts: 4250
Location: /dev/null
|
|
face: jasne
ked tu uz kiwi narval neaku statistiku, tak som si ju vycucol zo systemu aj ja, takze neake cisla (za jul, kedze august sa este neskoncil ):
poradie....id..........IN........OUT
1............C040...86.95G....4.4G
2............0A20...47.82G....2.5G
3............0620...19.40G...50.2G
4............C000...17.64G...14.1G
5............0C89...14.92G....5.4G
6............FE72....9.97G....5.2G
7............04CB....8.30G......692M
8............0081....7.59G....1.1G
9............081E....7.22G....1.3G
10..........091E....7.05G....7.2G
11..........0820....6.80G......300M
12..........0085....6.10G....3.2G
13..........028C....6.08G....5.0G
14..........0486....5.29G....2.4G
15..........018D....4.96G....1.0G
16..........0636....4.61G....1.0G
17..........0626....4.49G....9.1G
18..........0420....3.14G......528M
19..........FE32....3.86G......394M
20..........0423....3.30G......186M
PS1: vela ludi ma viacero PC a teda aj viacero IP, takze sa v tej tabulke mozu vyskytnut aj viac krat skutocny stahovaci ti za mesiac zozeru 100ky GB, ak ich linka pusti, pokial mas dobru linku tak normalny clovek len pozeranim stranok hranim hier a inou beznou pracou bez bezhlaveho stahovania blbin nataha v pohode okolo 10 GB
PS2: kiwi - neviem, ale ja vela filmo co som videl mali po 2 CD a pod, takze ich uz nebude 18 ale iba 9 |
|
|
| |
|
|
|
|
|
|
|
Post subject: RE: blokovanie p2p spojeni
Posted: 31.08.2004 - 10:11 #11258
|
|
Guru
Joined: Dec 27, 2002
Posts: 1505
|
|
dane informacie vychadzaju z empiricky zistenych dat, samozrejme mozu sa lisit:
1. ked som naprogramoval prve skripty s QoS (kiwi ich pouziva dodnes), definoval som si:
QoS 1.0
========
a) garant pasmo na hlavu
b) limit ceil na blok neexistuje -> nevyvazenost trafficu
c) upload shaping nebol vtedy mozny (imq a esfq not valid)
vyhodou prvych verzii skriptov bolo, ze boli -> rychle, funkcne ale nespravodlive.
Casom som doplnil QoSko o dalsie plug-iny
1.1 p2p filter
1.2 statistic filter
Postupna previazanost modulov vsak ukazala, ze je nutne to robit inak:
a) moduly robte samostatne - > v sucasnom system QoS 3.0 NG (next generation) mam
1. modul HTB (QoS)
2. modul HFSC (QoS)
3. modul FW (firewall)
4. modul STAT (statistiky)
5. modul RULEZ(nastavuje QoS).
6. modul MAC_ACCESS (pristup)
7. modul RADIUS_ACCESS (pristup)
Postulaty:
1. obmedzovanie p2p trafficu nepomaha. len obmedzi zneuzivanie zdrojov
2. jedina moznost je IMHO uplatnovat fairperuse a delit userov podla modelov spravania sa do tried. prislusne triedy maju rozdielny upload/download, prioritu.
3. delenie zabezpecovat externe, napr. pomocou perl/shell/php skriptov, nesmie byt nijak zavisle na QoS -> vysledky zapisuje do txt alebo DB.
bohuzial, este to nemam cele hotove [90% hotove skripty odisli s kiwiho diskom]. ale kodujem to znovu zo starsich verzii. |
|
|
| |
|
|
|
|
|
|
|
Post subject: RE: blokovanie p2p spojeni
Posted: 31.08.2004 - 19:05 #11277
|
|
Basic
Joined: Feb 18, 2003
Posts: 252
Location: Zvolen
|
|
majko036:
1. ja som nepovedal, ze v kazdej sieti tie hodnoty (v tom vzorci) budu rovnake, treba ich iba _prisposobit_ danej sieti... kludne moze byt MAX aj 3GB a BONUS 800MB nech si uzivatel zaplata svoje Win$ upgradne antivirak, stiahne CD, ktore sa mu paci, ale aby stahoval nonstop maximum co to da... keby som vedel aspon co stahuju, a ci to na nich aspon pozitivne vplyva...
2. ak hovoris aby sa menila radsej hodnota RATE ako CEIL mozem k tomu povedat len tolko, ze na zaklade podmienok HTB: RATE nadradenej triedy _musi_ byt vacsie alebo rovne suctu RATE tried pod nou... z toho vyplyva, ze ak mas hlavnu triedu s RATE=2Mbit a pod nou 400 uzivatelskych tried, tak kazdej triede mozes nastavit akurat tak RATE=5Kbit !!! naproti tomu sa moze hodnota CEIL v uzivatelskych triedach pohybovat v rozmedzi nastavenia RATE uzivatelskej triedy az RATE nadradenej triedy (v tomto pripade 5Kbit az 2Mbit)...
ako uz ukazal 'si' v sieti s rychlym pripojenim je mozne, ze bezny uzivatelia budu mat priemerny mesacny traffic daleko vyssi ako v tych, ktore su pripojene pomalsou linkou uz len z dovodu rychlejsieho natiahnutia stranok a tym padom tych stranok budu prezerat daleko viacej, pripadne pozeraju cez Inet televiziu alebo pocuvaju radio... ked to ta linka zvlada nevidim problem...
PS. bol by som nesmierne rad, keby som QoS problemy riesil nakupom "vacsej rury"... |
|
|
| |
|
|
|
|
|
|
|
Post subject: RE: blokovanie p2p spojeni
Posted: 31.08.2004 - 20:30 #11280
|
|
Basic
Joined: Jún 21, 2004
Posts: 69
Location: Nove Zamky
|
|
face:
1. ja som ani nereagoval na ziadne hodnoty . samozrejme, ze v kazdej sieti to bude ine, ale statisticky sa nejaky priemer da najst. (pre vsetky siete s rovnakou kapacitou) potom sa uz len doladuje. jedine zeby nie :p.
2. samozrejme SUM(RATE) <= RATE parent. ale co ti brani nastavit RATE = linka/n ? a potom RATE znizovat stahovacom? HTB je predsa aj o tom ze si triedy navzajom mozu pozicat pasmo takze prenos na urovni, alebo len "malo" nad urovnou RATE asi nikto nedosiahne, bude urcite vacsi. ale pokial viem tak prave pomer hodnot RATE dvoch tried urcuje aj to v akom pomere si volne pasmo rozdelia triedy
=>
ak je linka volna idem naplno
ak je obsadena tak stahovac dostane menej ako "bezny user" ( ako prasok na pranie).
add PS. no ano... rura |
|
|
| |
|
|
|
|
|
|
|
Post subject: RE: blokovanie p2p spojeni
Posted: 31.08.2004 - 21:01 #11284
|
|
Majster
Joined: Jan 12, 2003
Posts: 4250
Location: /dev/null
|
|
| majko036: mozes mat kapacitu X, ale ked ma jedna siet Y uzivatelov a druha Z uzivatelov a Y bude znacne rozdielne od Z tak sa ti to nebude podobat ani nahodou |
|
|
| |
|
|
|
|
|
|
|
Post subject: RE: blokovanie p2p spojeni
Posted: 01.09.2004 - 09:24 #11288
|
|
Basic
Joined: Jún 21, 2004
Posts: 69
Location: Nove Zamky
|
|
si wrote: ›majko036: mozes mat kapacitu X, ale ked ma jedna siet Y uzivatelov a druha Z uzivatelov a Y bude znacne rozdielne od Z tak sa ti to nebude podobat ani nahodou
aaaaaa zle som sa vyjadril. hladam bezneho usera . nie priemer pre siet, ale pre cloveka.
nemyslim, ze ked ma siet manej ludi, tak oni budu viacej stahovat len preto, ze to pojde rychlejsie. samozrejme najprv odstranime hornych 20% a potom mozeme robit statistiky. z mojej skusenosti ludia ajtak najviac chatuju. a tam je jedno ci to ide 512 pre 10 alebo 20 ludi.
to ze budu viac browsovat lebo sa im rychlejsie nacitaju stranky? hm no neviem ci nacitat stranku pri 256 a pri 1024 trva nejak o moc rychlejsie a napokon ajtak najviac casu zozerie citanie. takze ... |
|
|
| |
|
|
|
|
|
|
|
Post subject: RE: blokovanie p2p spojeni
Posted: 01.09.2004 - 12:55 #11289
|
|
Guru
Joined: Feb 19, 2003
Posts: 1133
Location: blizko Trencina
|
|
pripad platenych dat (dsl):
13 ludi = kazdy sosne dost vela
40 ludi = priemerne na osobu sa sosne menej ako pri 13, lebo kedze sa data platia, tak to co stahuju radsej pohladaju na sieti |
|
|
| |
|
|
|
|
|
|
