Comportemant étrange sur les i/o disques (serveumails & iostat inside)

Comportemant étrange sur les i/o disques (serveumails & iostat inside) - Installation - Linux et OS Alternatifs

Marsh Posté le 19-09-2008 à 11:50:50    

Bonjour,

 

J'ai un comportement étrange sur un serveur de messagerie (donc plein de petits fichiers) ...  Le serveur un gros monstre avec plein de ram et une carte SCSI PERC 5 avec 256 mo de cache.  Il se prend en moyenne 10mail/s  avec parfois des burst à 1/2K messages ...  (pas de colération sur la supervision avec la suite de la choucroute).
Au niveau des softs : postfix, mailscanner, clamav

 

De temps à autre les IO Wait augmentent de façon importante, les processus se bloquent, mais sans  aucune écriture sur le disque ...  puis d'un seul coup (en une seconde via le cache de la carte raid) 100 Mo sont écris sur le disque et les process bloqués sont débloqués.

 

5 minutes plus tard, tout revient dans l'ordre, l'écrite sur le disque se fait au fil de l'eau.

  

une idée ?

 


### Comportement étrange

Code :
  1. procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu------
  2. r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
  3. 0 47    168 1035680 122924 1377416    0    0     4    28 4205 7256  1  1 13 86  0
  4. 0 48    168 1033960 122928 1379240    0    0     0 10060 3222 5208  0  1 13 86  0
  5. 0 49    168 1029232 122936 1383992    0    0     0    16 6819 11813  1  1 13 85  0
  6. 0 51    168 1027256 122936 1386168    0    0     0    20 3538 6097  1  1 13 86  0
  7. 0 52    168 1027256 122936 1386168    0    0     0    12 1292 1936  0  0 13 87  0
  8. 0 53    168 1027264 122936 1386312    0    0     0    12 1327 1816  0  0 13 87  0
  9. 1 54    168 1027272 122936 1386312    0    0     4     4 1255 1431  0  0 13 87  0
  10. 0 55    168 1027336 122936 1386336    0    0     4     8 1353 1656  0  0 13 87  0
  11. 1 55    168 1018608 122944 1387104    0    0    24    12 2391 4522  2  1 12 84  0
  12. 0 58    168 1002860 122944 1389072    0    0    20    12 4413 7954  7  3 12 78  0
  13. 0 61    168 1000224 122952 1391784    0    0     0    16 4114 6905  1  2 13 85  0
  14. 0 64    168 997780 122952 1392940    0    0     8    24 2744 4943  1  3 12 84  0
  15. 0 18    168 995848 122968 1392924    0    0     0 97264 1894 3507  1  2 39 58  0
  16. 0 20    168 994720 122968 1393060    0    0     8     8 1389 1924  1  0 75 24  0
  17. 0 21    168 1013436 122968 1393060    0    0     0     4 1238 1283  1  1 75 24  0
  18. 0 23    168 1013436 122968 1393100    0    0     0    12 1294 1541  0  0 75 25  0
  19. 0 23    168 1013444 122968 1393100    0    0     0     0 1134  672  0  0 75 25  0
  20. 0 23    168 1013444 122968 1393100    0    0     0     0 1191  612  0  0 75 25  0
  21. 0 23    168 1013444 122968 1393100    0    0     0     0 1031  329  0  0 75 25  0
  22. 0 23    168 1013540 122968 1393100    0    0     0     0 1219  608  0  0 75 25  0
  23. 0 23    168 1013540 122968 1393100    0    0     0     0 1089  360  0  0 75 25  0
  24. 0 23    168 1014432 122968 1393100    0    0     0     0 1184  619  0  0 75 25  0
  25. 0 23    168 1016440 122968 1393100    0    0     0     0 1062  463  0  0 75 25  0
  26. 0 23    168 1015892 122968 1393104    0    0     0     0 1168  604  0  0 75 25  0
  27. 0 23    168 1013844 122968 1393104    0    0     0     0 1080  427  0  0 75 25  0
  28. 0 23    168 1013844 122968 1393104    0    0     0     0 1185  605  0  0 75 25  0
  29. 0 23    168 1013992 122968 1393104    0    0     0  9940 1058  382  0  0 75 25  0
  30. 0 23    168 1014180 122968 1393104    0    0     0     0 1163  467  0  0 75 25  0
  31. 4  8    168 947940 123064 1394076    0    0   204  3580 2039 4640 27  7 47 20  0
  32. 1  9    168 936036 123064 1394552    0    0     4   700 1506 1935 20  1 54 24  0
  33. 0 10    168 929224 123064 1394552    0    0     8   588 1473 1489  9  1 62 28  0
  34. 0 10    168 927480 123072 1394572    0    0     0  1696 1397 1752  0  0 62 37  0
 


### Comportement normal

Code :
  1. procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu------
  2. r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
  3. 5  0    168 747136 126368 1392832    0    0     4  2572 2090 9701 11  5 84  0  0
  4. 1  0    168 736844 126424 1392556    0    0    16  1456 2215 3796 21  3 76  0  0
  5. 1  0    168 729560 126476 1392504    0    0     4   748 1721 4376  6  2 92  0  0
  6. 1  1    168 767916 126544 1392456    0    0    12  1720 2034 4376  5  3 93  0  0
  7. 1  2    168 770268 126612 1392388    0    0    80  7908 2814 5200 17  4 75  3  0
  8. 2  0    168 763408 126660 1392336    0    0    12  1280 1572 7658 10  3 87  0  0
  9. 2  0    168 766028 126736 1391968    0    0    28  5528 2218 3885 18  5 75  3  0
  10. 1  0    168 805996 126828 1391936    0    0     8  3792 2221 7327 12  4 83  0  0
  11. 3  0    168 825100 126896 1391868    0    0    28  4968 2454 4876 15  4 80  1  0
  12. 0  0    168 827076 126960 1391676    0    0    16  3908 1917 6418  8  4 80  9  0
  13. 1  0    168 804632 126968 1391960    0    0    20   984 1738 4399  6  2 91  0  0
  14. 0  0    168 806780 127000 1391456    0    0     0  1292 1631 3775  2  2 96  0  0
  15. 1  0    168 828412 127076 1391380    0    0   220  3052 1980 3728 12  3 83  2  0
  16. 1  0    168 829124 127252 1391632    0    0    16  4256 2315 9545 19  6 73  1  0
  17. 0  0    168 811220 127272 1391612    0    0     4   396 2204 4693  2  1 96  1  0
  18. 2  0    168 822560 127320 1391848    0    0    24  2672 2805 7553  5  3 91  1  0
  19. 2  0    168 809920 127352 1391816    0    0     4  1132 2052 6230 14  2 83  1  0
  20. 3  0    168 822808 127420 1391792    0    0     0  1396 2088 4819  7  4 89  0  0
  21. 1  0    168 819756 127544 1391668    0    0    16  3312 2289 9542 11  6 82  1  0
  22. 0  0    168 824920 127624 1391804    0    0    28  3460 2243 5462 17  3 79  1  0
  23. 3  0    168 820872 127744 1391976    0    0     0  1804 1848 8042 10  5 85  0  0
  24. 0  0    168 838956 127816 1392032    0    0     0  2156 1683 5715  4  4 92  0  0
  25. 2  0    168 839204 127852 1391996    0    0     0   644 1511 3220  5  2 93  0  0
  26. 1  0    168 807236 127860 1392208    0    0     0   212 1594 3400  9  2 90  0  0
  27. 2  0    168 802980 127908 1392160    0    0     4  1632 1742 4370 16  3 81  0  0
  28. 3  0    168 779832 127956 1392712    0    0    16  6632 2837 7115 13  3 82  2  0
  29. 1  0    168 780956 128008 1392660    0    0     4  5880 2485 4345 17  2 80  1  0
  30. 2  0    168 776648 128072 1392872    0    0    20  4720 2108 3822 19  4 76  1  0
  31. 1  0    168 812980 128176 1392816    0    0    12  3096 2153 5554 16  5 78  1  0
  32. 4  0    168 832772 128340 1393520    0    0    24  5632 2075 7586 11  5 84  1  0
  33. 3  0    168 822380 128464 1394368    0    0    56  4288 2516 7462 16  6 77  2  0
  34. 1  0    168 798348 128576 1396320    0    0     0  4408 1624 4637 14  3 79  3  0


Message édité par gug42 le 19-09-2008 à 11:53:26
Reply

Marsh Posté le 19-09-2008 à 11:50:50   

Reply

Marsh Posté le 19-09-2008 à 13:05:57    

Si c'est du linux 2.6, est ce que ça ne pourrait pas venir du scheduler IO ?  
Si ce n'est pas encore le cas, tu as essayé avec le scheduler Deadline ?


---------------
Celui qui pose une question est idiot 5 minutes. Celui qui n'en pose pas le reste toute sa vie. |  Membre du grand complot pharmaceutico-médico-scientifico-judéo-maçonnique.
Reply

Marsh Posté le 19-09-2008 à 13:29:29    

C'est un 2.6 effectivement :  2.6.18-92.1.10.el5 .

 

Malheureusement j'atteinds les limites de mes connaissances ...  mais je suis pret à voir plus ;)  

 

Aurais tu des liens  ? une petite explication/tuto  ? ;)  (accessoirement je vais de ce pas google)


Message édité par gug42 le 19-09-2008 à 13:30:12
Reply

Marsh Posté le 19-09-2008 à 13:34:50    

http://www.wlug.org.nz/LinuxIoScheduler (pour commencer :D )

 

sur les serveurs avec beaucoup d'I/O disques, cfq semble parfois montrer des limites et deadline donnerait de meilleurs résultats.

 

tu peux changer à la volée si ton noyau est configuré pour :
http://www.linuxhowtos.org/System/iosched.htm


Message édité par Mjules le 19-09-2008 à 13:35:09

---------------
Celui qui pose une question est idiot 5 minutes. Celui qui n'en pose pas le reste toute sa vie. |  Membre du grand complot pharmaceutico-médico-scientifico-judéo-maçonnique.
Reply

Marsh Posté le 19-09-2008 à 13:48:38    

oki merci :)

 

je lie ... je me renseigne ... je voie ...  et je poserais surement des questions ;) :D

 

Bon Bon ... en meme temps on a un test de perf/optimisation applicatif de prévu d'ici un mois ou deux ... so


Message édité par gug42 le 19-09-2008 à 13:53:32
Reply

Marsh Posté le 19-09-2008 à 14:03:19    

Est ce que iostat repère ces phénomènes de groupage, de déplacement de tête  etc ?
Oki je commence à comprendre des trucs ...

 

Aurais tu un papier expliquant les relations avec les caches disques (encore plus avec un cache de carte raid de 256Mo) ...


Message édité par gug42 le 19-09-2008 à 14:04:26
Reply

Marsh Posté le 19-09-2008 à 14:14:50    

je n'ai que des notions basiques sur ce sujet désolé :/


---------------
Celui qui pose une question est idiot 5 minutes. Celui qui n'en pose pas le reste toute sa vie. |  Membre du grand complot pharmaceutico-médico-scientifico-judéo-maçonnique.
Reply

Marsh Posté le 19-09-2008 à 14:20:07    

c'est déjà mieux que moi :D

Reply

Marsh Posté le 19-09-2008 à 15:48:49    

Va falloir que je trouve un système (au sens logique/soft) pour reproduire le comportement ....


Message édité par gug42 le 19-09-2008 à 17:14:39
Reply

Marsh Posté le 21-09-2008 à 11:58:39    

t'as pas un iotop ?

Reply

Marsh Posté le 21-09-2008 à 11:58:39   

Reply

Marsh Posté le 22-09-2008 à 10:01:05    

malheuresement non.  
 
J'y ai bien pensé, mais je ne peux pas changer le kernel ...

Reply

Sujets relatifs:

Leave a Replay

Make sure you enter the(*)required information where indicate.HTML code is not allowed