comparaison de fichiers textes avec des tableaux en mémoire.

comparaison de fichiers textes avec des tableaux en mémoire. - VB/VBA/VBS - Programmation

Marsh Posté le 20-05-2006 à 12:29:51    

 
Bonjour,
 
Dans un cadre professionnel j'ai régulièrement besoin d'identifier les différences de paramétrage d'un progiciel travaillant sur une base de donnée sybase entre une base recette et une base préprod ou prod.
 
Les paramétrages sont extraits via des utilitaires dans des fichiers textes au format ascii.
Ces fichiers "ascii" sont convertis en "text" par un utilitaire sous unix
 
J'ai ensuite commencé a traivailler sur une macro permettant de lister les fichiers d'un répertoire (recette) puis de comparer chaque fichier au fichier equivalent de l'autre répertoire (production) pour enfin réécrire les lignes en différence dans chacun des répertoires.
 
Ca marche bien mais c'est lent, ca traite un mégaoctet de donnée a la minutes alors que sur des gros sites client on peut avoir plusieurs centaines de Mo de texte à comparer. SI ca prends une journée c'est pas top.
 
 
Pour rentrer dans le détails :
 
Une fois que mes fichiers sont chargés dans un tableau en mémoire, pour chaque ligne du premier tableau je balaye toutes les lignes du second tableau pour la rechercher, si je la trouve je les flag toutes les deux comme étant rapprochées sinon je la print dans un fichier.
Apres je balaye toutes les lignes non flagées du second tableau et je les print dans un autre fichier.
 
Je pense que cette partie pourrait être optimisée mais au vu de mes connaissances en vb je ne voie pas comment (déja pour l'utilisation des tableau j'ai beaucoup tatonné ...) Si on pouvait acceder au tableau via une sorte d'index pour retrouver dirrectement la ligne recherche ce serait royal est ce possible ?
 
Merci d'avance pour tous conseil relatif a l'optimisation de ce petit bout de code.
 
A+
 
 

Code :
  1. Option Explicit
  2. '----------------------------------------
  3. '----- Déclarations propres au module  --
  4. '----------------------------------------
  5. ' --- Les variables ---
  6. Dim Typerecherche As String
  7. Dim PathOrigine As String
  8. Dim PathDestination As String
  9. Dim ToLoadMask As String
  10. Dim ToDeleteMask As String
  11. Dim FileMask As String
  12. Dim FileSourceOrigine As String
  13. Dim FileSourceDestination As String
  14. Dim FileResultatOrigine As String
  15. Dim FileResultatDestination As String
  16. Dim ContenuResultatOrigine As String
  17. Dim ContenuResultatDestination As String
  18. Dim MaxLigneOrigine As Long
  19. Dim MaxLigneDestination As Long
  20. Dim TotalLigne As Long
  21. Dim NombreOccurence As Long
  22. Dim NombreOccurenceTotal As Long
  23. Dim NombreOccurenceErreur As Long
  24. Dim MaxRecherche As Long
  25. Dim Chaine As String
  26. Dim Path As String
  27. Dim File As String
  28. Dim Flag As Boolean
  29. Global ListeLigneOrigine As ListeLigne
  30. Global ListeLigneDestination As ListeLigne
  31. Type ListeLigne
  32.    Ligne() As String
  33.    Flag() As String
  34.    Nombre As Long
  35. End Type
  37. Public Sub Lister()
  38.     ' --- Initialisation des variables ---
  39.     NombreOccurence = 0
  40.     NombreOccurenceTotal = 0
  41.     NombreOccurenceErreur = 0
  42.     ResultatRecherche.Nombre = 0
  43.    
  44.     ' --- Lecture des paramètres de la recherche ---
  45.     PathOrigine = Range("Path_origine" ).Value
  46.     PathDestination = Range("Path_destination" ).Value
  47.     FileMask = Range("File_mask" ).Value
  48.     ToLoadMask = Range("To_load_mask" ).Value
  49.     ToDeleteMask = Range("To_Delete_mask" ).Value
  50.    
  51.     ' --- Constitution du tableau ---
  52.     BarRecherche.LabelProgress.Width = 0
  53.     BarRecherche.Show
  54. End Sub
  56. Public Sub Progression()
  57.     With BarRecherche
  58.         .FrameProgress.Caption = Format(a / TotalLigne, "0%" )
  59.         .LabelProgress.Width = a / TotalLigne * (.FrameProgress.Width - 10)
  60.     End With
  61.     DoEvents
  62.     If Range("Abort" ) = True Then
  63.         Unload BarRecherche
  64.         Exit Sub
  65.     End If
  66. End Sub
  68. Public Sub Bar_Lister()
  69.     ' --- Déclaration des variables ---
  70.     Dim r As Long
  71.     Dim l As Long
  72.     Dim o As Long
  73.     Dim d As Long
  74.     Dim a As Long
  75.     Dim fs, FD, FO
  76.     ' initialisation des variables
  77.     TotalLigne = 0
  78.     a = 0
  79.     ' --- Recherche de tous les fichiers ---
  80.     Set fs = CreateObject("Scripting.FileSystemObject" )
  81.     NombreOccurence = Rechercher(PathOrigine, "*" + FileMask, ResultatRecherche)
  82.        
  83.     ' --- Premiere passe pour estimer le temps de traitement ---
  84.     For r = 1 To ResultatRecherche.Nombre
  85.         FileSourceOrigine = Trim(ResultatRecherche.Chemin(r)) & Trim(ResultatRecherche.Fichiers(r).cFileName)
  86.         Open FileSourceOrigine For Input Access Read As #1
  87.         While (Not EOF(1))
  88.             Line Input #1, Chaine
  89.             If Chaine <> "" Then
  90.                 TotalLigne = TotalLigne + 1
  91.             End If
  92.         Wend
  93.         Close #1
  94.         FileSourceDestination = ReplaceString(Trim(ResultatRecherche.Chemin(r)), PathOrigine, _
  95.             PathDestination) & Trim(ResultatRecherche.Fichiers(r).cFileName)
  96.         Open FileSourceDestination For Input Access Read As #1
  97.         While (Not EOF(1))
  98.             Line Input #1, Chaine
  99.             If Chaine <> "" Then
  100.                 TotalLigne = TotalLigne + 1
  101.             End If
  102.         Wend
  103.         Close #1
  104.     Next r
  105.    
  106.     ' --- 2eme passe pour effectuer le traitement
  107.     For r = 1 To ResultatRecherche.Nombre
  108.         ' Réinitialisation des variables
  109.         ListeLigneOrigine.Nombre = 0
  110.         ListeLigneDestination.Nombre = 0
  111.        
  112.         ' Lectures des fichiers
  113.         FileSourceOrigine = Trim(ResultatRecherche.Chemin(r)) & Trim(ResultatRecherche.Fichiers(r).cFileName)
  114.         Open FileSourceOrigine For Input Access Read As #1
  115.         While (Not EOF(1))
  116.             Line Input #1, Chaine
  117.             If Chaine <> "" Then
  118.                 ListeLigneOrigine.Nombre = ListeLigneOrigine.Nombre + 1
  119.                 ReDim Preserve ListeLigneOrigine.Ligne(1 To ListeLigneOrigine.Nombre)
  120.                 ReDim Preserve ListeLigneOrigine.Flag(1 To ListeLigneOrigine.Nombre)
  121.                 ListeLigneOrigine.Ligne(ListeLigneOrigine.Nombre) = Chaine
  122.                 ListeLigneOrigine.Flag(ListeLigneOrigine.Nombre) = ""
  123.                 MaxLigneOrigine = ListeLigneOrigine.Nombre
  124.             End If
  125.         Wend
  126.         Close #1
  127.         FileSourceDestination = ReplaceString(Trim(ResultatRecherche.Chemin(r)), PathOrigine, _
  128.             PathDestination) & Trim(ResultatRecherche.Fichiers(r).cFileName)
  129.         Open FileSourceDestination For Input Access Read As #1
  130.         While (Not EOF(1))
  131.             Line Input #1, Chaine
  132.             If Chaine <> "" Then
  133.                 ListeLigneDestination.Nombre = ListeLigneDestination.Nombre + 1
  134.                 ReDim Preserve ListeLigneDestination.Ligne(1 To ListeLigneDestination.Nombre)
  135.                 ReDim Preserve ListeLigneDestination.Flag(1 To ListeLigneDestination.Nombre)
  136.                 ListeLigneDestination.Ligne(ListeLigneDestination.Nombre) = Chaine
  137.                 ListeLigneDestination.Flag(ListeLigneDestination.Nombre) = ""
  138.                 MaxLigneDestination = ListeLigneDestination.Nombre
  139.             End If
  140.         Wend
  141.         Close #1
  142.         ' Identification des différences & écritures des fichiers
  143.         FileResultatOrigine = ReplaceString(FileSourceOrigine, FileMask, ToLoadMask)
  144.         Set FO = fs.CreateTextFile(FileResultatOrigine)
  145.         For o = 1 To MaxLigneOrigine
  146.             Flag = False
  147.             For d = 1 To MaxLigneDestination
  148.                 If ListeLigneDestination.Flag(d) <> "Y" And ListeLigneOrigine.Flag(o) <> "Y" Then
  149.                     If ListeLigneOrigine.Ligne(o) = ListeLigneDestination.Ligne(d) Then
  150.                         ListeLigneOrigine.Flag(o) = "Y"
  151.                         ListeLigneDestination.Flag(d) = "Y"
  152.                         a = a + 2
  153.                         Flag = True
  154.                     End If
  155.                 End If
  156.             Next d
  157.             If Flag = False Then
  158.                 FO.writeline (ListeLigneOrigine.Ligne(o))
  159.                 ListeLigneOrigine.Flag(o) = "N"
  160.                 a = a + 1
  161.             End If
  162.             Call Progression
  163.         Next o
  164.         FileResultatDestination = ReplaceString(FileSourceDestination, FileMask, ToDeleteMask)
  165.         Set FD = fs.CreateTextFile(FileResultatDestination)
  166.         For d = 1 To MaxLigneDestination
  167.             If ListeLigneDestination.Flag(d) = "" Then
  168.                 FD.writeline (ListeLigneDestination.Ligne(d))
  169.                 a = a + 1
  170.             End If
  171.             Call Progression
  172.         Next d
  173.     Next r
  174.    
  175.     Unload BarRecherche
  177. End sub


 
 
PS : la fonction rechercher (x,y,z) permet de lister tous les fichiers d'un répertoire et de ses sous répertoires ayant une extention donné dans un tableau "Liste.recherche" mais comme c'est pas la partie qui me pose problème ...

 

 
 
 

 


 

Reply

Marsh Posté le 20-05-2006 à 12:29:51   

Reply

Marsh Posté le 20-05-2006 à 21:32:49    

Comme à priori tu comptes le nb de ligne de texte de tes fichiers
tu peux dimensionner tes tableaux hors des boucles
et éviter les  ReDim Preserve qui s'effectuent à chaque incrémentation de ces boucles
Par curiosité si cela améliore les choses indique moi les temps avant/après
 
pour cela tu peux faire appel à :
Private Declare Function GetTickCount Lib "kernel32" () As Long
 
puis avec 2 variables Debut, Fin déclarées en Variant
    Debut = GetTickCount
    ........
    Fin = GetTickCount - Debut
    puis  Format(Fin / 1000, "0.0" ) pour afficher le temps passé


Message édité par kiki29 le 20-05-2006 à 22:48:59
Reply

Marsh Posté le 21-05-2006 à 11:47:35    

Merci, je vais essayer mais j'ai l'impression que le temps de chargement des fichier est négligeable et que c'est vraiment la partie comparaison qui pose problème.
 
En VB est il posible de déclarer un tableau et de retrouver une ligne de ce tableau sans le balayer en entier ?

Reply

Marsh Posté le 21-05-2006 à 16:45:01    

ListeLigneOrigine.Ligne(indice) par exemple  
 
il y a aussi à tenir compte de la declaration de depart  
Option Base pour redéfinir la valeur par défaut d'indice de tableau de base, égale à 0 en déclarant Option Base 1


Message édité par kiki29 le 21-05-2006 à 16:45:44
Reply

Marsh Posté le 22-05-2006 à 07:23:03    

Un lien peut être utile http://www.vb-helper.com/howto_qui [...] cates.html
mais à adapter


Message édité par kiki29 le 22-05-2006 à 07:24:50
Reply

Marsh Posté le 23-05-2006 à 01:37:38    

merci pour les exemples de scripts un peu compliqué mais j'apprendrais quelquechose en passant et il y a des trucs qui ont l'air tres intéressants.
 

Reply

Sujets relatifs:

Leave a Replay

Make sure you enter the(*)required information where indicate.HTML code is not allowed