93578
Oct 19, 2018, updated at 10:44:29 (UTC)
1880
11
0
Alle Strings vor "-" durch Hash-Wert (SHA1) zu ersetzen
Hallo an alle,
ich habe folgendes Problem:
Eine txt-Datei sieht so aus:
Wie kann man alle Wörter in allen Zeilen, die vor "-" stehen in ein SHA1-Hash umwandeln?
Endergebnis soll etwa so aussehen:
Kann mir da jemand von Euch helfen?
Gruß,
Takitano
ich habe folgendes Problem:
Eine txt-Datei sieht so aus:
aa-1
bbbbbbbbbb-12
cccccccccccccccccc-123
ddd_ddd-1234
eeeeeee-12345
ffffff-123456
ggggg.ggggg-1234567Wie kann man alle Wörter in allen Zeilen, die vor "-" stehen in ein SHA1-Hash umwandeln?
Endergebnis soll etwa so aussehen:
e0c9035898dd52fc65c41454cec9c4d2611bfb37-1
45dfb79d668374f6578b3128746dce59b7a02e80-12
3990cdbab32e246d507b4297c361267a1713c9f2-123
5b567480718b3aab32c5295786d9949736ab19b4-1234
d6004a0f8fbb84595534a0f8323613b681917597-12345
c81019207890deb5cba8cda1de0dd6b1c229eeff-123456
8b1d3478a656980da1111f7cee36a2866ffa3c99-1234567Kann mir da jemand von Euch helfen?
Gruß,
Takitano
Share on Facebook
Share on Twitter
Share on Reddit
Share on LinkedinPlease also mark the comments that contributed to the solution of the article
Content-Key: 390108
Url: https://administrator.de/contentid/390108
Printed on: April 25, 2024 at 13:04 o'clock
11 Comments
Latest comment
Evtl. wichtig:
1) "-" kommt in diesen Wörtern (die umgewandelt werden sollen) nicht vor. Also kann man "-" als eindeutiiges Merkmal/Trennzeichen nutzen.
2) alle Wörter vor "-" bestehen nur aus ASCII-Zeichen
1) "-" kommt in diesen Wörtern (die umgewandelt werden sollen) nicht vor. Also kann man "-" als eindeutiiges Merkmal/Trennzeichen nutzen.
2) alle Wörter vor "-" bestehen nur aus ASCII-Zeichen
Ok. Zuerst kann ich alle Wörter vor "-" extrahieren.
cut -d- -f1 datei.txt > spalte1.txt
Das ist klar. Nun habe ich eine komplette Datei, wo jede Zeile in ein SHA1-Hash ungewandelt soll.
Aber wie? Für einzelnen Wort ist kein Problem mit sha1sum. Aber für mehrere?
Und wie kann ich danach die Dateien wieder zusammen "kleben"?
cut -d- -f1 datei.txt > spalte1.txt
Das ist klar. Nun habe ich eine komplette Datei, wo jede Zeile in ein SHA1-Hash ungewandelt soll.
Aber wie? Für einzelnen Wort ist kein Problem mit sha1sum. Aber für mehrere?
Und wie kann ich danach die Dateien wieder zusammen "kleben"?
Ok.
Das geht schon in die richtige Richtung:
Aber wie kann ich nun die beide Dateien: hashes.txt und test.txt zusammenfügen und Wörter for "-" durch Hashes aus hashes.txt ersetzen?
Das geht schon in die richtige Richtung:
cut -d- -f1 test.txt > spalte1.txt
while read line
do
/bin/echo -n "$line" | sha1sum >> hashes.txt
done < spalte1.txtAber wie kann ich nun die beide Dateien: hashes.txt und test.txt zusammenfügen und Wörter for "-" durch Hashes aus hashes.txt ersetzen?
Powershell
$Sha = New-Object System.Security.Cryptography.SHA1CryptoServiceProvider
$Enc = [system.Text.Encoding]::UTF8
$Lines=Get-Content C:\temp\Input.txt
$Lines | %{
$_ -match "(^.*)(-\d*)" | Out-Null
$Data=$Enc.GetBytes($matches[1])
$Hash=$Sha.ComputeHash($Data)
$Hash=[System.BitConverter]::ToString($Hash) -replace "-",""
$New=$Hash+$matches[2]
write-host $New
}
Moin,
Quick-'n-Dirty-Lösung:
Der Einzeiler
ergibt als Ausgabe:
lks
Quick-'n-Dirty-Lösung:
Der Einzeiler
lks@nana:~$ echo -n "aa-1
bbbbbbbbbb-12
cccccccccccccccccc-123
ddd_ddd-1234
eeeeeee-12345
ffffff-123456
ggggg.ggggg-1234567" | gawk -F "-" ' { print system("echo -n " $1 " | sha1sum - ; echo -n " $2) } ' | sed -e ':a;N;$!ba;s/ *-\n/-/g' | sed -e "s:0$::g"e0c9035898dd52fc65c41454cec9c4d2611bfb37-1
45dfb79d668374f6578b3128746dce59b7a02e80-12
3990cdbab32e246d507b4297c361267a1713c9f2-123
33fe852449b2dd83f7ed54168239655a54de04f9-1234
d6004a0f8fbb84595534a0f8323613b681917597-12345
c81019207890deb5cba8cda1de0dd6b1c229eeff-123456
8b1d3478a656980da1111f7cee36a2866ffa3c99-1234567
lks
Zuerts: vielen Dank an alle Helfer!
Es sieht zwar gut aus, aber...
1) Powershell kommt da leider nicht in Frage. Sorry, Kraemer!
2) Lochkartenstanzer, deine Lösung sieht fast perfekt aus, aber...
Wenn ich solche Zeilen habe:
wird das Ergebnis so dargestellt:
Die restlichen Symbole werden also abgeschnitten. Ich brauche aber alle Symbole nach dem ersten "-". Kann man da was machen? Danke trotzdem!
Es sieht zwar gut aus, aber...
1) Powershell kommt da leider nicht in Frage. Sorry, Kraemer!
2) Lochkartenstanzer, deine Lösung sieht fast perfekt aus, aber...
Wenn ich solche Zeilen habe:
abcdefgh-12345-12345
afwffwgegeb-1234567-123456-12345wird das Ergebnis so dargestellt:
SHA1-12345
SHA1-1234567Die restlichen Symbole werden also abgeschnitten. Ich brauche aber alle Symbole nach dem ersten "-". Kann man da was machen? Danke trotzdem!
Zitat von @93578:
2) Lochkartenstanzer, deine Lösung sieht fast perfekt aus, aber...
Wenn ich solche Zeilen habe:
wird das Ergebnis so dargestellt:
2) Lochkartenstanzer, deine Lösung sieht fast perfekt aus, aber...
Wenn ich solche Zeilen habe:
abcdefgh-12345-12345
> afwffwgegeb-1234567-123456-12345wird das Ergebnis so dargestellt:
SHA1-12345
> SHA1-1234567Dann spezifieziere korrekt und paß die quick'n-Dirty-Lösung Deinen Bedürfnissen an. Die Werkzeuge (awk, sed, echo, pipe) hast Du ja.
Die restlichen Symbole werden also abgeschnitten. Ich brauche aber alle Symbole nach dem ersten "-". Kann man da was machen?
Ja. paß das awk-Statement an.
lks
Leider bin ich im Linux eine Niete...
Mit "sha1sum - ; echo -n " $0) " bekomme ich:
SHA1-abcdefgh-12345-12345.
Im Internet finde ich nichts dazu.
Mit "sha1sum - ; echo -n " $0) " bekomme ich:
SHA1-abcdefgh-12345-12345.
Im Internet finde ich nichts dazu.
Zitat von @93578:
Leider bin ich im Linux eine Niete...
Mit "sha1sum - ; echo -n " $0) " bekomme ich:
SHA1-abcdefgh-12345-12345.
Im Internet finde ich nichts dazu.
Leider bin ich im Linux eine Niete...
Mit "sha1sum - ; echo -n " $0) " bekomme ich:
SHA1-abcdefgh-12345-12345.
Im Internet finde ich nichts dazu.
http://www.grymoire.com/Unix/Sed.html
https://www.gnu.org/software/gawk/manual/gawk.html
http://openbook.rheinwerk-verlag.de/shell_programmierung/shell_014_000. ...
http://openbook.rheinwerk-verlag.de/shell_programmierung/shell_015_000. ...
lks
PS. Ich schau mal nachher, wenn ich Luft habe, was sich da machen läßt.
PPS: Spezifizier mal das genaue Eingabeformat! Denn
Evtl. wichtig:
1) "-" kommt in diesen Wörtern (die umgewandelt werden sollen) nicht vor. Also kann man "-" als eindeutiiges Merkmal/Trennzeichen nutzen.
2) alle Wörter vor "-" bestehen nur aus ASCII-Zeichen
1) "-" kommt in diesen Wörtern (die umgewandelt werden sollen) nicht vor. Also kann man "-" als eindeutiiges Merkmal/Trennzeichen nutzen.
2) alle Wörter vor "-" bestehen nur aus ASCII-Zeichen
ist etwas anderesals Du jetzt sagst.
Sorry,
ich habe mich geirrt. Das hat mir mein Kollege gerade gesagt. Kein Wunder bei zig Millionnen Zeilen...
ich habe mich geirrt. Das hat mir mein Kollege gerade gesagt. Kein Wunder bei zig Millionnen Zeilen...
Hier ist die Lösung:
Danke an alle Helfer!
cut -d- -f1 test.txt > spalte1.txt
while read line
do
/bin/echo -n "$line" | sha1sum >> SHA1.txt
done < spalte1.txt
cut -d- -f2- test.txt > spalte2.txt
paste SHA1.txt spalte2.txt > fertig.txt
rm SHA1.txt
rm spalte1.txt
rm spalte2.txtDanke an alle Helfer!
