Presentation time!
Datafying Bärn
Wer hat wann und wo in Bern gewohnt? Daten in den Adressbüchern der Stadt Bern (1900-1945) strukturieren.
⛶ Fullscreen
↓ Download
✨ Demo
Was?
Die Universitätsbibliothek Bern hat in Zusammenarbeit mit dem Stadtarchiv Bern die Adressbücher der Stadt Bern vollständig digitalisiert. Hier sind alle Einwohner, Gewerbe und Einrichtungen mit Adressen im alten Stadt-Bern verzeichnet. Wir beschränken uns in der Challenge auf die Einwohnerverzeichnisse der Jahrgänge 1900-1945 - diese verfügen zudem über (sehr interessante :) Berufsangaben der EinwohnerInnen.
Diese Angaben sollen in eine strukturierte Form überführt werden, damit sie für Analysen und weitere Anwendungen nutzbar werden. Denkbar ist ein einfaches Format wie z.B. CSV oder JSON, das die Daten Name, Vorname, Beruf, (Titel/Anrede), (Quartier), Strasse, Hausnummer, (Telefonnummer) enthält.
Wie sieht so ein digitalisiertes Adressbuch aus? Hier ist ein Beispiel. Die Adressbücher sind nicht nur so kapitelweise strukturiert zugänglich, sondern Bildateien, Original-OCR-Dateien, TXT-Dateien und PDFs (je Kapitel) sind über Schnittstellen verfügbar.
Und wo ist das Problem?
Die Datenelemente der Personen sind in der Regel mit Kommata getrennt, die Anzahl der Datenelemente kann jedoch variieren. Es werden viele Abkürzungen verwendet und es gibt dann und wann OCR-Fehler. Neben Personen tauchen auch Einrichtungen auf.
Materialien
📦 File: Infomaterial (PDF) zu Datenzugängen, Schnittstellen & Formaten
📦 File: Tabelle (CSV) mit IDs der Einwohnerverzeichnisse je Jahrgang
📦 Aktuelles amtliches Verzeichnis der Gebäudeadressen: Zur Kontrolle der OCR-erfassten und strukturierten Adressen, Hinweis: Spalte COM_FOSNR nach 351 (BFS-Gemeindenummer für Bern) filtern
📦 File: Familiennamenbuch der Schweiz (CSV) [Familiennamenbuch online] als Kontrollvokabular
Ausgangsdaten: Berner Adressbücher
- alle Bände (Jahrgänge) der Berner Adressbücher auf einen Blick auf e-rara
- Beispiel Seite JPEG, max. Auflösung
- Beispiel Seite ALTO-XML, original OCR-Datei
- Beispiel Seite TXT, Inhalt = original OCR-Daten
- Beispiel Kapitel Einwohnerverzeichnis, Textlayer = original OCR-Daten
Quellen für die Auflösung von Abkürzungen, historische Wörterbücher, topografische Informationen
- Sammlung von Thomas im Slack-Channel #datafying_bärn
Bern Address Book
Setup
$ git clone https://github.com/brawer/bern-addresses.git
$ cd bern-addresses
$ python3 -m venv venv
$ venv/bin/pip3 install -r requirements.txt
$ venv/bin/python3 src/fetch.py
This content is a preview from an
external site.
1 year ago
~
kwoitas
Sketching
Event finish
1 year ago
~
jovan_gocev
Add more family names from Wikidata, manually checked by Thomas Hayoz (@brawer)
Sketching
Write CSV output file with geocoded addresses (@brawer)
Sketching
Joined the team
1 year ago
~
jovan_gocev
Minor fixes to 1934-12-15.txt (#7) (@pdaengeli)
Fix crash due to malformed input in 1934 data file (@brawer)
Remove "Strasse" as family name (@brawer)
Extract phone numbers from 1900 to 1917, for address cleanup (@brawer)
Manual fixes by Jovan G. to 1934-12-15.txt, then applied OCR fixes (#6)
Manual fixes by Jovan G.
Applied OCR fixes to 1934-12-15.txt (@pdaengeli)
Merge pull request #5 from pdaengeli/main
Applied OCR corrections (@pdaengeli)
Applied OCR corrections (@pdaengeli)
Minor fixes for 1908 (@brawer)
Minor fixes for 1907 (@brawer)
Minor fixes for 1906 (@brawer)
Minor fixes for 1905 (@brawer)
Write CSV file with output addresses (@brawer)
Add Einstein as family name, for demo (@brawer)
Merge pull request #4 from pdaengeli/main
Applied OCR corrections (@brawer)
Applied OCR corrections (@pdaengeli)
Merge pull request #3 from pdaengeli/main
Applied misc OCR fixes (@brawer)
Integrated brawer's fixes to 1944 file (@pdaengeli)
Fix typos in 1944 (@brawer)
OCR corrections 1900-02-15.txt (@pdaengeli)
Merge branch 'main' into main (@pdaengeli)
Fix some typos in 1900 address book (@brawer)
Applied misc OCR fixes (cont.) (@pdaengeli)
Applied misc OCR fixes (@pdaengeli)
Cleanup: Kirchenfeld (@brawer)
Cleanup: Gehülfe, gehülfe (@brawer)
Cleanup: gasse + number (@brawer)
Cleanup: Misc. OCR fixes (@brawer)
Cleanup: gasse (@brawer)
Cleanup: Biihl -> Bühl (@brawer)
Merge pull request #2 from pdaengeli/main
Add OCR cleanup script (@brawer)
Start
Alle Teilnehmer*innen, Sponsor, Partner, Freiwilligen und Mitarbeiter*innen unseres Hackathons sind verpflichtet, dem Hack Code of Conduct zuzustimmen. Die Organisatoren werden diesen Kodex während der gesamten Veranstaltung durchsetzen. Wir erwarten die Zusammenarbeit aller Teilnehmer*innen, um eine sichere Umgebung für alle zu gewährleisten.
Tous les participant-es, sponsors, partenaires, bénévoles et collaborateur-es de notre hackathon sont tenus d'accepter le Hack Code of Conduct. Les organisateurs feront appliquer ce code tout au long de l'événement. Nous comptons sur la coopération de tous les participants* afin de garantir un environnement sûr pour tous. Pour plus de détails sur le déroulement de l'événement, veuillez consulter les directives sur notre wiki.
Tous les participant-es, sponsors, partenaires, bénévoles et collaborateur-es de notre hackathon sont tenus d'accepter le Hack Code of Conduct. Les organisateurs feront appliquer ce code tout au long de l'événement. Nous comptons sur la coopération de tous les participants* afin de garantir un environnement sûr pour tous. Pour plus de détails sur le déroulement de l'événement, veuillez consulter les directives sur notre wiki.
Die Inhalte dieser Website stehen, sofern nicht anders angegeben, unter einer Creative Commons Attribution 4.0 International. / Sauf indication contraire, le contenu de ce site est placé sous Creative Commons Attribution 4.0 International.