Catmandu und PUB

Petra Kohorst, Vitali Peil
23. November 2012

Agenda:

• Was ist PUB?
• Was ist Catmandu?
• Gründe für die Umstellung
• Neue PUB-Architektur
• Migration
• Ausblick

Was ist PUB?

Allgemein:

• Publikationsdatenmanagementsystem
• OA-Repository
• Publikationslisten (persönlich und institutionell)
• Schnittstellen: OAI-PMH, SRU, HTTP

Speziell:

• Eigenentwicklung der Universitätsbibliotheken Gent, Lund und Bielefeld
• MySQL-Datenbank und Perl-Skripte
• Server für Testbetrieb und Livebetrieb

Die alte PUB-Architektur

Was ist Catmandu?

Was ist Catmandu?

• Gruppe von Perl Modulen
• http://search.cpan.org/~nics/Catmandu/
http://github.com/LibreCat/Catmandu/
• Vereinfachung von:
  • Datenimport
  • Speicherung
  • Retrieval
  • Datenexport
  • und Transformation von Metadatenrecords

Catmandu vereinfacht Code

Ohne Catmandu:

use luurCfg;
use Orms;
my $cfg  = luurCfg->new;
my $luur = Orms->new($cfg->{ormsCfg});

my $info = $luur->getAttributeValues(object => "2470705");
my $authors = $luur->getRelatedObjects(object1 => "2470705",
                                      relation => "isAuthoredBy");
my $authInfo; 
foreach(@$authors){
        my $ainfo = $luur->getAttributeValues(object => $_);
        push @$authInfo, $ainfo;
}
my $hit = $info;
$hit->{authors} = $authInfo;
        

Catmandu vereinfacht Code

Mit Catmandu:

Catmandu->load;
my $bag = Catmandu->store('search')->bag('publicationItem');
my $hit = $bag->search(cql_query => "id=2470705");
        

Catmandu::Fix

Gründe für die Umstellung

• Publikationslisten nicht performant genug
• Große Diskrepanz zwischen Entwicklungs- und Livesystem
• Großer Pflegeaufwand des Perl-Codes
• Entlastung der SBcat Datenbank durch Verteilung
• Zukunftsfähigeres System durch Catmandu und andere Technologien

Neue PUB-Architektur

• Basis: nach wie vor MySQL-Datenbank
• MongoDB
• ElasticSearch
• Catmandu-Framework
• Perl-Skripte
• CSL-Preprocessing und Speicherung
• Dancer als Webserver
• (Git als Versionierungssoftware)

Die neue PUB-Architektur

Migration

Seit Juni:

• Paralleler Aufbau eines kompletten Servers
• Gewährleisten der Abwärtskompatibilität der Schnittstellen
• Testen aller neuen Features und Komponenten

Donnerstag, 18.10.2012 (ein Tag vor Liveschaltung):

• Kopieren der PUB-Datenbank
• Aufbereiten der Zitationsdatenbank
• Erstindexierung mit ElasticSearch

Migration

Freitag, 19.10.2012 (Tag der Liveschaltung):

• Sperren des Logins
• Erneutes Kopieren der DB
• Update der Zitationen und des ES Indizes
• Umschalten der Adresse pub.uni-bielefeld.de auf die neue Maschine
• Freigabe des Logins

Ausblick

• Integration weiterer Dimensionen der Forschung
  • Projekte
  • Wissenschaftspreise
  • Forschungsdaten
• Personen- und Einrichtungsseiten
• Re-Design der Eingabeformluare
• ...

Vielen Dank!

PUB - Publikationen an der Universität Bielefeld
http://pub.uni-bielefeld.de