Wednesday, 23 June 2010

UCM 11g, 2. část: škálování a výkon

Minulý článek jsme zakončili tvrzením, že jedním z největším přínosů verze 11g je velký posun ve výkonu a možnostech škálování celého řešení.

Co se tím přesně míní? Pro výkon ECM řešení jsou důležité především 2 operace:
  • vkládání nového obsahu
  • schopnost zobrazit požadovaný obsah
Při vkládání je výzvou zejména jednorázové vkládání mnoha, relativně krátkých položek, které je třeba stejně rychle dát k dispozici uživatelům (opačný extrém, tj. vkládání velkých položek se moc optimalizovat nedá, protože závisí primárně na průtoku sítě). Typickým případem ze skutečného života může být zpracování emailů či např. vydaných faktur (na toto téma např. tento článek).
Pro poskytování obsahu je náročné zvládnout zejména scénář obsluhy dynamických webových stránek pro velkou komunitu uživatelů (public web).

Detailní výsledky je možné najít v tomto dokumentu a jsou skutečně impozantní. Např. na poměrně běžném hardware (2 CPU 2.33 GHz Xenon, 16 GB RAM) dosahuje UCM 11g pro soubory o velikostech 4-200 kB rychlosti vkládání 270, resp. 128 souborů za sekundu, to je 11-23 miliónů dokumentů denně na jednom uzlu UCM 11g!

Čím jsou takové rychlosti dosahovány? Hlavními přispěvovateli jsou databáze Oracle 11g (zejména technologie Oracle SecureFiles) a pak Fast Checkin mechanismus UCM, který umožňuje některé generické funkce (konverze, zahájení workflow, indexace na fulltextové vyhledávání) vypínat pro ty dokumenty, pro které to nemá smysl - např. TIFF vytvořený skenovací linkou nemá smysl ani konvertovat, ani indexovat.

A pokud by Vám dosahované hodnoty stále nestačily, je možné nasadit Sun Oracle Database Machine (Exadatu), na které je možné se dobrat až takových hodnot jako 1060 dok./sec (91 mil. denně) na 1/4 Exadaty, resp. 2070 dok./sec (179 mil. denně) na 1/2 Exadaty - testy byly prováděny se 100kB soubory.

Při poskytování webového obsahu se plně využívá Weblogic Server. Technologie "Open WCM" využívá tzv. smart caching - tj. webový objekt je z UCM přenesen přímo na Weblogic Server, kde setrvává, dokud jej UCM neprohlásí za neplatný. V jiném modelu je možné proaktivně vyspecifikovat, které objekty se takto mají cachovat přímo v rámci implementace site.
Tyto mechanismy lze ještě doplnit o cachování na proxy, kde se ukládají celé stránky.
V testech se kombinací dosahovalo výsledků až 124 stránek za sekundu (na komoditním hardware).

Při škálování, čímž se zde míní provozování na více uzlech clusteru, je pak žádoucí, aby režie clusteru byla co nejnižší, tj. aby byla investice do dalšího hardware co nejvíce využita. V tomto ohledu dokument příliš specifický není - jen zmiňuje, že UCM 11g dosahuje průměrného poměru kolem 95% (tj. 5% výkonu je spotřebováno režií clusteru). Zde záleží především na výběru operačního systému - pro Windows je režie větší, např. pro 128 uzlů Solaris byla režie jen kolem 2%.

(pokračování někdy příště)

Wednesday, 16 June 2010

UCM 11g, 1. část: změny v architektuře a jejich dopad

První a velkou změnou v UCM 11g je přebudování celé aplikace tak, že se (na rozdíl od 10g) jedná o J2EE aplikaci. Pro její běh je tudíž třeba aplikační server - v 11gR1 musí být tímto serverem Weblogic Server; v dalších releasech je očekávána i verze pro další aplikační servery (prozatím se mluví o Websphere a JBossu).

Pokud si stáhnete instalační balík na tomto linku a nahlédnete do dokumentace (nejlépe např. Quick Installation Guide), zjistíte, že instalační proces je na první pohled výrazně složitější. Např. datové schéma se vytváří pomocí aplikace RCU (Repository Creation Utility) a vlastní instalace pak jako deployment J2EE aplikace do prostředí Weblogic. Ve skutečnosti však šlo o to, aby se instalace všech produktů z balíku ECM prováděla více-méně stejně, a to i z důvodu následné vzájemné provázanosti těchto produktů mezi sebou, která už je prakticky bez jakéhokoliv dalšího úsilí.

Dalším důsledkem přechodu na Weblogic (resp. aplikační server) jsou dopady na správu uživatelů. Jakkoli stále ještě najdeme v administraci známý User Administration applet, uživatelé zde vytvoření (dříve se nazývali lokální) již nebudou mít do systému právo přístupu. Jedinou výjimkou (kvůli které je ještě tento artefakt zachován) jsou některé standalone aplikace (System Properties, Component Wizard), kam se stále přihlašuje "postaru" - i to ale časem zmizí a pak už všichni uživatelé budou výhradně externí, tj. definováni v LDAP resp. v security realmu aplikačního serveru. Hlavní výhodou je konsolidace správy uživatelů a mnohem lepší podpora standardních mechanismů jako Single Sign-On, správa webových služeb, jejich zabezpečení (standard SAML) apod.

Přechodem na Weblogic pak UCM také automaticky získává silný nástroj pro správu zdrojů, Enterprise Manager, ve kterém je zároveň možné sledovat vytížení, predikovat případné problémy s výkonem či dostupností, konfigurovat recovery management a v neposlední řadě tvořit nejrůznější reporty. Starý nástroj, Admin Server, zůstává (už není třeba jej startovat explicitně od Content Serveru), ale slouží výhradně pro správu UCM-specific úloh (správu komponent, editaci config souborů apod.)

Nejdůležitějším dopadem přechodu na Weblogic jsou však dopady na výkon a potenciál pro škálování celého řešení.

(Pokračování někdy příště)

Wednesday, 9 June 2010

Verze UCM 11g je venku!

Tento týden došlo konečně k uvolnění informačního embarga na oznámení o existenci verze 11g - konkrétně se týká o produkty
  • Universal Content Management
  • Universal Records Management
(pro Imaging and Process Management je verze 11g k dispozici už od začátku kalendářního roku)

Pokud byste měli zájem o informace z první ruky, registrujte se na webcast, který bude zítra 10.6.2010 ve 20 hodin na tomto linku.

Jinak budeme samozřejmě o novinkách spojených s novou verzí informovat na tomto blogu či na lokálně organizovaných akcích.

Novinky z Oracle CZ

Po velmi úspěšném působení Milana Sameše se ujímá vedení české pobočky Oracle Zdeněk Pilz, který donedávna stál v čele české pobočky Sun Microsystems.

S jeho názory se můžete seznámit i v interview nedávno poskytnutém Americké komoře, ze kterého jsou fotografie i video.

Jak možná někteyří vědí, v Oracle začíná v červnu nový fiskální rok, který bude kromě jiného také ve znamení stěhování české pobočky na novou adresu (zatím není definitivně potvrzena), takže se zdá, že se s novinkami skutečně roztrhl pytel.

Wednesday, 2 June 2010

Zabezpečení přístupu k dokumentům v Oracle UCM, část 4

4. Stavy položky v UCM
Kromě dříve zmíněných mechanismů může být přístup k položce omezen také díky interní stavové logice (reprezentované interním atributem Status, kterou není možné aktualizovat jako ostatní metadata). V podstatě platí, že není-li položka ve stavu Released, je buď něco špatně a nebo čeká na dokončení nějakého interního tasku.

Které akce mohou měnit stav položky?

a) nastavení ReleaseDate či ExpirationDate - položka je ve stavu Done či Expired a zobrazuje se výhradně v administrátorské aplikaci Repository Manager
b) vstup položky (nové verze položky) do workflow - položka je ve stavu Review resp. Edit resp. Pending a kromě Repository Manageru ji mohou vidět i účastníci workflow, kterým je přiřazena
c) konverze nativního dokumentu do web-viewable formátu (je-li užíváno) - položka je ve stavu GenWWW, tento stav by měl mít krátké trvání
d) smazání položky - položka je ve stavu Deleted

O změně hodnoty stavu položky viz. tento manuál, str. 1-16.

5. Speciální komponenty

Není asi překvapením, že kromě těchto standardních mechanismů existuje i nespočet bezpečnostních mechanismů dodávaných komponentami. Jako příklad uveďme rozšíření vyplývající ze standardní komponenty RecordsManager (DoD Edition) - viz zde. Zde se jedná o tzv. klasifikaci položky ('Důvěrné', 'Tajné', 'Supertajné'). Tato konkrétní implementace je velmi podobná bezpečnostním třídám - kromě nastavení atributu položky je však vyžádováno, aby si položka s sebou nesla i základní informace o klasifikaci resp. deklasifikaci položky; fakticky se tedy jedná o doplnění dalších metadat, které se základním atributem souvisí.
Jiným případem z oblasti RecordsManageru jsou tzv. doplňující označení (supplemental markings). Jedná se opět o textovou klasifikaci položky, na základě je možné přiřadit přístup k položce uživatelům. Na rozdíl od bezpečnostních skupin, či účtů, může být jedné položce přiřazeno více označení a uživatel má přístup k položce jen tehdy, má-li definováno oprávnění ke všem přiřazeným označením.

Wednesday, 26 May 2010

Zabezpečení přístupu k dokumentům v Oracle UCM, část 3

3. Přístupové seznamy (Access Control Lists)
Dalším mechanismem na definici přístupu jsou přístupové seznamy (Access Control Lists, ACLs). Jakkoli se nakonec setkáme s již známými oprávněními (permissions), jsou ACLs jistým způsobem jiné, než bezpečnostní skupiny či účty. A to především tím, že vůbec nic dopředu nedeklarují - přístup ke každé položce je možné definovat až na úrovni jednotlivé položky, tj. přímo v metadatech konkrétní položky je seznam uživatelů či skupin uživatelů, kteří mají v daném okamžiku k položce přístup. V předchozí větě bylo také naznačeno, že u ACLs se mnohem častěji dá předpokládat, že se budou v čase měnit. Řízené změny (např. v rámci workflows) jsou v pořádku, neřízené změny (odchod či změna pozice zaměstnance) se však mohou stát pěknou noční můrou - proto je třeba k implementaci ACLs přistupovat s mnohem větším rozmyslem.

ACLs se do Stellentu dostaly díky komponentě Collaboration Manager. Jejich popis proto najdeme v tomto manuálu. V poměrně nedávno uveřejněné notě na Metalinku (ID 603148.1) je však uveden i popis, jak využít tento mechanismus bez nainstalování komponenty.

Nasazení v rámci Collaboration Manageru má i tu výhodu, že poměrně úspěšně předchází riziku nekontrolovaného bujení zmatku v ACLs - ACLs se využívají jen v rámci tzv. projektů, které mají svého manažera spravujícího přístup a velmi často i předem danou délku trvání projektu, po které nezřídka dojde k zakonzervování dokumentace.

Jakkoli platí, že ACLs je skutečně možné definovat až na úrovni položky, velmi často se nastavení dědí, a to ze složky, do které je položka přiřazena (o nastavení složek viz tento manuál). Speciálními složkami jsou pak již zmíněné projekty - na této úrovni spravují přístup projektoví manažeři.

U ACLs, podobně jako u účtů také platí, že je možné v hierarchii práva nejen přidávat, ale i odebírat (do definice se přidá uživatel či skupina s prázdným seznamem oprávnění). Jinak také platí, že ACLs jsou doplňkem k ostatním mechanismům a výsledné oprávnění vzniká jako průnik všech oprávnění vztahujících se na položku. Při využití komponenty Collaboration Manager jsou automaticky všechny položky z projektů převedeny do bezpečnostní skupiny 'Project'. S výjimkou opodstatněných případů proto doporučuji tyto mechanismy raději nemíchat.

Pokračování v budoucích článcích.

Wednesday, 19 May 2010

Jak integrovat s UCM?

Jednou z nejčastějších otázek, zejména ze strany partnerů, je jak integrovat s UCM. Aby se na ni dalo odpovědět, je nejprve třeba vědět, za jakým účelem má integrace probíhat - jen pro příklad: jiné požadavky budou, je-li předmětem zájmu vyhledávání dokumentů uložených v UCM v organizaci, kde takovýchto úložišť je více, a jinak tomu bude, slouží-li úložiště pro ukládání nestrukturovaných dat pod velké systémy typu ERP.

Nicéně, velmi pěkný přehled na toto téma je možné nalézt v prezentaci jednoho z UCM guru Briana "Bexx" Huffa, která je k nalezení na tomto linku. Prezentace se jmenuje 10 nejoblíbenějších způsobů integrace s UCM a nabízí téměř kompletní (dnes je již 2 roky stará) výčet způsobů, jejich výhody i nevýhody, i jakési doporučení v jaké situaci který způsob užívat. Podle prezentace je 10 nejoblíbenějších způsobů těchto:
  1. Secure Enterprise Search - pro federované vyhledávání (i) v UCM
  2. SOAP
  3. CIS/CSP (Content Integration Suite / Content Portal Suite)
  4. Open WCM
  5. JCR Adaptér
  6. AJAX/Mashup
  7. Aqualogic Ensemble
  8. Records Management Adapters
  9. BPEL Workflows
  10. Custom components & Security Integrations
To, co bych dnes ještě doplnil, je
  1. WebDAV (zejména spolu s využitím komponenty Folders)
  2. RIDC (Remote Intradoc Client)
K některým způsobům ještě pár poznámek.

SOAP
SOAP volání je možné buď napřímo, nebo s využitím komponenty WSDL Generator s pomocí WSDL. Zajímavou volbou je i možnost přidání IsSoap=1 ke kterémukoliv URL - což jak píše Brian Huff, je jakási obdoba volání REST (ve své jednoduchosti).
Nevýhodami tohoto způsobu integrace jsou:
  • bezstavovost
  • to, že volaným je web server (HTTP resp. HTTPS request) se všemi plusy a mínusy, které jsou s tím spojeny
  • "ukecanost" (verbosity) protokolu, která se může odrážet na výkonnosti
Výhodou je naopak to, že tento protokol je možné využít prakticky z kteréhokoliv programovacího jazyka a pro vývojaáře např. v .NETu je metodou první volby.
Normou WSDL je WSDL 1.1.
Integrace přes Web Services je explicitně vyřazena ze Standard Edice UCM.

JCR Adaptér
...splňuje normu JCR 170 na úrovní Level 1 (Read-Only repository). Využívá se při integraci UCM s portálovými prostředími. Kromě omezení jen na čtení píše ještě Brian Huff, že adaptér funguje jen s java aplikacemi (tedy např. ne s MS SharePointem, kde se užívají jiné technologie) a že se obecně od tohoto standardu ustupuje ve prospěch CMIS (Content Management Interoperability Services). Uvidíme...

CIS/CPS, RIDC
Je-li SOAP metodou první volby pro .NET, pak tyto technologie jsou naopak první volbou pro integraci s java aplikacemi.
  • CIS - užívá UCPM API pro přístup ke službám k serveru. Pro inicializaci se využívají servlety, jedná se tedy o výrazně výkonnější rozhraní než SOAP
  • CPS - pak užívá CIS pro přístup z portálů. CPS fakticky představuje sadu základních portletů (vyhledávání, check-in/out, vkládání, workflows, administrace)
  • RIDC - představuje způsob, jak volat standardní Java API (využívané například v komponentách Content Serveru) z vnějších aplikací
Custom Components
Nakonec nesmíme zapomínat ani na možnost vytvářet vlastní komponenty. Dle Briana Huffa jsou nejlepšími kandidáty třídy odvozené z FilterEvents, které mohou obohatit jakoukoliv operaci nad dokumentem (vkládání, aktualizaci metadat, workflows). V případě volání SOAP se může část logiky přenést do komponenty - tím je možné odlehčit protokolu při zachování funkčnosti. Přesto doporučuji držet se zásady, že lze-li něco udělat standardními prostředky, mělo by se psaní vlastních komponent omezit jen na nejnutnější minimum.