Mérnökszemmel - Hibázott-e a biztonsági őr?

A napokban az egyik vezető hírportál nagyvilágról szóló aprói között fedeztem fel az alábbi cikket.

Röviden: 2020 szeptemberében egy michigani kutatóintézet ultramélyhűtőjét kikapcsolta a létesítményüzemeltető cég egyik alkalmazottja, mert az folyamatosan riasztott. Ennek következtében a hőmérséklet a hűtőben a kritikus szint fölé emelkedett, és több évtized kutatómunkájának eredménye, a tárolt kísérleti minták, sejtkultúrák és egyéb anyagok tönkrementek. Az egyetem szerződést bontott és pert indított a cég ellen. A cikkből kiderül, hogy az őr (vagy portás) a hűtő villamos betáplálási leágazásának kismegszakítóját kapcsolta le.

A cég ügyvédje úgy nyilatkozott, hogy “Az emberek viselkedése és hanyagsága okozta mindezt…”

Ezen a ponton álljunk meg néhány gondolat erejéig. 

Egy kicsit utánaolvasva a történteknek, több portál tollából is szemezgetve a témához kapcsolódó cikkekben mindenütt kiemelik, hogy:

• A hűtőgép egy ismert hiba miatt riasztott, melynek javítását már ütemezték;

• a hiba tényét a hűtő ajtaján (és/vagy környezetében) egy papírlapra kiírták;

• ráadásul a hangjelzés időszakos némítására vonatkozó instrukciókkal együtt.

Ki a hibás?

Adja magát, hogy a károsult fél mindent megtett, a károkozónak tehát viselnie kell a konzekvenciákat. Vagy talán mégsem? Az eset sajnos éppannyira abszurd, mint amilyen gyakorisággal valós, akár saját praxisunkon belül is.

Csupán hipotetikus alapon (mivel bővebb információ nem áll rendelkezésre, tehát a konkrét esetre nézve csak feltételezésekkel tudunk élni) vizsgáljuk meg különböző aspektusokból a kérdést:

Koncepció

Adott egy kutatási projekt, melyhez kapcsolódóan 25 év tárgyi evidenciáinak kritikus mennyiségét (ha hihetünk a cikkben leírtaknak) egyetlen helyen, egyetlen hűtőberendezésben tartják…

Műszaki

…melynek feltételezhetően nem volt redundáns betáplálása, a hibásnak tekintett riasztásjelzésen túl nem volt olyan másodlagos, vagy egyéb technikai jelzése, melyből a betáp kiesésére (s így a leállására) következtetni lehetett…

Szabályozás

…melynek használata során egy kritikus funkció kieséséhez, illetve üzemzavarához tartozó preventív intézkedések egy kiragasztott papírlap utasításaira korlátozódtak…

Biztonság és hozzáférhetőség

…s amelyhez (perifériális szinten, részben vagy akár teljes egészében) olyan mértékű hozzáférése volt egy - üzemvitele szempontjából - inkompetens személynek, hogy azt egyszerűen ki tudja venni üzemből.

A fenti pontokat egyenként is oldalakon keresztül lehetne elemezni, a “feltétezve” szót természetesen sűrűn ismételgetve, hiszen mint említettem, a háttérről keveset tudni, azonban a tények magukért beszélnek. 

Magam három olyan történetet osztanék meg, melyek nagyjából egyszerre jutottak eszembe, amikor a cikkeket olvastam.

“Hibás a vezetőképesség mérő”

Sok évvel ezelőtt egy multinacionális partnerünk magyarországi telephelyén dolgoztam a site felügyeleti SCADA rendszer egy kisebb bővítésén. A riasztástesztek egy részét a portaszolgálat kliensgépén kellett végrehajtani, akik munkakörük szerint a rendszer 0-24h felügyeletét is biztosították. A próbák során meglepve tapasztaltam, hogy a hangjelzés nem jön létre, annak ellenére, hogy a vizuális megjelenítéssel nincs gond. Már javában dolgoztam a hibakeresésen (átnézve a konfigurációs állományokat stb.) amikor az éppen ügyeletet adó kolléga - látva a tanácstalanságomat megjegyezte, hogy: “Ja, a hangszórók ki vannak kapcsolva, mert egyfolytában riaszt a rendszer.” (tévesen). Itt pár másodperc csend következett: részemről a döbbenet, részéről pedig - felteszem - az egyértelműnek érzett ok-okozati összefüggés pozitív fogadtatásának hiánya miatt, majd hozzátette: “Már egy csomószor beírtuk a hibanaplóba.”. Az immár visszakapcsolt hangszórók mellett sikeresen elvégzett teszt után a mérnöki állomásról átnéztem a vonatkozó logokat és kiderült, hogy az elmúlt másfél(!) évre az összes riasztás 95%-át ugyanazon egy szenzorról érkező jelek tették ki. Azt ellenőrizve a mért érték hihetőségi határon kívül volt, így egy képernyőkép kíséretében azonnal mentem is a “felfedezésemmel” az illetékes műszaki felelőshöz. “Igen, az az érzékelő másfél éve rossz.” Itt ismét csend következett…

Ki volt a hibás? A portás? Egyértelmű, hogy nem. Az ügyvezetéstől induló, a termelő, pénzügyi és mérnöki részlegek döntéshozóit bejáró és a portaszolgálat (mint végfelhasználó)  hierarchikus rendszerének egyértelmű, fentről lefelé súlyozott felelőssége a rendszerbe vetett feltétlen bizalom fenntartása. Ha egy felügyeleti rendszer kompromittálódik, akkor üzleti szempontból az értéke nulla, gyakorlati szempontból haszontalan, a kockázati faktora pedig a kritikusnál nem lehet alacsonyabb.

• Milyen mért jellemző az, amelynek nyilvánvaló hiánya (fals értéke) másfél évre visszamenőleg irreleváns?

• Milyen riasztási prioritással rendelkezik?  
  
  

• Ki és milyen módon határozta meg ezeket, és ha időközben szükségtelenné vált, hol követték le ezen változásokat?

  
  

• Hogyan fordulhat elő, hogy napi többszáz jelzés nem teszi indokolttá a cserét, illetve a javítást vagy a kivezetést (de minimum a riasztási funkció tartós felfüggesztését)?

  
  

• Ki lett volna a hibás, ha ebben a szituációban, a zavaró alarmok hatására egy másik - a tárgyihoz hasonló kaliberű - riasztást véletlenül figyelmen kívül hagynak?

“Ott mindig magas a hőmérséklet”

Adott egy másik nemzetközi partnerünk érdekeltségében üzemelő hőmérséklet- és páratartalom monitorozó SCADA rendszer. Nyár van, kánikula, éppen a szoftvervalidáció zajlik (embert próbáló párosítás). A klimatizált felügyeleti helyiségben persze itt is elviselhető, de közel fél órája csipog a riasztást jelző hangminta, kezd zavaró lenni. A diplomácia útjára lépve jelzem az ügyeletesnek, hogy az elmúlt 30 percben nem generáltam riasztást, tehát a jelzés nem tőlem származik. “Tudjuk. A keleti sarok tető alatti rész déltájban mindig túlmelegszik.” Kérdésemre, hogy felvegyem-e a riportba már érkezik is a válasz: “Sajnos az SOP előírja a kívánt hőmérséklet tartományt, így nem tudunk változtatni”. 

Ugye milyen szürreálisan hangzik?

• Ki határozta meg a szenzorok munkatartományát?

• Figyelembe vették-e az adott épület hőtechnikai paramétereit?

• Ha tényleges ez az elvárás, miért nem gondoskodnak gépészeti (légtechnika bővítés) vagy építészeti úton (szigetelés) a megoldásról?

• Milyen munkautasítás az, amely figyelmen kívül hagyja a realitásokat?

“A legöregebb gépünk”

Végül pedig az egyik legmegdöbbentőbb, mégis precedensek tekintetében elszomorító gyakorisággal előforduló eset. Egy felmérés alkalmával egy hazai nagyvállalat (potenciális partner) műszaki és gazdasági döntéshozóival ültünk egy tárgyalóasztalnál, és arról beszélgettünk, hogy melyik érintett gépegységhez hogyan lehetne hozzáférni adatgyűjtés céljából. Az egyik berendezés esetén a másik oldalon ülő kolléga büszkén mesélte, hogy a közel 40 éves konstrukció még ma is működik, sőt, az adott termék/gyártósoron SPOF (Single Point of Failure - egy rendszer olyan eleme, melynek hibája a teljes rendszerre hatással van), mert alternatívája nincs, és minden egyes termék megmunkálásában részt vesz. Amikor rákérdeztünk, hogy kommunikációs tesztek céljából mennyit állhat a gép, a termelésvezető és a supply chain felelős nem kis megütközéssel közölte, hogy semmit, a gép 7/24-ben üzemel, egy órás állásidő is n x 10 millió forint termeléskiesés. És itt megint jönnek a kérdések:

• Egyetlen érintett részlegen vagy döntéshozónál sem ég a “piros fény”: van egy 40 éves (30 éve nem supportált, és kb. 20 éve a világegyetemből is kihullott) gépegységem, amely nélkül megáll a termelés, és nekem nincs rá backup?

• Milyen kockázatkezelés mellett zajlik az üzemvitel, ha erről nem tud senki és/vagy nincs a gép esetleges kiesésésre legalább három különböző, az üzletmenet folytonosságát biztosító (DRP/BCP) alternatíva, amelyet hasonló esetekben követni lehet?

• Ha egyetlen óra állással 20 millió a veszteség, és a gép működését ismerők javarésze már a nyugdíjas éveit élvezi, mekkora termeléskieséssel kell számolni egy esetleges hiba esetén, és ez milyen arányban van egy kiváltó (alternatív) megoldás költségeivel?

Tehát akkor ki is a felelős?

A tapasztalat az, hogy a legritkább esetben a végrehajtási lánc végén állók, annak ellenére, hogy legtöbbször - mint itt is - őket jelölik meg felelősnek. A kivizsgálások célja pedig elenyésző esetben a tényleges, szükség esetén rendszer szintű korrektív/preventív revízió, sokkal inkább a felelősség gyors és egyértelmű delegálása, valamint a pénzügyi (és adott esetben személyi) konzekvenciák erre alapozott meghozatala. 

Az egyik ismert streaming szolgáltató, az HBO saját gyártású, Csernobil című sorozatában a világ talán legismertebb nukleáris katasztrófájának eseményeit dolgozza fel. Ajánlom mindenkinek!