Microsoft zveřejnil strategii testů aktualizací Windows 10
16.12.2018, Milan Šurkala, aktualita
I když se to mnohdy nezdá, Microsoft testuje aktualizace svých Windows 10 dříve, než je vypustí do světa. Nyní na svém blogu zveřejnil složitou strukturu testovacích procesů a my se jen můžeme divit, proč to nefunguje.
Aktualizace systému Windows 10 přináší mnohdy více problémů, než samy o sobě vyřeší, a poslední October 2018 Update byl pro Microsoft doslova prokletým. Asi i proto na svém blogu nyní zveřejnil strategii testování aktualizací, aby ukázal, že na testy úplně nekašle a přeci jen je tu někdo, kdo software vyzkouší dříve, než ho vypustí na veřejnost. Říká, že ve špičce může dojít i k dokončení aktualizace na 1000 zařízeních za sekundu. Pojďme však k systému testování, který je používán. Microsoft využívá zejména tzv. Patch Tuesday aneb "B" release, čímž označuje aktualizaci, která nabíhá každé druhé úterý v měsíci v 10 hodin ráno Pacifického času. Ten je obvykle jediným, který přináší funkční i bezpečnostní aktualizace.
Dále jsou uvolňovány ještě "C" a "D" release ve třetím, resp. čtvrtém týdnu měsíce. V tomto případě jde o dobrovolné aktualizace pro komerční zákazníky a ty uživatele, kteří vyhledávají aktualizace ručně. Pro Microsoft se tak tito manuálně aktualizující stávají jakýmisi dalšími pokusnými zvířaty, kteří s předstihem otestují novinky, které se chystají pro následující "B" release. V těchto případech jde pouze o funkční aktualizace a nikoli bezpečnostní. Připomeňme, že zde jde o běžně vydané aktualizace široké veřejnosti, které se jen nenabízí automaticky, ale pouze manuálně (nejde tedy o Insider Program).
Mimo toto schéma jsou však vydávány občasné kritické bezpečnostní aktualizace, které si nemohou dovolit čekat skoro měsíc na další "B" release. Pokud jde o testování, je zde několik úrovní testů a rozhodně tak nejde o zkoušení aktualizací jen v Insider Programu a pak už "na lidech". Testovací struktura je stále poměrně rozsáhlá a navzdory rozpuštění interních testovacích týmů stále dochází i k interním testům, byť v ne tak velkém rozsahu.
- Pre-release Validation Program (PVP) - Testování aktualizací, které mají být uvolněny v takovém stavu, ve kterém se toto uvolnění plánuje.
- Depth Test Pass (DTP) - Automatické i manuální testování záplaty a všeho, co se zdá, že by mohla ovlivnit. Tedy nejen test toho, zda vyřešila problém, ale také to, zda nezpůsobila jiný. Jak dobře víme, zrovna tato část Microsoftu moc nejde.
- Monthly Test Pass (MTP) - Další regresní testy využívající interní i externí týmy na desítkách tisíců PC s různými konfiguracemi pro zajištění kompatibility.
- Windows Insider Program (WIP) - Dobrovolní testeři zkouší funkční aktualizace a opravy před tím, než se dostanou do "B" release. Bezpečnostní aktualizace se zde netestují, aby se nedávala hackerům větší šance na analýzu a využití ještě nezaplátovaných chyb u široké veřejnosti.
- Security Update Validation Program (SUVP) - Program na pozvání platný pro velké zákazníky. V tomto případě jsou testovány i bezpečnostní aktualizace před jejich zakomponováním do "B" release, proto jsou také zákazníci vybírání samotným Microsoftem.
- Další testování pomocí týmů Microsoftu u jiných služeb, jako je Azure, Office nebo SQL Server.
Toto ale zdaleka není všechno a opět, ačkoli to tak nevypadá, Microsoft dle svých slov monitoruje i odezvu. Vedle Live Site Validation Testing (LSVT) monitoruje vlastní diskuzní fóra podpory a snaží se analyzovat nalezené problémy. Pro odezvu se ale mají využívat také sociální média a jiná diskuzní fóra, která jsou monitorována pomocí systémů strojového učení.
Nedávné problémy ale ukázaly, že i když byly problémy nahlášeny (např. s mazáním souborů), Microsoft je ignoroval a před vydáním neopravil. Testování zrovna odbytě nevypadá, nicméně výsledky zejména za poslední dva měsíce tomu moc neodpovídají a doufejme, že Microsoft v budoucnu v této oblasti hodně zapracuje. Očividně ani toto vše nestačí.
Zdroj: hothardware.com, blog.windows.com
