作為一個體驗設計師，我們會面臨很多問題：復雜的產(chǎn)品需求、糾纏的技術邏輯、難以決策的設計方案、難以計量的設計價值。
而對于面對橫跨 IaaS, PaaS, SaaS 幾百款產(chǎn)品的阿里云設計師，問題更具挑戰(zhàn)性，但也更具備機會。我們面臨著龐大的產(chǎn)品體系，也就意味著充足的實踐空間；我們面對著復雜的設計問題，也就意味著全面的經(jīng)驗沉淀。因此，如何在支撐業(yè)務的同時創(chuàng)造機會，讓設計在行業(yè)中釋放出更大的能量和價值，就成為了我們的使命。
我們意識到，對于一個復雜的產(chǎn)品系統(tǒng)，體驗設計師不應僅是體驗的微觀設計者，也應是體驗的宏觀管理者。但體驗是一個過于寬泛和宏大的詞，而我們專注于其中和設計師最緊密也最攸關的部分：產(chǎn)品的使用體驗，即用戶在產(chǎn)品使用場景中完成期望目標時所產(chǎn)生的體驗。這是用戶和產(chǎn)品直接接觸的部分，也是最有感知的部分。
而這篇文章，就是為您分享阿里云設計中心建立的阿里云產(chǎn)品使用體驗度量系統(tǒng) – UES。
UES（User Experience System）是阿里云設計中心通過多年設計實踐中沉淀下來的云產(chǎn)品使用體驗度量系統(tǒng)，它不僅是一套方法論，更是一套可運行的體系，由三大部分有機構成：
- 一個包含五大維度的 UES 體驗度量模型。
- 一個體驗問題從發(fā)現(xiàn)到閉環(huán)的體驗管理機制。
- 一個易用性測試和數(shù)字化管理的體驗工具集。
通過 UES，我們度量、我們監(jiān)測、我們改進。我們希望打造云計算領域第一個系統(tǒng)化、工具化的產(chǎn)品使用體驗管理體系，并致力于將它開放給更多行業(yè)的設計師所用。
但羅馬不是一天建成的，憑空出現(xiàn)的大廈要么是海市蜃樓，要么是空中樓閣，而對于任何不斷進化的復雜系統(tǒng)，科學的推理過程，往往比暫時的結果更有價值。因此這回，我們不直接給你結果，而是把故事從頭說起。
1. 無度量，無管理
我們?nèi)绾喂芾眢w驗？現(xiàn)代管理學之父，彼得·德魯克說：「如果你不能很好地度量它，也就無法有效地管理它。」
If you can’t measure it, you can’t manage it。
Druker
現(xiàn)代商業(yè)社會本質上是建立在數(shù)字交換上的社會，生產(chǎn)、購買、售賣、投資、貿(mào)易，新的價值在勞動中產(chǎn)生，又被一次次計量和轉換為新的形態(tài)。如果用戶體驗不能被度量，就注定難以融入到這個數(shù)字構成的生產(chǎn)和管理體系中。因此，我們做的第一件事情，便是尋找一個和用戶體驗關聯(lián)的商業(yè)產(chǎn)品核心度量指標。
我們發(fā)掘的第一個指標，是 NPS：Net Promoter Score，凈推薦值。
但這個過程并非一帆風順，硬核的阿里云產(chǎn)品從來都是技術導向，對用戶體驗的感知度不像 C 端產(chǎn)品那么強烈，更難引起重視。我們決定先在小范圍的產(chǎn)品進行切入。2016 年 10 月起，我們首先從云安全的產(chǎn)品入手，一步步去推進 NPS 度量，去建立體驗心智。同時，在 NPS 的問卷中，我們加入更細致的滿意度問卷，讓用戶更好地反饋，對體驗問題進行深入洞察。
設計中心的持續(xù)推動，讓 NPS 開始被產(chǎn)品的管理者所認可和重視。那些不確定的用戶體驗，開始轉化為確定的凈推薦值和大量的體驗問題反饋，給產(chǎn)品改進帶來實實在在的指引，進而又讓產(chǎn)品更加重視對用戶體驗的管理。體驗和產(chǎn)品的故事，從此走向了一個良好的正循環(huán)。而過去一年，NPS 已經(jīng)從一個設計發(fā)掘的體驗數(shù)值，變成了大量云產(chǎn)品的核心指標，而從這些舉足輕重的產(chǎn)品中，我們發(fā)現(xiàn)并改進上百個用戶體驗問題。
但對于設計師來說，度量用戶體驗的命題卻遠未得到解決。NPS 更多側重在用戶的綜合評價上，包含產(chǎn)品價格、安全性、穩(wěn)定性等綜合因素，用戶體驗的要素被掩蓋在這些復雜的「變量」中難以剝離。
而控制和分離變量，是一個科學的度量系統(tǒng)最基本的要求。于是，我們的設計師又開始了新一輪的研究和測試，以尋找一個更合適的用戶體驗度量方法，去回答一個最基本的問題：
2. 我的產(chǎn)品使用體驗，好嗎？
要回答這個問題，首先要回答的是：什么因素會影響產(chǎn)品使用體驗？
1989年，在技術接受模型( Technology Acceptance Model，TAM )中，Davis 指出了兩個影響技術類產(chǎn)品使用的核心因素：「有用性（usefulness）」和「易用性（ease of use）」！赣杏眯浴垢嗍钱a(chǎn)品能力本身層面的屬性，關乎功能和商業(yè)，而「易用性」則是設計師能把握和發(fā)力的核心，因此，我們決定聚焦「易用性」，作為撬動中后臺技術產(chǎn)品使用體驗的杠桿。
那，如何度量易用性呢？
通過對計算機系統(tǒng)可用性問卷（computer system usability questionnaire，CSUQ）、用戶界面滿意度問卷（Questionnaire for User Interface Satisfaction，QUIS）、網(wǎng)站分析和測量問卷（WAMMI）、系統(tǒng)可用性量表（System usability scale，SUS）等 15 個經(jīng)過廣泛應用的體驗度量方法進行分析和驗證，并基于測試難度和置信區(qū)間進行綜合評估，最終我們得出結論：
并沒有一個合適的易用性量表。
這些量表雖然久經(jīng)考驗，但它們都不是為互聯(lián)網(wǎng)時代和云產(chǎn)品體系而生。以 SUS 量表為例，John Brooke 在 1986 年編制它的時候，喬布斯剛剛離開蘋果創(chuàng)建 NeXT ，距離中國第一封電子郵件發(fā)出還有一年。它也并非為中文而設計，其中的第8題：「我發(fā)現(xiàn)這個系統(tǒng)使用起來非常笨拙(cumbersome)！乖趯嶋H測試時讓用戶十分困惑，因為在中文語境中，很少有人會用「笨拙」這個詞去形容一個軟件系統(tǒng)，但你又很難找到一個更合適的詞匯去覆蓋它的本意。
因此，與其墨守成規(guī)地去套用一個過時的量表，我們決定去粕取精，去設計一個適合我們自己的量表。在15個易用性問卷中，我們抽取合并出30個典型問題，并走訪客戶和用戶研究專家，讓他們選擇這30個問題中最關心和認為最重要的問題，以此確定一個12題版的標準問卷，以及6題版的核心問卷。我們把這套度量表，命名為：
3. 易用性度量量表
Product ease of use metric, PEM
問卷有了，但這個問卷的有效度，值得被信賴嗎？
在進行了一段時間的實驗室測試后，我們對收集到的樣本數(shù)據(jù)進行了一次信度分析，在最常用也是最準確的科隆巴赫 α 系數(shù)分析中，我們的評分甚至優(yōu)于 SUS 等傳統(tǒng)量表的信度。而更關鍵的是，有了高置信度的量表，我們不再需要成百上千的測試數(shù)，而是達到十幾個樣本即可。這對許多需要用戶基數(shù)比較少和測試難度高的技術產(chǎn)品無疑至關重要。
整體量表值得信賴還不夠，我們又進一步進行了探索性因素分析，以驗證我們的問卷是否能有效地將 12 個變量綜合為 3 個核心因子，它們分別是：
- 易操作性：反映產(chǎn)品是否易操作，與用戶的操作效率和任務完成率密切相關。
- 易學性：反映產(chǎn)品是否易于學習，衡量其學習成本與上手難度。
易見性（清晰性）：反映產(chǎn)品的感知清晰性，關乎其信息展示、結構布局和功能入口等方面。
而通過 KMO 和 Bartlett 的檢驗，發(fā)現(xiàn)易用性量表非常適合進行因子分析，結果具有顯著性，且量表 3 個維度項目的因子載荷系數(shù)符合易用性預設的專業(yè)維度，綜合說明易用性量表具有較高效度水平。
如果以上統(tǒng)計分析過于拗口的話，用人話說就是：
「易用性度量量表，你值得信賴！
驗證了置信度后，我們立刻想到，那易用性 PEM 評分，和 NPS 是否有關聯(lián)呢？而對樣本數(shù)據(jù)的統(tǒng)計分析后，易用性和 NPS 被認為是：強正相關。
這意味著，產(chǎn)品易用性和產(chǎn)品凈推薦值中存在著一道隱形的橋梁，在理論上，我們能間接驗證體驗的商業(yè)價值。易用性的理論體系建立完成后，很快，我們撰寫了一份易用性度量的規(guī)范指南，包含「任務制定-用戶招募-易用性測試評分-統(tǒng)計分析-度量報告-問題解決」的整個測試閉環(huán)流程，以幫助易用性測試的標準化執(zhí)行。
但更重要的是機制。我們成立了易用性小組，組織產(chǎn)品易用性測試專場，以保障測試工作的有序開展。在這個過程中，業(yè)務方真切地觀察到用戶的行為，聽到了用戶的聲音，也了解了產(chǎn)品體驗的重要性和體驗度量的專業(yè)方法。這時的易用性度量就不再僅是一場專業(yè)的研究行為，也是一次潛移默化間，不同團隊和角色互相理解和信任的關系建構。
4. 由點到面：阿里云體驗度量系統(tǒng) UES
有了易用性測試的成功為基礎，我們便有了更多的信心，去探索更全面的云產(chǎn)品體驗度量系統(tǒng)。而這，就是回到了我們前面說的，阿里云產(chǎn)品使用體驗度量系統(tǒng)：UES（User Experience System）。
易用性描述了產(chǎn)品體驗的一個重要維度，但不是唯一。交互和視覺設計是否一致、頁面渲染和API調用是否快捷，這些或主觀或客觀的因素都會綜合影響用戶體驗。
和易用性的思路一樣，我們也不機械套用已有的模型。適合網(wǎng)站的 PLUSE、谷歌的 HEART、螞蟻的 TECHP，它們各有切入點，也各有其適應場景。方法雖無法窮盡，思維卻可以歸納。我們發(fā)現(xiàn)，無論模型怎么變化，表達產(chǎn)品體驗的重要度量指標，總逃不開這三個范圍：用戶態(tài)度、用戶行為、系統(tǒng)表現(xiàn)。
于是我們根據(jù) B 類技術產(chǎn)品特性，在多個維度中評估和挑選，重新思考定制，設計了 UES 模型的五個維度：
易用性 – Ease of use
易?性是產(chǎn)品使用質量的核心維度，它反應產(chǎn)品對?戶而言是否易于學習和使用，包含易學性、易操作性和清晰性3個維度。易?性的提升可以促進操作效率和任務完成率的提升、降低學習成本、提升?戶體驗和滿意度。
一致性 – Consistency
一致性指多款產(chǎn)品間通用范式部分的一致程度，分為整體樣式、通用框架和常用場景及組件等維度。對于?戶??，體驗?致性的提?可以降低?戶的操作時?及錯誤率，降低學習成本，提升?戶的滿意度；對于產(chǎn)品設計及開發(fā)者??，保持體驗?致性可以提升開發(fā)效能，產(chǎn)品模塊的可集成性、穩(wěn)定性和可延續(xù)性更?。
滿意度 – Happiness
滿意度反映著用戶對產(chǎn)品或服務的期望被滿足的程度，這個指標一定程度上會反映用戶再次使用和對產(chǎn)品進行推薦的程度。
任務效率 – Task Success
任務效率包含任務完成率和任務完成時間，云產(chǎn)品的任務鏈路相對復雜，針對有明確任務或有固定使用流程的產(chǎn)品，通過比對用戶路徑和產(chǎn)品設計的理想路徑之間的差異，能夠幫助我們發(fā)現(xiàn)產(chǎn)品流程設計上的問題。
性能 – Performance
監(jiān)控性能的指標有很多，其中最影響用戶感知的指標是首屏渲染時間（FMP），指用戶從發(fā)出請求到看到控制臺主要內(nèi)容的時間。其次，還包括頁面請求響應時間、API 請求響應時間等指標。
其中，NPS 問卷中的滿意度反映產(chǎn)品的整體主觀體驗；一致性提供以規(guī)范為綱的設計一致性走查和客觀計量方法；性能關注產(chǎn)品的體驗技術指標；任務通過 UBA 工具度量核心任務的成功率；易用性則得出產(chǎn)品體驗最核心的主觀指標，并輸出具體體驗問題清單，指導產(chǎn)品改進。
這五個維度有主觀，有客觀，有定性，有定量，我們用不同的測試方法和工具適應不同的測試指標，以期實現(xiàn)對一個產(chǎn)品各方位體驗的完整度量。這套模型還在不斷修訂和完善中，但最好的模型，不是一個完美的模型，而是一個在業(yè)務中應用的模型。
在模型階段性成熟后，我們立即開始了在業(yè)務工作流中的試點，從三件事情開始：
第一：促進 UES 成為了業(yè)務線體驗管理的抓手。
基于之前 NPS 和易用性達成的良好效果，加上業(yè)務線自身對產(chǎn)品體驗的訴求越來越強烈，UES 推出后很快獲得了理解和認可，設計團隊與業(yè)務線聯(lián)合發(fā)起了以 UES 為抓手的體驗改進項目，這讓 UES 能夠很快在業(yè)務產(chǎn)品中實際跑起來，獲取到真實的體驗數(shù)據(jù)和改進反饋。
第二：推動 UES 加入到產(chǎn)品商業(yè)化發(fā)布流程。
在阿里云，一款產(chǎn)品的真正發(fā)布需要經(jīng)過立項、研發(fā)、線上運行的層層篩選。而加入其中，意味著 UES 固化成為了產(chǎn)品發(fā)布的質量標準，背后是對公司從戰(zhàn)略層面對體驗的認可，也是對設計團隊之前所有體驗度量研究工作的認同與信任。
第三：打造核心產(chǎn)品的 UES 體驗改進最佳實踐。
云服務器 ECS 無疑是阿里云最核心的產(chǎn)品，為中國 80% 的創(chuàng)新企業(yè)提供彈性可伸縮的計算資源。我們選擇從 ECS 入手，不僅僅因為它是最核心的產(chǎn)品，更因為它是極其龐大和復雜的系統(tǒng)，如果能完成 ECS 的 UES 體驗度量，意味著我們就能覆蓋絕大多數(shù)的產(chǎn)品系統(tǒng)。
實踐也證明了 UES 的有效性，在第一輪的測試后，我們獲取了 ECS 的體驗基線，優(yōu)化了控制臺整體樣式一致性，針對易用性收集到的嚴重影響用戶體驗的問題，優(yōu)化重點鏈路的使用體驗和文案的易理解性。
幾個月后第二次測試，ECS 的各項 UES 指標都有不同程度的提升，且 NPS 評分也維持到了較高區(qū)間。更關鍵的是，大量過去不受重視的體驗問題得以曝光和修復，并反映到了實際的體驗分增長中。這三件事情確保了 UES 在阿里云商業(yè)化產(chǎn)品體系中順利和可持續(xù)的運轉，但這，還遠遠不夠。
5. 由面到體：體驗數(shù)字化管理平臺
各維度的數(shù)據(jù)指標產(chǎn)生后，很快我們就意識到，我們亟需一個「數(shù)字化管理平臺」來對這些數(shù)據(jù)進行統(tǒng)一的查看和管理，并保證洞察結果能夠改進落地。建平臺本身不是目的，但需要建立好工具和平臺，體驗管理才實現(xiàn)標準化和規(guī)；
而一個我們需要的阿里云體驗數(shù)字化管理平臺，至少應該滿足3個要求：
第一：聚合體驗數(shù)據(jù)。
它需要能夠對所有的體驗數(shù)據(jù)做一站式的便捷化管理，經(jīng)過UES標準的數(shù)據(jù)模型和加權，將5個維度的度量分形成「體驗分」呈現(xiàn)給產(chǎn)品PD。
第二：閉環(huán)體驗問題。
針對在各維度測試環(huán)節(jié)中提出的體驗問題，包括體驗設計、功能開發(fā)、前端、文案4個類型，需要能方便進行實時的跟蹤與修復，幫助體驗問題從「洞察」到「閉環(huán)」。
第三：實時體驗管理。
最后，它能夠支持完成單個產(chǎn)品內(nèi)多次度量的自我比較，明確體驗改進的效果，為產(chǎn)品規(guī)劃提供輔助決策。
基于以上三個目標，我們設計并在云知（阿里云數(shù)字化產(chǎn)品管理系統(tǒng)）集成了 UES 的體驗度量看板，讓 PD 可以隨時查看目前產(chǎn)品使用體驗的水位，了解產(chǎn)品體驗的薄弱項，跟進體驗問題改進。
△ 圖片中所有數(shù)據(jù)僅示意，非真實數(shù)據(jù)
除了「看」的整合，更關鍵的是「做」的提效。
對于 UES 中最核心也最復雜的易用性測試，雖然我們有了完整的行動指南，但依然需要大量的學習、培訓成本，難以適應集中爆發(fā)的大量產(chǎn)品測試需求。
于是易用性測試工具 – Etest 應運而生。
Etest 是一個在線化、智能化的易用性測試工具。收到邀請參加易用性測試的用戶，能通過Etest完成在線遠程測試的，完成測試任務并提交對產(chǎn)品的體驗反饋、為設計師提供多維數(shù)據(jù)分析。同時，Etest 能幫助每個產(chǎn)品的易用性測試節(jié)約大量的人力時間成本和差旅產(chǎn)生的費用。
△ 圖片中所有數(shù)據(jù)僅示意，非真實數(shù)據(jù)
年初的疫情，讓客戶現(xiàn)場拜訪和調研的活動都無法正常開展，而 Etest 恰好解決了這個問題。我們通過 Etest 完成了超過 100 名用戶的遠程測試，保證了產(chǎn)品體驗改進工作的持續(xù)開展。
5. 思考未來：從開始到開始
從 2016 年初探 NPS，到 2018 年開始深耕易用性，到 2020 年，基于 UES 的云產(chǎn)品數(shù)字化管理系統(tǒng)初步建成和工具化，我們從一個開始到另一個開始，此時在做的工作很多，彼時要做的工作更多。但我們依然在思考，下一個「更大的問題」是什么？
最初，我們希望度量「云產(chǎn)品」的用戶體驗，未來我們能否度量「產(chǎn)品」的用戶體驗？最初，我們希望解決「阿里云設計師」的問題，未來我們能否解決「設計師」的問題？或者更遠一點。
既然云計算把計算資源云化，讓千百萬沒有能力建設數(shù)據(jù)中心的企業(yè)獲得彈性的海量資源；若設計也可以云化、體驗可以度量，那我們是否能讓千百萬沒有設計能力和團隊的企業(yè)，能更低成本地獲得好的用戶體驗，進而提升整個社會的平均產(chǎn)品設計水平？
這是一個看上去還虛無縹緲的愿景，但我們有兩件事情，正在開始：
第一：完善阿里云體驗度量系統(tǒng) UES，開放 Etest 易用性測試工具。
我們正在推進 UES 模型的進一步迭代完善，并將在 2020 年內(nèi)全面開放 Etest 工具，目前產(chǎn)品核心功能剛剛孵化成型，還在持續(xù)生長和進化，以讓我們有能力服務于阿里云體系外更廣泛的應用場景。
第二：建設「體驗度量」的國家團體標準。
云計算行業(yè)有 33 項國家標準，卻沒有一個設計標準；而過去一年，阿里云設計中心起草并發(fā)布了 2 項云產(chǎn)品體驗度量的國家團體標準：《云計算軟件產(chǎn)品易用性度量方法》團體標準和《云計算軟件產(chǎn)品使用體驗度量模型及方法》團體標準。
形成標準的目的，是把我們一整套的體驗度量和實踐經(jīng)驗，「開源」給整個行業(yè)，這樣才能激發(fā)出更多的團體標準、企業(yè)標準、國家標準，進而促進設計產(chǎn)業(yè)的工程化發(fā)展。
而這兩件小事，也是我們對未來的希冀：
- 面向產(chǎn)品，提供體驗度量模型、優(yōu)化策略、管理和能力工具，幫助產(chǎn)品帶來市場競爭力的提升；
- 面向客戶/用戶，為用戶提供最佳產(chǎn)品體驗，促進客戶滿意度提升，幫助營收增長；
- 面向生態(tài)伙伴，通過輸出行業(yè)標準，為阿里云產(chǎn)品和解決方案提升專業(yè)度和信任，為生態(tài)伙伴提效賦能。
以上這些，似乎是遠方遙不可及的終點，但也是作為設計師，支撐我們在體驗度量這條路上，求索和探尋至今，最初的起點和初心。體驗的量化與管理，是我們?yōu)榱藰嫿ㄔ粕厦篮蒙鷳B(tài)的方法與工具，我們起步于此、執(zhí)著于此，也不會止步于此。
承擔因您的行為而導致的法律責任，
本站有權保留或刪除有爭議評論。
參與本評論即表明您已經(jīng)閱讀并接受
上述條款。