任何評價體系,都不可能絕對的客觀,多少都會有些主觀的東西。
通常來說,主觀的東西越少,這套評價體系就越好用,評委之間的分歧就越小。
比如聯盟的評價體系,評委間的分歧就很小。
根據同一個標準去評價,得到的結果也是大差不差的。
協會創造的這套評級體系,當然不可能跟聯盟的評級體系去比,肯定做不到聯盟評級體系那么優秀,但歸喬等人,還是會盡可能的努力,不斷的修正、不斷的迭代,盡可能將它修改得越來越好。
實踐測試,就是真刀真槍的衡量。
首先,不能出錯。
煉器師有絕活,不能給人評價得沒有絕活。
煉器師的絕活不合格,不能評價為合格。
煉器師的絕活也有層次,不能在層次方面出錯。
這個是非常基本的要求。
倘若這些要求都做不到,那么,這套評級體系就是個廢物,就是廢的,根本不能用。
因而,在這方面的測試,整個協會都非常的認真,也非常的小心。
通過實踐測試,可以發現一些問題。
參與整個評級體系創作的老前輩們,就聚在一起,但凡出現問題就直接開始討論,有必要修改的地方,就直接進行修改。
經過實踐的驗證,證明新創造出來的這套評級體系,其實是可以用的。
最基本的評級功能,是達到設計要求的。
這是一套可以用的系統,不會出現錯誤。
能不能用的問題驗證過了,接下來就是好不好用。
能不能用,是指評級體系具不具備可靠的評級能力;而好不好用,就是之前說的客觀度、精細度、精準度等等問題。
經過實踐測試,總得說來,不算好用但也沒那么難用。
不算好用的意思其實就是這套評級體系,并沒有那么優秀。
至少跟聯盟的評級體系比起來協會創造的這套體系就顯得非常的一般,沒什么可以稱道的地方。
但其實它也沒那么難用。
客觀度還可以,精細度也還可以精準度也好可以。
沒有太突出的地方但也著實沒有什么重大缺陷。
事實上,新創造出來的評級體系,差不多也就是這樣了。
一個好的評級體系,實在使用過程中不斷的迭代不斷的修改,不斷的調整,從而慢慢的進化。
現在,原始版本能夠做到這種程度,其實已經非常不錯了。
不過歸喬還是比較小心。
他又安排人手,進行了第二次和第三次的測試確認沒什么問題也以后,這才開始進行制度設計。
評級體系要配合制度設計。
因為評級,始終是人在評級。
既然是人在評級那就免不了的有人會作弊。
以前的協會就是在評級服務這塊,率先淪陷。
前事不忘、后事之師。
重組后的協會,自然要防止腐化。
而這,就需要進行制度設計。
聯盟的評審制度,倒是簡潔實用,但問題就在于,聯盟的那套制度,協會沒法用。
因為兩套評級體系不同。
聯盟的評級體系,是綜合性的評定,擁有足夠的水平,就能擔任評委。
所以,他們可以采用評審團,然后抽簽選出評委。
但協會這邊的評級體系不一樣。
協會的評價體系是針對絕活的。
而不是每個煉器師都懂絕活,也不是每個煉器師都能評價所有的絕活。
打個比方,不同的類型絕活,就好比語文、數學、外語、物理、化學、生物,等等。
沒有哪個評委,精通所有類型的絕活。
即便是歸喬,也只是懂一些。
有些領域的絕活,他也不懂。
既然不懂,那就不可能抽簽。
不然,抽簽抽出來的都是不懂的,這不是在搞笑嘛。
因此,聯盟的方法雖然好,但協會這邊確實沒法用。建立評審團,然后抽簽,對于協會來說是完全不適用的。
協會這邊,需要組建多支不同的評級隊伍,然后讓專門的評級隊伍去評審相應的絕活。
如此一來,評委就是固定的。
而評委是固定的,意味著,這很容易產生腐敗。
因為評委固定,所以,存在著行賄受賄的可能性。
如果沒有特殊的設計,那么,不管怎么管理,不管怎么預防,都必然會出現腐敗,最多只是早晚有別而已。
因為,歸根結底,人就是有私心的生物。
不愛錢,那么,女人呢?
不愛女人,不愛錢,那么,家人呢?
不愛女人,不愛錢,也不在意家人,那么,權力呢?
即便權力也不愛,那么,人情債呢?
只要人是有私心的,腐化就是必然。
眾人聚在一起,就是要設計一個制度,讓人想腐都沒辦法腐。
最終,還是有人想到了辦法——模仿高考閱卷。
高考閱卷,看不到名字,只看得到答案。
而煉器協會的評審,也將采用類似的方法。
參與評級的人,在特制的房間里進行展示,然后進行錄像。
這個房間是特制的,通過陣法的配合,隱掉參評人,也隱掉他的任何肢體動作,只留下煉器的反應過程。
而這個過程被拍攝下來,進行錄像。
最后,評委看到的只是錄像。
在個錄像沒有姓名,評委也不知道參評人是誰。
在這種情況下,行賄也沒啥用。
因為,評委也不知道誰是誰。
當然,參評人也可以做點特別的動作,用來暗示,或者提醒。
而這一點,其實很辦好。
出現不相干的動作,或者非煉器的技術動作,那就直接重來。
只要保證,提交給評委的視頻,是干凈的,沒有動作暗號的視頻,即可。
而只需要建立現場監督,就可以完成。
而現場監督可以采用跟聯盟類似的抽簽制度,先組建一個監督團,然后進行抽簽,決出當天的監督人員。
最后,監督人員監督參評過程,再監督視頻內容。
如此一來,提交給評委的視頻,就是干凈的。
評委只看到的煉器過程。
他們也只能對煉器過程進行評審。
這樣得制度執行起來,就可以極大化的避免腐化墮落的問題。
這樣的制度設計,非常的有意義。