ChromebookはGo-ToBenchmark Octaneを失います:今は何ですか?

非常に初期の頃からChromebookのパフォーマンスを比較するために使用してきたベンチマークであるOctaneは、現在は維持されていません。

正当な理由があり、それらについて説明しますが、この長年のChrome OSベンチマークテストが終了することに腹を立てていないと言ったら、私は嘘をつきます。


ベンチマークとは何ですか?

まず、疑問に思っている人のために、ベンチマークは次のとおりです。

評価または比較の基礎となる標準化された問題またはテスト
—メリアムウェブスター辞書

そして、それらはたくさんあります。ベンチマークは、3D、グラフィックス、レンダリング、JavaScript、クロック速度、メモリ速度など、多くの計算カテゴリにまたがることができます。ほぼすべてのベンチマークテストがあります。

ChromeとChromeOSがブラウザとOSの多くの部分でJavaScriptに大きく依存していることを考えると、V8チームによって開発されたOctaneベンチマーク(V8エンジンはChromiumで使用されるGoogleの高性能JSエンジンです)は、実際にベンチマークのゴールドスタンダードでした。 Chromebook。

なぜ引退するのか

V8チームからの投稿には、このベンチマークスイートが廃止される理由を説明する多くの技術用語がありますが、ここではそれを簡素化するために最善を尽くします。

まず、ベンチマークはその性質上合成です。これらのテストは、実際のWebサイトやアプリをテストする実際の人ではないことは明らかです。それらは単純で反復可能なテストです。

これは、時間の経過とともに問題につながります。それらの最初のものは、ベンチマークでより良いスコアを出すためにコードを微調整することによって「システムをゲーム化」するJSエンジンの機能です。ただし、この調整では、これらのプラットフォームは実際のテストでは実際には貧弱になる可能性があります。以前は、Octaneのようなベンチマークは有用なフィードバックを提供し、JSエコシステムでの前進を可能にしたと考えられていましたが、最近では実際のサイトレンダリングの妨げになっています。

JSエンジン(V8を含む)が実際の結果を無視して合成テストのスコアを向上させるために調整を行っている場合、これは問題です。

これは、テストのために勉強しているが、彼らが学んだことの概念的な理解を持っていない学生と同じ問題です。彼らは素晴らしいテストをしますが、現実の世界では手探りです。


次は何ですか?

V8チームは、現在、より現実的で一般的なユースケースシナリオに焦点を合わせていると述べています。 V8やその他のJSエンジンは、ウェブサイト、アプリ、サーバーなどの多くの場所に存在するため、これらの実際の結果をテストする方法を見つけることが、チームの前進の目的です。

Octaneは当分の間存続するようですが、更新されなくなります。それ以前の他のベンチマークと同様に、時間の経過とともにOctaneは関連性を失います。


当面は引き続き使用しますが、Chromebookのパフォーマンスを比較するために独自のテストセットを作成する必要があるようです。 Facebook、Google +、Twitter、Wikipediaなどの大規模で確立された複雑なサイトは、Chromebookのパフォーマンスを確認するための実際のテストの場として機能します。

別のベンチマークが上昇し、Octaneの代わりになることを期待していますが、より大きな質問に答える必要があるかもしれません。ベンチマークはまだ関連性がありますか?

現時点ではわかりません。たぶん、これらすべての銀色の裏地は、最終的には彼らを無視し、デバイスがあなたと私が日常的に行うことに対してどのように機能するかに焦点を当てています。結局、それはとにかく本当に重要なことではありませんか?