以上で見てきたように、アルゴリズムの本質は、ミクロな意思決定とアルゴリズムの両方のレベルにおいて、新たな種類のトレードオフを必要とする。リーダーの重要な役割は、アルゴリズムが設計される時点だけでなく、継続的にこれらのトレードオフへ対処することだ。
アルゴリズムの改善はますますソフトウェアのルールやパラメータをどう変えるかの問題になっている。物理的な工場の再設計や、新しいITシステムの実装よりも、グラフィックイコライザーのつまみを調整することに近い。
アルゴリズムの新たな指標
アルゴリズムはしばしば、不相応な畏敬の念をもって扱われる。賢いのだから正しいに決まっている、というわけだ。そしてアルゴリズムは、「かつて行われてきたこと」を劇的に進歩させているケースも多い。しかし、この種の認知バイアスはマネジャーに誤った安心感を与えかねない。
指標はアルゴリズムのパフォーマンスを測定するうえで不可欠だ。さらに改善の機会を明らかにするため、そして最適なトレードオフではない可能性がある部分を明らかにするためにも重要だ。デジタルの意思決定システムによって生まれたデータが持つ新たな特徴は、新たなアプローチへの動機となる。
指標を定義する従来の方法は経営管理に重点を置き、運用時に得られるインサイトは、適宜個別に用いられるものであると考えられていた。しかし現在、指標は継続的な改善サイクルを生む形で設計することが可能であり、報告の速度が上がるにつれて、ますます自律的なフィードバックループを創出できる。
そのため、週に1度の経営会議で成果報告を受けることに慣れているマネジャーは、マインドセットを変えなくてはならない。
また、意思決定の粒度を細かくすることで相互依存関係が生じ、部門を横断したパフォーマンス測定が必要になることで、さらなる複雑さが伴う。
たとえば、デジタル以前の世界では、小売業のマーケターは価格設定やプロモーションによる販売への成果と別に、テレビ広告の成果を測定できた。現在、グーグル広告（マーケティングアルゴリズムによって決定される）は、製品への直接的なアクセスを促進し、価格設定とプロモーションの意思決定（販売アルゴリズムによって決定される）と相互に作用する。各アルゴリズムのパフォーマンスを別々に測定すると、誤解を招くおそれがある。
そこで、アルゴリズムのパフォーマンスを管理するに当たり、3つの重要な適応が求められる。
●トップダウン型の指標から、ボトムアップ型の指標に
従来：企業目標は、部門の縦割り構造の中で上から下へと伝達される。
新たなアプローチ：アルゴリズムの評価に必要な、粒度の細かい指標を企業のKPIに取り込む。
●結果重視の指標から、インプット重視の指標に
従来：集計と平均に焦点を当てる、結果重視の指標。
新たなアプローチ：分布と脱平均化に焦点を当てる、インプット重視の指標。デジタル以前の世界では、平均値の管理と異常値への対処が課題であった。現在では粒度を最小にすることで、企業は異質性を利用し、異常値を有効に使うことができる。
●報告のための指標から、実行可能な指標に
従来：報告志向。人間の評価と解釈を必要とする、静的なリポートを報告する。
新たなアプローチ：行動志向。意思決定から洞察に至る時間が短縮されるにつれて、フィードバックループを半自動化または全自動化する機会が生まれる、という事実を認識する。
