BNY urmărește cheltuielile AI pentru a reduce costurile

Cum controlează BNY costurile AI?

Costurile AI devin o îngrijorare majoră pentru sectorul bancar. BNY a răspuns implementând mecanisme stricte de monitorizare.

McDonogh a declarat că banca a devenit „foarte disciplinată” în urmărirea utilizării resurselor. Banca evită utilizarea modelelor scumpe pentru interogări simple. Această abordare optimizează costurile pe măsură ce facturile pentru tehnologia AI cresc.

Deși BNY s-a alăturat consiliului OpenAI în iulie, folosește modele de la mai mulți furnizori cloud. Banca nu este legată de un singur partener.

De ce folosește BNY mai mulți furnizori cloud?

Această flexibilitate ajută la gestionarea costurilor și asigură selecția optimă a modelului pentru fiecare sarcină.

Aceasta marchează o schimbare clară în abordarea BNY.

În iulie, McDonogh a spus pentru Fortune că banca nu monitoriza utilizarea token-urilor, concentrându-se doar pe rezultate. Acum, disciplina de gestionare a costurilor a fost ferm stabilită. Totuși, el a subliniat că controlul costurilor nu ar trebui să limiteze adoptarea AI.

Schimbare radicală în gestionarea costurilor!

Focusul rămâne pe transformarea forței de muncă și îmbunătățiri, nu pe reducerea numărului de angajați.

Contextul mai larg arată o presiune crescândă în toată industria bancară. În iunie, CEO-ul Commonwealth Bank of Australia a avertizat despre facturile AI care cresc rapid.

În iulie, Atlassian a impus bugete lunare de AI pentru inginerii săi. Alte bănci, cum ar fi Citi, au recunoscut deschis că pierderile de locuri de muncă cauzate de AI au început deja. Cu un buget tehnologic anual de 4 miliarde dolari, BNY trebuie să echilibreze inovația cu disciplina financiară.

Presiune industrială asupra cheltuielilor AI!

Urmărirea consumului de token-uri a devenit o metrică critică pentru instituțiile financiare care navighează era AI generativă. Spre deosebire de licențele software tradiționale, utilizarea LLM scade direct cu volumul și complexitatea interogărilor, creând vârfuri de cheltuieli nepredictibile.

Întoarcerea BNY de la evaluarea doar pe rezultate la monitorizarea granulară a costurilor reflectă o înțelegere matură că eficiența este la fel de vitală ca și capacitatea.

Această recalibrare strategică asigură că capitalul este alocat pentru cazuri de utilizare cu valoare ridicată, prevenind eroziunea bugetului din sarcini cu impact redus.