Není za co! (Některým lidem natto nechutná. Ale v tom případě je ještě lepší na potlačení večerní chuti na jídlo.)

Není za co! Jo, dost často je to obráceně.

5. Hlavní postřeh ⚖️ ✅

Vyšší efektivita sice přináší úspory, ale negarantuje nižší poptávku po zdroji.

To, zda poptávka po zdroji nakonec vzroste nebo klesne, závisí na našich návycích, opatřeních a nových možnostech využití.

Výsledný dopad vyšší efektivity je často těžké odhadnout!

Jenže nižší provozní náklady podporují další rozvoj – více serverů a více výpočtů. S rostoucí kapacitou se tak celková spotřeba elektřiny často zvyšuje a zastíní původní úspory.

(Samozřejmě zde hraje roli nejen energetická účinnost, ale i cena hardwaru.)

4. Další příklad: datacentra a elektřina 💻⚡🏬

Moderní datacentra se stala mnohem efektivnější. Používají méně elektřiny na jeden výpočet. Mohli bychom tedy očekávat, že jejich celková spotřeba elektřiny klesne.

Než si to uvědomíme, celková spotřeba zdroje může překročit původní úroveň. Je možné, že i dnes podobné situace podceňujeme.

3. Proč tak časté omyly? 🤔⌛💡

Situace jako Jevonsův původní příklad se často špatně vyhodnocují. Je snadné zaměřit se jen na přímé úspory – například menší spotřebu uhlí ve stávajících procesech – ale lidé obvykle nedokážou předvídat nové či rozšířené způsoby využití.

- Rozšíření využití: Vyšší efektivita otevřela dveře novým odvětvím a službám poháněným parou, což zvýšilo celkovou poptávku po uhlí o víc než množství, které se původně ušetřilo.

2. Jak k tomu došlo? 🏭 🚂📈

- Nižší „efektivní“ náklady: Když se provoz parních strojů na uhlí zlevnil, lidé našli více způsobů, jak je využít.

1. Formulace paradoxu 🏭 🚂❓

V roce 1865 učinil ekonom William Stanley Jevons překvapivý objev: poté, co se parní stroje staly úspornějšími, celková spotřeba uhlí stoupla, místo aby klesla!!

Ale někdy se ekonomika chová protichůdně: vyšší efektivita využívání zdroje může *zvýšit* celkovou spotřebu daného zdroje místo toho, aby ji snížila.

Pojďme se v rychlosti podívat na tento jev, známý jako Jevonsův paradox.

Jevonsův paradox: Může efektivnější využívání zdroje vést k vyšší poptávce po něm? ⚙️📈

Pokud si koupíte auto, které má nižší spotřebu paliva na kilometr, vaše celková útrata za palivo se sníží. To zní logicky.

Ale...

Para ořechy jsou zdravé, pokud jíte jenom jeden denně.
Ale konzumace výrazně většího množství by mohla vést k překročení maximálního bezpečného limitu selenu a představovat zdravotní riziko.

To je „tajná přísada“, díky níž váš chatbot působí tak chytře, i když se dotaz úplně neshoduje s ničím, co už dříve viděl.

Dejte mi vědět, jestli máte jakékoli dotazy!

7. Závěr

Mechanismy pozornosti:

• Umožňují neuronovým sítím pružně pracovat s nepřesnými shodami.
• Dynamicky rozhodují, které části textu (nebo dat) jsou nejrelevantnější.
• Kombinují tyto relevantní informace váženým způsobem, aby vytvořily odpověď.

Tato informace se pak propojí s částí o jízdě vlevo. Pokud jde o Japonsko, chatbot dospěje k závěru, že je normální jezdit vlevo.

Díky váhám pozornosti tak chatbot dokáže vyhledat a zkombinovat právě ten detail, který potřebuje („Odehrává se to v Japonsku“) aby situaci správně vyložil.

Tam, kde je v textu dané místo uvedeno, klíče vyjadřují „tady je zmíněno místo“ a hodnoty mohou být „Japonsko.“

Protože se tento dotaz (❓) dobře shoduje s těmito klíči (🔑), výsledná hodnota (💎) v mechanismu pozornosti bude zhruba „Japonsko.“

Když model zpracovává část týkající se jízdy, musí se rozhodnout, jak „jízdu vlevo“ vyložit. Je to normální? Neobvyklé? Pro danou část textu vytvoří chatbot dotaz, který v podstatě říká: „Hledám informaci o místě.“

6. Reálný příklad: Ježdění vlevo

Představte si, že čtete příběh, kde někdo jede vlevo po silnici. Zda je to normální, závisí na zemi. Pokud se v textu dříve zmínilo Japonsko nebo Spojené království, ježdění vlevo je běžné; pokud jde o Česko či Kanadu, je to nezvyklé.

Když zadáte větu, model vytvoří klíče a hodnoty z jednotlivých částí textu. Intuitivně (byť ne přesně) můžete vnímat klíče jako popis toho, jaký druh informace se kde v textu nachází, a hodnoty jako samotný obsah.

5. Dynamické váhy pozornosti

Zatímco klasický slovník zůstává převážně statický, neuronové sítě vytvářejí „slovníky“ klíčů a hodnot opakovaně, mnohokrát za sekundu.

Tyto slovníky odrážejí, jak chatbot „chápe“ informace, které dostal.

Protože je mandarinka konceptuálně bližší pomeranči, jeho váha pozornosti je větší. Zda je „pozornost“ ideální termín, není tak podstatné; důležitější je, že tento mechanismus umožňuje chatbotu využít stávající znalosti i ve chvíli, kdy neexistuje dokonalá shoda.

4. Interpretace nepřesných shod

V tomto příkladu má pro původní dotaz mandarinka a klíč pomeranč „váha pozornosti“ hodnotu 0,8, a pro klíč citron 0,2.

Jinými slovy, dotaz mandarinka vede k pozornosti 0,8 pro pomeranč a 0,2 pro citron, což dává 0,8 × oranžová + 0,2 × žlutá.

Zní to možná zvláštně, ale v neuronových sítích jsou pojmy reprezentovány jako vektory (seznamy čísel), takže jejich kombinování tímto způsobem je přirozené.

Pokud nahradíme dotaz mandarinka výrazem 0,8 × pomeranč + 0,2 × citron, výsledek vyhledání bude

0,8 × oranžová + 0,2 × žlutá.

3. Nepřesné shody

Užitečný přístup je připustit i nepřesné shody. Například můžeme brát mandarinku přibližně jako

0,8 × pomeranč + 0,2 × citron.

2. Přesné shody

Se slovníkem pracujete tak, že nejdříve zvolíte dotaz (❓). Pokud je váš dotaz třeba „oceán“, dostanete hodnotu „modrá“.

Ale pro dotaz „mandarinka“ nenajdete přesnou shodu. Obyčejný slovník, který vyžaduje přesnou shodu, by v takovém případě nedal žádný výsledek.

1. Základní myšlenka

Představte si slovník (nebo databázi) složený z klíčů (🔑) a hodnot (💎), například:

🌞 slunce → žlutá
🌱 tráva → zelená
🌊 oceán → modrá
🔥 oheň → oranžová
🍅 rajče → červená
🍋 citron → žlutá
🍊 pomeranč → oranžová

Můžeme jej intuitivně pochopit jako šikovnou variaci na běžné prohledávání databáze.

Tady je bližší vysvětlení:

Jednoduché vysvětlení mechanismů pozornosti v AI pomocí analogie se slovníkem 🤖❓🔑💎

Co pohání „myšlení“ vašeho oblíbeného chatbota? Je to důležitý mechanismus zvaný „pozornost“, který využívají transformátorové neuronové sítě pro velké jazykové modely.

Na lidech vědecky nic potvrzené není a asi brzo nebude. Existuje jenom teorie, že to eliminuje senescentní buňky, což tělu pomůže. Nevýhody jsou omezené, takže je to asi dobrá sázka.

Ne všichni by to měli zkoušet, třeba lidé se žlučníkovými problémy.