Python, AI in prihodnost – ali se splača vlagati čas...

#11 Kakor jaz opazujem to panogo (AI oz LLM-je, bodimo realni, ti sistemi so daleč od zares inteligentnih sistemov) in prihodnost, me zelo močno spominja na en velik balon, ki se bo razpočil kot dot.com bubble v 00tih. Ali pa finančna kriza v 08. Tak je pač občutek starejšega občana, ki je že večkrat videl hype, ki ni bil nič drugačen kot današnji.

Če primerjamo količino financ, ki se stekajo v panogo, v primerjavi z 00timi, ko je pogorelo na tisoče firm (in iz pogorišča posledično vzniknilo nekaj danajšnjih miljarderjev) je ta panoga še bolj na udaru raznih investicij, kot startupi v 90ih. Res da je investitorjev manj in da so to večje in stabilnejše korporacije, ampak tudi te bodo hotele "svoj d'nar nazaj" slej kot prej.

Če ne gledamo posameznih dreves (LLM-jev), ampak gozd, se mi dozdeva, da na eni strani tega gozda že gori, ampak mi, ki smo na drugi strani, tega še ne vidimo.

Čas bo pokazal, kako močno sem se zmotil. ;)

Jaz se ne bi učil Pythona, ampak polaganja ploščic. Tam je ZARES denar in bo tudi, ko bo Python iz mode. ;)

#12 Vseeno mislim, da je med današnjim AI hypeom in dot-com balonom leta 2000 ena zelo velika razlika, ki jo je težko spregledati:

Leta 2000 so vlagali milijarde v podjetja, ki so imela čudovite prezentacije, ogromno uporabnikov flufla … ampak nihče od nas teh produktov realno ni uporabljal.

Večina teh podjetij ni imela pravega product-market fita in predvsem ni imela uporabnikov, ki bi dejansko plačevali ali vsaj intenzivno uporabljali izdelek.

Danes pa se mi zdi situacija povsem drugačna:

ChatGPT ima 400+ milijonov tedenskih aktivnih uporabnikov.
GitHub Copilot uporablja več kot 1,3 milijona plačljivih developerjev in 50.000+ podjetij.
Midjourney, Claude, Perplexity, Grok, Gemini – vsi imajo na desetmilijone uporabnikov.
Azure OpenAI, Google Cloud AI, AWS Bedrock….

Kar hočem rečt je da se izdelek masovno uporablja že danes,
ni samo “eyeballs” kot leta 2000.

Seveda to še ne pomeni, da ne bo korekcije. Bo.

#13 Ampak vseeno:
- izdelek ni izdelek, ampak polizdelek, ... če primerjamo z Amazonom, ti garantira da boš dobil knjigo, ki si jo naročil, z verjetnostjo tam nekje med 50%, do 70% do 80%, da jo dobiš domov, če znaš napisat dober prompt za naročilo knjige, ... si predstavljaš recimo, da bi te taksi pripeljal na željeno lokacijo v 5 do 8x / 10 voženj, 2-5 voženj bi te pa pustil na drugem koncu mesta, včasih pa celo v drugem mestu. Uporabniki bi bili res navdušeni. 🤣
- drugo leto bo sektor predvidoma zažgal 400 milijard $, da bo naredil kaj? LLM asistenta, ki ne bo haluciniral, oz. bo haluciniral malo manj. Asistenta, ki bi, če bi ne bilo VC vlaganj, navadnega uporabnika stal več kot 1000 $ / mesec in ne 20-30 $ kot je sedaj, ob znatnih vlaganjih, brez katerih sploh ne bi več delovali,
- manjši, bolj nišni produkti so že "nad vodo", ampak veliki giganti pa to še dolgo ne bodo, vsaj ne, glede na to kakšne količine denarja kurijio,
- ROI bo težko dosegljiv v naslednjih nekaj letih, če bo do takrat uspelo mega firme narediti profitabilne, vsaj tako se
- nekje sem zasledil, da se bo do leta v sektor vložili 7 bilijonov (7 trillion), torej 7 x 10¹² dolarjev
- za primerjavo, dot-com je počil pri 100 milijardah (100 billion) $

Korekcija vsekakor bo, ... 😱

#14 Ja, korekcija bo oz. se že dogaja. Je pa vsem jasno - tud unim k hočejo met dnar nazaj - da ni ravne poti do cilja in je to še vseeno ena najbolj perspektivnih panog trenutno. In ker na denarju ne morejo/nočejo sedet ga je treba nekam dat.

Že ene 30 let nazaj sem prebral v eni knjigi, da obstajata samo dva problema z denarjem - ga imaš bodisi premalo bodisi preveč.

Ampak nazaj k topicu - leta 1880 tud ni bilo čist zanesljivo, da te bo avto pripeljal iz točke A v točko B 100 kilometrov danes... še danes po 100+ letih ni čisto 100%.

S polaganjem ploščic pa se strinjam, mogoče pa bodo še bolj začele biti cenjene socialne veščine. Če pogledaš kje je danes japonska družba po vsem napredku... pol prebivalstva ki je še zmeraj v plodni dobi sploh ne seksa, ker imajo problem navezovat stike...

#15 Par dni nazaj sem bral zelo zanimiv post na to temo: https://x.com/aakashg0/status/1990274892034642347?s=20

TLDR: zahod vse svoje težke maljarde vlaga v smer potencialnega AGI brake-throughja, medtem ko Kitajska "tiho" gradi dejansko usable infrastrukturo. Baje 80% AI wrapper companyjev uporablja kitajske OS modele (vsaj v startupih, ki se pitchajo A16Z).

Kar totalno makes sense in tudi sam se tako lotevam razvoja. Major odkritje par dni nazaj mi je bil http://openrouter.ai/, kjer imaš mislim da več kot 500 modelov zlistanih. Veliko jih je povsem free ali pa za đabe. Sploh v primerjavi s frontier zahodnimi modeli.

Kar je zanimivo je to, da imaš v vmes neverjetno močne, uporabne modele. Word of caution iz mojih lekcij so far: treba je res preverit in naštudirat raznorazne sekundarne omejitve, poleg cene. Recimo rate limiting na free modelih, stabilnost v smislu uptime-a, latenca (vsak request gre čez pot app->OR->provider in nazaj) in ali je model "cloackan" oz. v stealth mode-u. To so modeli, ki jih firme in institucije dajajo v free usage, ampak pobirajo podatke in se učijo + nikoli ne veš, kdaj bodo postali plačljivi oz kako se bo v prihodnje spreminjala licenca/način uporabe. Tako da keep in mind!

V teoriji je pa OpenRouter nebeški: samo v .env si lepo rukneš API key + model name. In tako preko enega providerja

Poleg tega še ena rookie lekcija: začel sem z DeepSeekom kar preko njihovega API-ja. Zadeva je delovala že zelo sexy. Potem sem pa prešaltal na OR in nastavil en alibabin model in je v chat bubble začel spuščat dejanski celoten reasoning, ne samo končnega outputa. Kar je bilo zabavno in zanimivo za prebrat, da točno vidiš, kakšen je reasoning modela, ampak je hkrati pomenilo, da moram zdaj recodeat celotno zadevo, ker je drugačen output. :)

Nisem še imel časa nagruntat, ali je neka standardizacija in ali open router ponujo kje to informacijo, kakšen je output in če se da sprogramirat na način, da se lahko hitro testira modele ali se bom moral bolj poglobit in dokončno izbrat nek nabor modelov in delat samo s tistimi. Če ima kdo tu izkušnje, please do share.

Overall pa zdaj v praksi vidim to, kar sem že dolgo časa bral in mi ni bilo jasno: da so lahko SLM (small language models) dejansko v praksi full bolj uporabni od LLM-jev. Ne samo zaradi cene (bodisi API-ja ali self-hosted), pač pa zaradi same "poskočnosti" modela. Če vzameš tapravi SLM, lahko na kratek rok dobiš ful bolj odziven model, hkrati pa dovolj pameten. Razlika v ceni med tem ali self-hostaš model s 7 miljardami ali 70 miljardami parametrov pa je astronomska. Na dolgi rok pa je še ena advanced razlika: te manjše modele lahko v teoriji tudi sam treniraš in tako zapečeš "interno znanje", ki bi ga sicer preko RAG-a nalagal v prompt, kar v sam model. Kar je lahko ful boljše spet iz vidika, da so uteži tvojega interneta znanja že zapečene v sam model in tako spet dobiš iz tega naslova bolj flowy experience. Vse skupaj je hitrejše.