Intervista a Allan Svejstrup Nielsen, Creatore di DeepStrike & Fondatore Jabbr.AI

In questa intervista parliamo con Allan Svejstrup Nielsen, matematico, sviluppatore e co-fondatore di Jabbr, un sistema che tramite AI permette di contare i colpi durante i match di pugilato.

Ne avevamo parlato qui:

Week 9.2023: Rullacartoni, Twitter OpenSource+ Publico Dominio + una Domanda

La Tencent e le AI, Elon Musk promette Twitter Open source, AI per supportare il pugilato, Amazon, Medical AI, Winnie The Pooh... Quanta roba sta setttimana.

Manolo MacchettaManolo Macchetta

Il problema dei risultati "dubbi" è molto sentito nel pugilato e questa applicazione prometter di risolvere alla base.

Nell'intervista abbiamo affrontato:

• Il perchè dell'APP e il bisogno che va a coprire
• Come è stata allenata, e da quali data set
• Che tipo di setup serve
• Varie ed Eventuali su Pugilato & MMA

L'intervista è in due lingue: Inglese e Italiano.

In this interview we talk with Allan Svejstrup Nielsen, mathematician, developer and co-founder of Jabbr, a system that through AI allows for counting strike during boxing matches.
The problem of "dubious" results is very much felt in boxing fandom and this application will promise to solve it at the root.
In the interview we addressed:

• The Why of the APP and the needs it address.
• How it was trained, and from what data sets.
• What kind of setup is needed
• Miscellaneous and Eventual about Boxing & MMA.
• The interview is in two languages: English and Italian.

Read the Interview / Leggi l'intervista

• Interview to Allan Svejstrup Nielsen, CO-founder di Jabbr / DeepStrike
• Vai alla traduzione in Italiano dell'Intervista a Allan Svejstrup Nielsen, CO-fondatore di Jabbr / DeepStrike

Interview to Allan Svejstrup Nielsen, Co-founder di Jabbr / DeepStrike

Hello Allan,

Before speaking about DeepStrike and Jabbr.ai, do you mind introducing yourself, your background and what are you doing now.

Sure, my background is as a PhD in Applied math from EPFL, and i’ve specialized in building computer-Vision ML systems for action-activity recognition in my professional career. I began building DeepStrike just basically because i was sick of the corruption and lack of transparency in the sport i loved to watch. With my experience in building human action-activty recognition systems, i knew that it would be possible to build something much much better than what’s currently out there, something that could provide deep insights into a fight in real-time as the fight is happening.

You are Danish but you are working in China, how is the AI market over there, we got flooded by news about AI in USA (Europe is super silent :-| ) but very little about the Chinese scene, do you mind telling something about it

We’re a Danish company, though for now fully remote with people in the USA, Denmark, and China. And I am personally also relocating back to Europe in about 3 months time. I was working in Shenzhen when i decided to quit my job and build Jabbr, and at that time China was pretty much untouched by Covid so it just seemed like an ok place to just stay temporarily whilst developing and building our core tech

Combat sports is a bit in its own category, so we’ve had to do lots of ground work to get it running. We’re not taking the “standard” approaches typically used in sports for computer vision action-activity recognition, so there was quite a bit of extra work involved in getting a solid plug-and-play up system up and running.

What are your fave boxers? What about MMA? Do you follow it?

I’ve been a fan of boxing since i was a teenager, I’ve dabbled in the sports as well as in both kick-boxing and Muay Thai when i was younger.

My favorite boxer to watch has changed over the years, most recently it was Duran, but now I’m pretty much at a point where i really can’t choose

MMA I follow less closely than boxing, but it’s always on my radar, checking out highlights from the big fights and so on.

Let's came back to to Jabbr.ai. What are the biggest challenge in doing such a project?

I started as a solo-founder just wanting change the sport for the better. That first year was definitely very tough, working long nights doing everything related to tech and being a founder.

From a technical standpoint it was challenging building an entirely new system rather than following the beaten path, and building the associated training sets to train it from scratch. The data for our detector stage is comparable to MS COCO, and it’s probably even the smallest of our datasets.

How did you train it? Were real judge and referee involved?

We’ve got a good handful of full-time annotators preparing our data, they’re specialized in Boxing now, and they spend about 40 hours per week watching boxing and annotating data, and then when they’re off work they go to the gym haha

What kind of data you feed it  with? Proboxing ?

We’ve taken a fairly wide scope approach. So we’re training it with new videos, old videos, 4k videos, blurry videos, professional boxing, amateur boxing, Olympic boxing, sparring at all levels, even white collar boxing for beginners. This means that the models are quite robust now and can be used for pretty much all kinds of boxing, though at the expense of accuracy. In the future we’ll train new models and fit parameters specific to each category of boxing to get higher accuracy.

When I posted on my social your demo, I got some people that told me that the "score machine" were already done but they were a huge fail.
Can you tell them why your AI is different from those score machine (use a simple language, maybe briefly introducing what is AI)

Hehe that's funny with the comment "Strike counting machines were already done in the 90s and it didn’t work"..  It always makes me chuckle. It really shows how effective on branding that CompuBox, and AIBA was with their "computerized scoring" in how they named it...

None of those solutions have anything to do with computers what so ever. There is zero connection. It is people sitting with a clicker, pressing the button every time they feel something landed. It’s computerized in the same way that your calculator is a computerized way of figuring out what 1 + 1 is when you press the buttons.

I suppose maybe it was ok to call that “computerized” in the 80s or 90s? Today that naming is definitely very misleading though..

But anyways kudos to them and their marketing savvy, calling it CompuBox, and "Computerized Scoring" in the amateurs definitely helped wow the crowd, I’ve met countless people who were flabbergasted and even slightly offended that when they leaned that it wasn’t a machine counting but just humans watching the fight live like everyone else, except with a clicker in their hand.

What DeepStrike can do is totally different. It’s more akin to someone spending 40 hours sitting through a fight watching it in slow-motion and taking notes along the way.

It’s important to specify here that we haven’t defined any scoring criteria. We’re not giving a score of the fight. We’re just presenting a ton of quality data on punches thrown, landed, combinations, pressure, aggression, etc.

Awesome. What does pressure and aggresion mean in this conext? Like, they’re very subjective right?

Right!  Those words are often used interchangeable when you hear commentators talk about what’s happening on the screen. But we think they actually do describe slightly different aspects of a fight. What we did to ensure we’d measure something with a reproducible metric that would be easy to understand was to define a couple of measurable indicators that would indicate either aggression or pressure. For pressure we have these indicators

• Oponent on ropes or in corner
• Moving forward and oponent moving backwards
• Staying on the mid-range or inside without clinching.

The pressure metric then shows what percentage of the round one or more pressure indicators was triggered by a fighter. For aggression it’s similar, except the aggression indicators are:

• Initiating or ending an exchange
• Throwing punches with high power commit
• Throwing combinations

When an aggression indicator is triggered by a fighter, a small interval around that time event is defined as showing aggression. The aggression metric then shows what percentage of the round one or more aggression indicators was triggered by the fighter.

Given 4 different point of view (one per side) do you expect to have different scoring?

Technically we don’t score the fights, we just collect stats. There’s no universally agreed upon definition as to how to weigh the different metrics up against one another to determine the right winner.

But yes! 4 different points of view can give slightly different stats. Like, a really big punch might be detected from one angle as a Max Impact shot, but from another angle it could be occluded and therefore classified as Missed. With a single view-point the stats tends to average out fine over the course of 12 rounds, but the round-by-round numbers can and do have some variance due to occlusion when only a single camera feed is given.

Many argued MMA are "impossible". While I do not agree on the impossible, they are on the more complex side for sure. Nevertheless I can imagine that when then boxing is done you will expand the sport selection.
What are the next sport you will train Jabbr.ai ?

It’s certainly possible to build something similar for MMA and other combat sports, and that’s also on our roadmap to extend DeepStrike to these sports as soon as possible

Let's say that some local promotion are curious and want to use it. What do they need to do? What kind of Hardware they need?

For live-stats for a broadcaster we don’t need any special hardware, DeepStrike can even count straight off the live dirty feed that’s streamed out to all viewers. For people looking to try it out with stats on their own fights and sparring they’ll need their own camera or smartphone to record the fight with, preferable just placed on a tripod in a fixed position where the whole ring is visible

I am sure many of our reader will check your app and maybe will fall in love with all the potential AI has. IF a 18 years old is reading this now, what are your suggesting to do to learn about AI and in some years build his own APP?

If you're just getting started, I'd recommend Andrew Ng's material, he's a really great teacher.

Can you tell us your website, and how to contact Jabbr.ai?

Sure, here’s our website: https://jabbr.ai/ , we’re also on Instagram and Twitter with AI stats and highlights

Thank you Allan for your time. We know how precious it is and we really appreciate you decided to spend some with us.

No problem, my pleasure.

Intervista a Allan Svejstrup Nielsen, CO-fondatore di Jabbr / DeepStrike

Ciao Allan,
Prima di parlare di DeepStrike e Jabbr.ai, ti dispiacerebbe fare una breve presentazion: il tuo background e cosa stai facendo ora.

Certo, ho conseguito il dottorato di ricerca in matematica applicata presso l'EPFL e nella mia carriera professionale mi sono specializzato nella costruzione di sistemi ML di computer-Vision per il riconoscimento di azioni e attività.

Ho iniziato a costruire DeepStrike fondamentalmente perché ero stufo della corruzione e della mancanza di trasparenza nello sport che amavo seguire. Grazie alla mia esperienza nella costruzione di sistemi di riconoscimento dell'azione-attività umana, sapevo che sarebbe stato possibile costruire qualcosa di molto migliore di quello che c'è attualmente, qualcosa che potesse fornire approfondimenti su un incontro in tempo reale, mentre l'incontro stesso si svolge.

Sei  danese ma lavori in Cina, com'è il mercato dell'IA lì, siamo stati inondati da notizie sull'IA negli Stati Uniti (l'Europa è super silenziosa :-| ) ma molto poco sulla scena cinese, ti dispiace raccontarci qualcosa?

Siamo un'azienda danese, anche se per ora completamente remota, con personale negli Stati Uniti, in Danimarca e in Cina. E personalmente mi trasferirò di nuovo in Europa tra circa 3 mesi. Lavoravo a Shenzhen quando ho deciso di lasciare il mio lavoro per costruire Jabbr, e a quel tempo la Cina non era ancora stata toccata da Covid, quindi mi è sembrato un posto adatto per rimanere temporaneamente mentre sviluppavo e costruivo la nostra tecnologia di base.

Gli sport da combattimento sono una categoria a sé stante, quindi abbiamo dovuto fare un sacco di lavoro di base per renderli operativi. Non stiamo adottando gli approcci "standard" tipicamente utilizzati negli sport per il riconoscimento delle azioni e delle attività tramite computer vision, quindi c'è stato un bel po' di lavoro extra per mettere in piedi un solido sistema plug-and-play.

Quali sono i tuoi pugili preferiti? E le MMA? Le segui?

Sono un fan del pugilato da quando ero un adolescente, mi sono dilettato in questo sport così come nella kick-boxing e nella Muay Thai quando ero più giovane.

Il mio pugile preferito da seguire è cambiato nel corso degli anni, ultimamente era Duran, ma ora sono arrivato a un punto in cui non riesco a scegliere.

Le MMA le seguo meno da vicino rispetto al pugilato, ma sono sempre presenti nel mio radar, per controllare gli highlights dei grandi incontri e così via.

Torniamo a Jabbr.ai. Quali sono le sfide più grandi nel realizzare un progetto del genere?

Ho iniziato come fondatore da solo, con il solo desiderio di cambiare questo sport in meglio. Il primo anno è stato sicuramente molto duro, lavorando a lungo di notte per tutto ciò che riguardava la tecnologia e l'essere un fondatore.

Da un punto di vista tecnico, è stato impegnativo costruire un sistema completamente nuovo piuttosto che seguire la strada già battuta, e costruire i set di allenamento associati per allenarlo da zero. I dati per la fase di rilevazione sono paragonabili a quelli di MS COCO, e probabilmente sono anche i più piccoli dei nostri set di dati.

Come lo avete allenato? Sono stati coinvolti giudici e arbitri veri?

Abbiamo una buona manciata di annotatori a tempo pieno che preparano i nostri dati, ora sono specializzati nella boxe e passano circa 40 ore a settimana a guardare la boxe e ad annotare i dati, e poi quando non lavorano vanno in palestra haha

Con che tipo di dati lo alimentate? Proboxing?

Abbiamo adottato un approccio piuttosto ampio. Quindi lo addestriamo con video nuovi, vecchi, 4k, sfocati, pugilato professionistico, dilettantistico, olimpico, sparring a tutti i livelli, persino pugilato dei colletti bianchi per i principianti. Ciò significa che i modelli sono ormai abbastanza robusti e possono essere utilizzati per quasi tutti i tipi di boxe, anche se a scapito della precisione. In futuro addestreremo nuovi modelli e adatteremo parametri specifici per ogni categoria di pugilato per ottenere una maggiore precisione.

Quando ho postato la tua demo sui social, alcune persone mi hanno detto che le "score machine" erano già state realizzate, ma che erano un enorme fallimento. Puoi spiegare loro perché la tua IA è diversa da quelle score machine?

È divertente il commento "Le macchine per il conteggio degli strike sono già state fatte negli anni '90 e non hanno funzionato".  Mi fa sempre ridere. Questo dimostra quanto sia stato efficace il branding di CompuBox e dell'AIBA con il loro "punteggio computerizzato" nel modo in cui lo hanno chiamato...
Nessuna di queste soluzioni ha a che fare con i computer. Non c'è alcun collegamento. Si tratta di persone sedute con un clicker, che premono il pulsante ogni volta che sentono qualcosa atterrare. È computerizzato nello stesso modo in cui la vostra calcolatrice è un modo computerizzato di capire cosa sia 1 + 1 quando premete i tasti.
Forse era giusto chiamarlo "computerizzato" negli anni '80 o '90? Oggi, però, questa denominazione è decisamente fuorviante...

In ogni caso, complimenti a loro e al loro marketing, chiamarlo CompuBox e "Computerized Scoring" nei dilettanti ha sicuramente contribuito a stupire la folla, ho incontrato innumerevoli persone che sono rimaste sbalordite e persino leggermente offese dal fatto che, quando si sono accorte che non si trattava di una macchina che contava, ma di esseri umani che guardavano il combattimento dal vivo come tutti gli altri, tranne che con un clicker in mano.

Quello che DeepStrike può fare è totalmente diverso. È più simile a una persona che passa 40 ore seduta a guardare un incontro al rallentatore e a prendere appunti.

È importante specificare che non abbiamo definito alcun criterio di valutazione. Non stiamo dando un punteggio all'incontro. Stiamo solo presentando una tonnellata di dati di qualità sui pugni tirati, sulle combinazioni, sulla pressione, sull'aggressività, ecc.

Fantastico.

Cosa significano pressione e aggressione in questo contesto? Sono molto soggettivi, giusto?

Giusto!  Queste parole sono spesso usate in modo intercambiabile quando si sentono i commentatori parlare di ciò che accade sullo schermo.

Ma noi pensiamo che in realtà descrivano aspetti leggermente diversi di un combattimento.

Per assicurarci di misurare qualcosa con una metrica riproducibile e facile da capire, abbiamo definito un paio di indicatori misurabili che indicano l'aggressività o la pressione.

Per la pressione abbiamo questi indicatori:

• Oponente alle corde o all'angolo
• Spostamento in avanti e spostamento dell'avversario all'indietro
  rimanere a metà campo o all'interno senza chiudere.
• La metrica della pressione mostra la percentuale del round in cui uno o più indicatori di pressione sono stati attivati da un combattente.

Per quanto riguarda l'aggressività, il discorso è simile, ma gli indicatori di aggressività sono:

• Iniziare o terminare uno scambio
• Lancio di pugni ad alta potenza
• Lancio di combinazioni
• Quando un indicatore di aggressione viene attivato da un pugile, un piccolo intervallo di tempo intorno a quell'evento viene definito come aggressione.

La metrica dell'aggressività mostra quindi la percentuale del round in cui uno o più indicatori di aggressività sono stati attivati dal pugile.

Con 4 punti di vista diversi (uno per parte), vi aspettate di ottenere punteggi diversi?

Tecnicamente non assegniamo punteggi ai combattimenti, ma raccogliamo solo statistiche. Non c'è una definizione universalmente condivisa su come pesare le diverse metriche l'una rispetto all'altra per determinare il giusto vincitore.

Ma sì! 4 punti di vista diversi possono dare statistiche leggermente diverse. Ad esempio, un pugno molto forte potrebbe essere rilevato da un'angolazione come un colpo a impatto massimo, ma da un'altra angolazione potrebbe essere occluso e quindi classificato come mancato. Con un unico punto di vista, le statistiche tendono a fare una media nell'arco di 12 round, ma i numeri di round in round possono avere una certa variazione a causa dell'occlusione quando viene fornita una sola telecamera.

Molti hanno sostenuto che le MMA sono "impossibili". Anche se non sono d'accordo sull'impossibilità, sono sicuramente più complesse. Tuttavia, posso immaginare che quando il pugilato sarà finito, amplierete la selezione di sport. Quali sono i prossimi sport che preparerete con Jabbr.ai?

È certamente possibile costruire qualcosa di simile per le MMA e altri sport da combattimento, e questo è anche nella nostra tabella di marcia per estendere DeepStrike a questi sport il prima possibile.

Supponiamo che qualche promozione locale sia curiosa e voglia utilizzarlo. Cosa devono fare? Di che tipo di hardware hanno bisogno?

Per le statistiche in diretta per un'emittente non è necessario alcun hardware speciale, DeepStrike può anche contare direttamente dal feed sporco in diretta che viene trasmesso a tutti gli spettatori. Per le persone che desiderano provare le statistiche dei propri incontri e sparring, è necessaria una fotocamera o uno smartphone con cui registrare l'incontro, preferibilmente posizionato su un treppiede in una posizione fissa da cui sia visibile l'intero ring.
Sono sicuro che molti dei nostri lettori daranno un'occhiata alla vostra applicazione e forse si innamoreranno di tutte le potenzialità dell'AI.

Se un ragazzo di 18 anni sta leggendo questo articolo, cosa gli suggerisci di fare per imparare l'IA e, tra qualche anno, costruire la sua APP?

Se si sta iniziando, consiglierei il materiale di Andrew Ng, che è davvero un ottimo insegnante.

Può indicarci il vostro sito web e come contattare Jabbr.ai?

Certo, ecco il nostro sito web: https://jabbr.ai/ , siamo anche su Instagram e Twitter con le statistiche e i punti salienti dell'AI.

Grazie Allan per il tuo tempo. Sappiamo quanto sia prezioso e apprezziamo molto che abbia deciso di dedicarcelo.

Nessun problema, è stato un piacere.