Note : PHP, curl_multi et barre de progression
mardi 7 août 2018 à 17:43Ok… donc en PHP dans mon lecteur RSS qui doit récupérer en parallèle 170 URL, j’affiche un petit compteur.
Le truc, c’est que c’est forcément dans une boucle while, et que cette boucle se fait aussi rapidement que le CPU le peu.
Donc si PHP envoie au navigateur un « +1 » à chaque fois qu’un flux est récupéré, il l’envoie quelques millions de fois par seconde : impensable, donc, ce qui fera des dizaines de Mo de données juste pour ça.
Du coup, j’avais mis un usleep(100000) dans la boucle… ça marchait. Par contre, ça bloquait également la récupération des flux ! Certains flux posaient donc problème…
Du coup j’ai remplacé ça par un test sur microtime(). Par contre, je maintiens un tout petit usleep() : la différence est flagrante : le sleep est assez faible pour pas que cURL coupe la requête, mais assez long pour éviter que le CPU ne fasse 1 milliard de tests par seconde :
$running = 0;
$utime = microtime(true);
do {
curl_multi_exec($master, $running);
usleep(500);
// echoes the nb of feeds remaining
if ($utime + 1 < microtime(true)) {
echo ($total_feed-$running).'/'.$total_feed.' '; ob_flush(); flush();
$utime = microtime(true);
}
} while ($running > 0);