PHP скрипт для тайм-аута работы cron

0

поэтому я писал сценарии на короткое время, и немногие, что написано в ive, работают регулярно и без тайм-аутов. Однако это одно и им интересно, есть ли у вас, ребята, возможные предложения по оптимизации скорости этого скрипта.

Его задача - захватить идентификаторы из существующей базы данных и использовать их в поиске API для получения данных элемента. Проблема заключается в том, что это как 45000 элементов, которые мне нужно найти, и я уже использую мультирум через curl для конвейера процесса.

Я как бы застрял и задавался вопросом, могут ли у вас, ребята, какие-то идеи сделать этот скрипт быстрее, чтобы избежать тайм-аута.

ПРИМЕЧАНИЕ: моя информация о подключении db скрыта, но я просто подключаюсь

<?php
$s = microtime(true); //Time request variable

//CONNECT TO THE DATABASE
$DB_NAME = 'database';
$DB_HOST = 'mysql.myhost.com';
$DB_USER = 'myusername';
$DB_PASS = 'mypass';

$con = new mysqli($DB_HOST, $DB_USER, $DB_PASS, $DB_NAME);

if (mysqli_connect_errno()) {
    printf("Connect failed: %s\n", mysqli_connect_error());
    exit();
}
//END OF DB CONNECT

//TP UTIL
function array_2d_to_1d($input_array) {
    $output_array = array();

    for ($i = 0; $i < count($input_array); $i++) {
      for ($j = 0; $j < count($input_array[$i]); $j++) {
        $output_array[] = $input_array[$i][$j];
      }
    }
    return $output_array;
}

function tableExists($con, $table) {
    $show = "SHOW TABLES LIKE '$table'";
    $result = $con->query($show) or die($con->error.__LINE__);
    if($result->num_rows == 1) return true;
    else return false;
}
//END TP UTIL

//++++++++++GET ITEM IDS++++++++++++//
$table = "shinies_primitiveitems_table_NEW";

if(tableExists($con, $table)){
    $query = "SELECT * FROM $table";
    $result = $con->query($query) or die($con->error.__LINE__);
    $index = 0;

    if($result->num_rows > 0) {
        while($row = $result->fetch_assoc()) {
            $urls[$index] = "https://api.guildwars2.com/v2/items/".stripslashes($row['ItemID']);
            //echo $urls[$i]."<br />";
            $index++;
        } //end while loop
    } //end if
}
//++++++++++END GET ITEM IDS++++++++++++//


//++++++++++MULTI CURL REQUESTS FOR API+++++++++++//
// Define the URLs
//$urls = $apiURLArray;

// Create get requests for each URL
$mh = curl_multi_init();
foreach($urls as $i => $url)
{
    //echo $url."<br />";
    $ch[$i] = curl_init($url);
    curl_setopt($ch[$i], CURLOPT_RETURNTRANSFER, 1);
    curl_multi_add_handle($mh, $ch[$i]);
}

// Start performing the request
do {
    $execReturnValue = curl_multi_exec($mh, $runningHandles);
} while ($execReturnValue == CURLM_CALL_MULTI_PERFORM);
// Loop and continue processing the request
while ($runningHandles && $execReturnValue == CURLM_OK) {
  // Wait forever for network
  $numberReady = curl_multi_select($mh);
  if ($numberReady != -1) {
    // Pull in any new data, or at least handle timeouts
    do {
      $execReturnValue = curl_multi_exec($mh, $runningHandles);
    } while ($execReturnValue == CURLM_CALL_MULTI_PERFORM);
  }
}

// Check for any errors
if ($execReturnValue != CURLM_OK) {
  trigger_error("Curl multi read error $execReturnValue\n", E_USER_WARNING);
}

// Extract the content
foreach($urls as $i => $url)
{
  // Check for errors
  $curlError = curl_error($ch[$i]);
  if($curlError == "") {
    $res[$i] = curl_multi_getcontent($ch[$i]);
  } else {
    print "Curl error on handle $i: $curlError\n";
  }
  // Remove and close the handle
  curl_multi_remove_handle($mh, $ch[$i]);
  curl_close($ch[$i]);
}
// Clean up the curl_multi handle
curl_multi_close($mh);

//var_dump(json_decode($res, true));
//echo count($res)."<br />";

//Decode data
for($i=0;$i<count($res);$i++){
    $dataArray[$i] = json_decode($res[$i], true);
    //echo "$i: ".json_decode($res[$i], true)."<br /><br />";
}
//echo count($dataArray)."<br />";
//var_dump($dataArray);


//$data = array_2d_to_1d($dataArray);

//echo count($data)."<br />";
/*
//Find attributes of each item
for($i=0;$i<count($data);$i++){
    echo $data[$i]['name']." - ".$data[$i]['icon'];
}*/

//turn dataArray into a single dimensional data array
//$data = array_2d_to_1d($dataArray);

//print_r($data);
//++++++++++END REQUEST+++++++++++//


// Print the response data - DEBUG
echo "<p>Total request time: ".round(microtime(true) - $s, 4)." seconds.";
?>
  • 0
    Если вы хотите, чтобы кто-то просмотрел ваш код, спросите об этом в Code Review
Теги:
optimization
curl
cron
timeout

1 ответ

0

Выключен ли сценарий из-за максимального времени выполнения? Если да, возможно, вы можете установить тайм-аут на нечто большее с помощью http://php.net/manual/en/function.set-time-limit.php или что-то еще?

Если это тайм-аут в том смысле, что все ваши завитушки перестают возвращаться, возможно, на удаленном конце есть ограничение скорости по запросам или есть какой-то другой предел, который вы нажимаете, если вы пытаетесь запустить 45 000 одновременных запросов TCP или что-то еще?

  • 0
    Вы знаете, что я на самом деле не думал об этом, но вы можете быть на что-то. Возможно, мой запрос на одновременное получение информации для 45000 наименований не лучший способ действий, если мне нужно оставаться ниже предела памяти. Я знаю, что это не проблема тайм-аута, но определенно падение памяти, так как это не займет много времени.
  • 0
    Ааа, в этом случае, возможно, вы можете использовать что-то вроде ini_set ('memory_limit', '512M'); если он просто достигает мягкого предела памяти (или разбивает запросы на подмножества, скажем, 1000 за раз, если он достигает жесткого предела памяти).
Показать ещё 2 комментария

Ещё вопросы

Сообщество Overcoder
Наверх
Меню