Подсчитать количество промежутков до пролета с определенным идентификатором

Вы не можете использовать .nextUntil(), потому что это касается братьев и сестер, и не все элементы span в вашем примере являются братьями и сестрами. Помещение селектора в $(...) должно приводить к созданию объекта jQuery, который соблюдает порядок элементов в DOM, поэтому, может быть, просто:

var count = 0;
$("span").each(function(i) {
    count++;
    if (this.id === "a5") {return false;} // breaks out of loop when the id is found
});

console.log(count);

Вы не можете использовать nextUntil(), потому что они не братья и сестры. Это лучший способ, о котором я могу думать.

var a5index;
$('table span').each(function(idx){
  if( $(this).is('#a5')){
    a5Index = idx;
    return true; // No reason to keep going after we find it...
  }
});

Просто .each() все промежутки с .each() и используйте индекс (число итераций цикла) в качестве счетчика:

var c;
$("span").each(function(index, element) {
    if(element.id == "a5") {
        c = index; // set counter to current index value
        return false; // break the each loop
    }
});
alert(c);

http://jsfiddle.net/8rPcN/

Используйте return false, чтобы выйти из цикла.each раньше

var count = 0;
var toId = "a5";
$("span").each(function(){
   count++;
   if(this.id == toId) {
      return false;
   }
});
console.log(count);

или используйте одну строку с использованием .index

console.log( $("span").index($("#a5")) );