Демо / track-lab

Протокол оцінювання · експеримент E5

Як виміряти трекер, коли істина хибна

У полі ніхто не дасть вам чистих міток. Оператор позначає ціль, коли помічає її, через кілька секунд після появи, і ніколи не позначає ту, яку пропустив. Кожна метрика, порахована за цими мітками, зміщена. Питання не в тому, як отримати ідеальні мітки, а в тому, які числа й далі надійно показують, що трекер B кращий за трекер A.

Експеримент

Зафіксуйте трекер і сценарій. Змінюйте його справжню якість у шість кроків, зсуваючи поріг детекції. Оцініть кожен крок двічі: за чистими мітками, які знає симулятор, і за мітками, зіпсованими так, як псуються справжні. Потім для кожної метрики перевірте, чи збігається ранжування шести кроків за зіпсованих міток із ранжуванням за чистих: рангова кореляція Спірмена, одне число на метрику на тип псування. Метрика з ρ близько 1 і далі правильно впорядковує трекери; метрика близько 0 перетворилася на шум; від'ємна активно вводить в оману.

Чотири типи псування, кожен зі своєю причиною в реальному світі:

  • пропуск 30 %: третина цілей узагалі не отримала міток. Їх пропустив оператор або система журналювання.
  • запізнення на 2 s: кожна мітка починається через дві секунди після справжньої появи цілі. Оператор захоплює ціль, коли вона вже очевидна.
  • зсув 10 m: позиції в мітках зсунуті шумом на 10 m. Рамки, намальовані вручну, неточно прив'язана карта.
  • розріджено, кожен 5-й скан: мітки є для одного скану з п'яти. Анотація на 2 Hz для сенсора на 10 Hz.

Що з цього випливає для протоколу

Виміряна відповідь не та, яку підказує інтуїція. Метрики рівня точок витримують запізнілі, пропущені й зсунуті мітки: MOTA, IDF1 і HOTA зберігають ідеальне ранжування за всіх трьох, бо псування зсуває кожне налаштування приблизно на однакову величину, і порядок зберігається. Розріджені мітки — виняток, і вони ламають лише MOTA: коли мітки є на одному скані з п'яти, кожен рядок треку на скані без мітки рахується як хибнопозитивний, тож налаштування, які супроводжують найкраще, штрафуються найбільше, і ранжування перевертається. IDF1 і HOTA, які зіставляють ідентичності на цілих треках, тримаються.

Час до підтвердження стабільний за будь-якого псування. Хибні треки на годину — ні, за жодного, і причина повчальна: у цьому проході чиста частота хибних треків ледь змінюється, тож її ранжування є шумом ще до будь-якого псування, а правильний трек на цілі, чию мітку пропущено, рахується як хибний. Число на рівні треків надійне рівно настільки, наскільки великий розкид, який воно має розрізнити.

Протокол, який із цього випливає, простий. Коли мітки розріджені, звітуйте HOTA або IDF1, а не MOTA. Час до підтвердження звітуйте як число, яке бачить оператор. Хибні треки на годину звітуйте лише зі стандартною похибкою і лише там, де прохід справді їх змінює. І ніколи не порівнюйте два трекери на мітках різної повноти: запас часу, виміряний від запізнілої мітки, виміряний від неправильного нуля.

Як виготовити ранні мітки: зворотний трекінг

час захоплення оператором ціль з'являється мітки немає, сигнал слабкий трекінг назад від захоплення: від великого до малого — легкий напрямок кожен крок лишає мітку, якої оператор не ставив тут мітка є пізня, але надійна
Пізня мітка все одно надійно прив'язує ціль у часі й просторі. Супроводжуйте ціль назад від неї, від великої й чіткої до малої й ледь помітної, і слід перетвориться на мітки саме для того режиму, який не розмічає жодна людина: секунди під порогом, поки ціль ще ніхто не помітив. Кожна записана операція дає такі мітки автоматично, і вони стають навчальним і тестовим набором для ранньої детекції.

Так найбільша слабкість польових даних, запізнілі мітки, перетворюється на машину для розмітки. Для цього потрібні три речі: детектор маркера захоплення оператора на записі (прямокутник фіксованої форми, легка задача), трекер, запущений у зворотному часі (той самий трекер; час — лише параметр), і правило зупинки, коли зворотний трек втратив ціль (той самий послідовний тест на оберненій послідовності). Еталонний трекер на цих сторінках уже має дві останні.

track-lab · tracklab.gt містить типи псування і тест стабільності ранжування; таблиці тут — експеримент E5 із docs/data/e5.json.