10% of results are missing at the search API

[milahu]

in my hypothesis-annotations-scraper
i noticed that annotations and highlights are missing in the search results

in total, i only get 7519 of 8548 objects = about 90%

i use authentication to get annotations and highlights

with debug=true and scripts/render-debug-files.sh i get

-----------
https://hypothes.is/api/search?sort=updated&limit=200&user=milahu
debug.1751534747.844356246.result_json.json
...
2024-11-15T09:54:57.953766+00:00 AS3320 (Deutsche Telekom) Peering Racketeers and E :: (missusing) your economical situation to put on pr
-----------
https://hypothes.is/api/search?sort=updated&limit=200&user=milahu&search_after=2024-11-15T09:54:57.953766+00:00
2024-11-14T19:52:42.973092+00:00 "Die Masse der Menschen wird ins offene Messer lau :: 
...

in the webinterface at https://hypothes.is/users/milahu i see 13 more objects:

 -----------
 https://hypothes.is/users/milahu?page=1
 ...
 AS3320 (Deutsche Telekom) Peering Racketeers and E :: (missusing) your economical situation to put on pr
 -----------
 https://hypothes.is/users/milahu?page=2
+AS3320 (Deutsche Telekom) Peering Racketeers and E :: DTAG had always moon pricings
+AS3320 (Deutsche Telekom) Peering Racketeers and E :: @kait said: I might consider doing some tests
+AS3320 (Deutsche Telekom) Peering Racketeers and E :: DE-CIX is a monopoly as well.
+AS3320 (Deutsche Telekom) Peering Racketeers and E :: Facebook has a lot of money and they failed
+AS3320 (Deutsche Telekom) Peering Racketeers and E :: There is a silent war happening between
+AS3320 (Deutsche Telekom) Peering Racketeers and E :: violation of the EU directives on Net Neutrality
+AS3320 (Deutsche Telekom) Peering Racketeers and E :: AS3320 (Deutsche Telekom/DTAG/DT/Telekom.de) has reinforced
+There is a silent war happening between Psychopaths :: There is a silent war happening between
+What is up with germany? : r/networking :: Frankfurt, being the main point of interconnection
+What is up with germany? : r/networking :: This is a problem with a bunch of carriers
+What is up with germany? : r/networking :: work for very large telecom that peers
+What is up with germany? : r/networking :: All other players in Germany
+What is up with germany? : r/networking :: Hairy_Government207 • 3y ago • Edited
 "Die Masse der Menschen wird ins offene Messer lau :: 

the next missing objects are here:

-----------
https://hypothes.is/api/search?sort=created&limit=200&user=milahu&search_after=2024-11-15T09:54:57.953766+00:00
...
2024-08-25T07:19:34.983101+00:00 Stern-Journalistin verzweifelt: Hilfe, mein Sohn w :: Der Podcast, den alle hören: Das ist „Hoss und Hop
-----------
https://hypothes.is/api/search?sort=created&limit=200&user=milahu&search_after=2024-08-25T07:19:34.983101+00:00
2024-08-24T19:04:28.134915+00:00 Philip Hopf unzensiert: "Die Menschen würden auch  :: 7:00 provokation, aggression, sublimation.  \nsigmu

webinterface has 28 more:

 -----------
 https://hypothes.is/users/milahu?page=3
 ...
 Stern-Journalistin verzweifelt: Hilfe, mein Sohn w :: Der Podcast, den alle hören: Das ist „Hoss und Hop
+Stern-Journalistin verzweifelt: Hilfe, mein Sohn w :: Sie müsste ja wissen, wie das Geschäftsmodell
+Stern-Journalistin verzweifelt: Hilfe, mein Sohn w :: so redet eigentlich kein junger Mensch
+Stern-Journalistin verzweifelt: Hilfe, mein Sohn w :: mit Krypto reich und berühmt werden
+Stern-Journalistin verzweifelt: Hilfe, mein Sohn w :: Ihr Sohn will einfach nicht links sein
+Stern-Journalistin verzweifelt: Hilfe, mein Sohn w :: einen peinlichen Artikel
+Propaganda-Lehrstück – Fall Nord Stream: Abgetaucht :: absurde Geschichte
+Propaganda-Lehrstück – Fall Nord Stream: Abgetaucht :: Schweigen
+Propaganda-Lehrstück – Fall Nord Stream: Abgetaucht :: wirtschaftlichen Niedergang
+Propaganda-Lehrstück – Fall Nord Stream: Abgetaucht :: Anstieg der Energiepreise
+Propaganda-Lehrstück – Fall Nord Stream: Abgetaucht :: Ankündigungen einfach in die Tat umgesetzt
+Propaganda-Lehrstück – Fall Nord Stream: Abgetaucht :: bei einem Einmarsch Russlands
+Propaganda-Lehrstück – Fall Nord Stream: Abgetaucht :: Versorgungssicherheit
+Propaganda-Lehrstück – Fall Nord Stream: Abgetaucht :: Deutschland versuchte das Problem
+Propaganda-Lehrstück – Fall Nord Stream: Abgetaucht :: Countering America’s Adversaries
+Trimarium-Doktrin – Was genau passiert im Hafen von Triest? :: Das ist der nächste Kriegsschauplatz
+Trimarium-Doktrin – Was genau passiert im Hafen von Triest? :: Bis nach Deutschland vorzudringen
+Trimarium-Doktrin – Was genau passiert im Hafen von Triest? :: Von Triest bis zur Ostsee
+Trimarium-Doktrin – Was genau passiert im Hafen von Triest? :: geografische Verlagerung
+Trimarium-Doktrin – Was genau passiert im Hafen von Triest? :: die internationale Unterstützung
+Trimarium-Doktrin – Was genau passiert im Hafen von Triest? :: Ziel ist es, mit China
+Trimarium-Doktrin – Was genau passiert im Hafen von Triest? :: da Italien eine Kolonie der USA
+Trimarium-Doktrin – Was genau passiert im Hafen von Triest? :: Nach dem Zweiten Weltkrieg
+Trimarium-Doktrin – Was genau passiert im Hafen von Triest? :: Club of London, dem Club of Paris
+Trimarium-Doktrin – Was genau passiert im Hafen von Triest? :: militärisch
+Trimarium-Doktrin – Was genau passiert im Hafen von Triest? :: finanziell, wirtschaftlich und politisch
+Trimarium-Doktrin – Was genau passiert im Hafen von Triest? :: dauerhafte Herrschaft
+Trimarium-Doktrin – Was genau passiert im Hafen von Triest? :: unter sorgfältiger Koordinierung
+Trimarium-Doktrin – Was genau passiert im Hafen von Triest? :: Aufrechterhaltung der amerikanischen Macht
 Philip Hopf unzensiert: "Die Menschen würden auch  :: 7:00 provokation, aggression, sublimation.  \nsigmu

the result is stable across repeated search queries, so its not random
the result may be different when i add more objects (annotations or highlights)

i tried to replace sort_field=updated with sort_field=created but no change

related: the search_after parameter
https://web.hypothes.is/blog/new-search-api-parameter-search_after/
#5191 (comment)