18C Computer Vision Artifical Knowledge Links (Beeldherkenningsmodel )
Waarneming.nl: Max 3 keer per jaar herziening van het model.
Beeldherkenningsmodel
- Model 1.Naturalis: 2-20 photos per species
Model 2.Naturalis: 40 photos per species
https://www.inaturalist.org/journal/optilete/43578-inaturalist-en-het-computer-vision-een-korte-geschiedenis- Model 4 4.1Nat:40 photographers per species
- Sep 2019 Model 5 <1000 photos per species
Mar-Jul2020 Model 6, Tensor Flow2 25,000 taxa
Mar 2020 Model 6 March 2020 model did and it had ~21000 species and ~2500 genera.
https://www.inaturalist.org/blog/31806-a-new-vision-modelMar-Jul 2021 Model 7, Tensor Flow2, 25,000 taxa +25.000 leaves , 21milj training photos , 1 NVIDIA RTX 8000 GPU, with hybrids (up from 38,000)
https://www.inaturalist.org/posts/54236-new-computer-vision-model- Oct-Dec2021 Model 8, Tensor Flow2, 47.00 taxa +25.000 leaves, 25milj training photos , 3NVIDIA RTX 8000 GPU, 4 times Memory, Label smoothing, without hybrids
April 2022 Model 9
https://www.inaturalist.org/blog/63931-the-latest-computer-vision-model-updatesAug 2022 Model 10.0.1 includes 60,000)
https://www.inaturalist.org/blog/69193-new-computer-vision-model-
Sept 2022 Model 10.0.2 (+5000 species, includes 65,000 taxa (up from 60,000)
https://docs.google.com/spreadsheets/d/12bfPG8idJbWpCO0Semw26fnH8hCOI_TDbTRSdPNXe1U/edit#gid=959153103
Okt 2022 Model 10 Okt 2022
https://www.inaturalist.org/blog/71290-a-new-computer-vision-model-including-1-368-new-taxa-in-37-daysBeeldherkenning Model v1.3 (Nr 11), Oktober 2022 has 66,214 taxa, up from 64,884. https://www.inaturalist.org/blog/71290-a-new-computer-vision-model-including-1-368-new-taxa-in-37-days
eferentiewaarnemingen er gebruikt worden (5000 of 40)
[b]Model 7.2022 38,000 to 47,000 taxa, and from 21 million to 25 million training photos[/b]
https://www.inaturalist.org/blog/59122-new-vision-model-training-started
https://groups.google.com/forum/#!topic/inaturalist/K9nJOC0Cjss
https://www.inaturalist.org/pages/help#cv-taxa
https://www.inaturalist.org/pages/help#computer-vision
https://www.inaturalist.org/pages/help#cv-select
https://www.inaturalist.org/blog/31806-a-new-vision-model
FWIW, there's also discussion and some additional charts at
https://forum.inaturalist.org/t/psst-new-vision-model-released/10854/11
https://www.inaturalist.org/pages/identification_quality_experiment
https://www.inaturalist.org/journal/loarie/10016-identification-quality-experiment-update
https://www.inaturalist.org/journal/loarie/9260-identification-quality-experiment-update
about a rare species, but the system might still recommend one based on nearby observation
https://forum.inaturalist.org/t/identification-quality-on-inaturalist/7507
https://github.com/kueda/inaturalist-identification-quality-experiment/blob/master/identification-quality-experiment.ipynb
"nearby" means near in space and time
The model became more efficient in sedges and grasse
the vision model does not itself incorporate non-image data other than taxon IDs
b/c because
https://www.inaturalist.org/blog/25510-vision-model-updates ("taxon and region comparisons" 20190614)
https://distill.pub/2020/circuits/zoom-in/ ("connections between neurons")
https://www.inaturalist.org/projects/flora-of-russia/journal/31726
https://www.inaturalist.org/posts/31726-
https://forum.inaturalist.org/t/provide-relevant-geographic-data-confidence-level-accuracy-scores-with-ai-suggestions/9226/2
https://forum.inaturalist.org/t/range-covered-by-the-seen-nearby-feature/2849/5
https://forum.inaturalist.org/t/use-computer-vision-to-annotate-observations/3331
https://forum.inaturalist.org/t/what-image-s-are-used-for-training-computer-vision/3307/6
Interessant artikel over de Artificial Intelligence achter Inaturalist: https://news.mongabay.com/wildtech/2017/08/smartphone-app-combines-computer-vision-and-crowdsourcing-to-explore-earths-biodiversity-one-photo-at-a-time/
[b]Model 7.2022 38,000 to 47,000 taxa, and from 21 million to 25 million training photos[/b]
= = = Nov2020
https://forum.inaturalist.org/t/better-use-of-location-in-computer-vision-suggestions/915/32
https://github.com/inaturalist/iNaturalistAPI/blob/main/lib/controllers/v1/computervision_controller.js#L368
= = = Jan 2022
https://www.inaturalist.org/blog/59122-new-vision-model-training-started
Common ancestor for the top 3 raw results
https://www.inaturalist.org/journal/ahospers/28858-funding-infrastructure-costs-images-on-amazon
m looking for a way of finding observations without coordinates. Many of these have Location Notes, so it is basically lacking Longitude or Latitude that I am looking for.
I am not interested in those with Latitude = 0 or Longitude = 0 (see https://www.inaturalist.org/projects/null (which is very inappropriately named, as I am looking for NULLS but this project identifies zeros instead - nulls have no data (value unassigned, or empty, or missing), but 0 is a specific datum - zero - like any other value - and not a “null”)).
At present for this user, filtering on verifiable=false gives me more or less what I want, but conflates these with any Data Quality criteria, not just missing coordinates.
https://www.inaturalist.org/observations?place_id=any&subview=grid&user_id=ahospers&verifiable=false 1
I added a very basic search to atlases in response to Jane’s feature request https://www.inaturalist.org/atlases 6. So now if you wanted to see all ‘marked’, ‘active’ atlases of taxa in the LIliaceae you’d do https://www.inaturalist.org/atlases?utf8=✓&filters[taxon_name]=Lilies&filters[taxon_id]=47328&filters[is_active]=True&filters[is_marked]=True
The out-of-range is vestigal, we don’t display it anywhere anymore (except the old filter menu thats still on https://www.inaturalist.org/observations/loarie 1). It worked directly on the taxon-range, rather than using atlases
k kan de vraag beantwoorden voor het europese model welke nu getraind wordt:
om als soort opgenomen te kunnen worden moet
- de taxonomische boom kloppen
- minimaal 10 waarnemingen bestaan met 1 of meer fotos welke handmatig gevalideerd zijn met een groen vinkje binnen Europa
- de foto`s moeten minimaal 400*400 pixels zijn
het maximaal aantal fotos voor 1 soort is 25.000
http://nl.wikisage.org/wiki/Eelderbaan_Vinkhuizen
http://nl.wikisage.org/wiki/Westpark_(Groningen)
http://nl.wikisage.org/wiki/Onneresch
https://nl.everybodywiki.com/Eelderbaan_Vinkhuizen
https://nl.everybodywiki.com/Eelderbaan
https://nl.everybodywiki.com/Suikerunieterrein
https://nl.everybodywiki.com/Roegebos
https://nl.everybodywiki.com/Westpark_(DeHeld.Vinkhuizen)
https://nl.everybodywiki.com/Onneres
https://nl.everybodywiki.com/Holtesch_(Hooghalen)
https://nl.everybodywiki.com/Zwagermieden
Het genereren van het europees model is klaar en staat nu op test.
Deze versie bevat MINDER soorten dan het nederlandse/belgische model omdat het minimaal aantal goedgekeurde waarnemingen met fotos is opgeschroefd van 2 naar 10
Het gevolg is wel dat de herkenning beter gaat in veruit de meeste ordes
Om deze versie te kunnen testen is op de oude site in het waarnemingen detailscherm een knopje toegevoegd onder het kopje 'contact' .Zie bijlage
b.v. https://old.waarneming.nl/waarneming/view/226572102
Druk daarop en je ziet hoe de herkenning zou uitpakken met de nieuwe versie.
Wat de planten betreft ben ik qua soorten die voorheen niet in het NL/BE model zaten nog niet onder de indruk. Ook bij waarnemingen met duidelijke foto's van taxa waarbij een paar honderd goedgekeurde foto's zijn, zit de herkenning er in het merendeel van de gevallen naast. Als test heb ik de prestatie even vergeleken met PlantNet (waar de datakwantiteit van de foto's iets hoger is, maar de datakwaliteit een stuk lager dan 'bij ons' (meer foutieve determinaties)). Daar worden dezelfde foto's consequent wél juist herkend.
Ik twijfel zelfs of het voor de planten op Observation.org wel een vooruitgang is. Er wordt wel iets meer herkend (vooral plantentaxa met >1000 goedgekeurde foto's worden herkend, maar dat is een zeer gering aantal), maar soorten als Edelweiss, Purpersla en Linaria alpina worden consequent niet herkend (en dat zijn toch echt taxa waarbij verwacht mag worden dat de beeldherkenning er iets mee kan, daarvan waren ten tijde van het ophalen van de foto's tenminste ca. 400 gevalideerde foto's van beschikbaar), en de foute suggesties zijn bovendien uiteenlopender dan bij het huidige model het geval is volgens mij. Ik had er iets meer van verwacht/gehoopt om eerlijk te zijn.
De komende tijd zal ik zo nu en dan nog eens wat testen. Ik ben benieuwd wat de ervaringen van andere soortgroepen op observation zijn, maar ook naar de ervaringen van de NL validatoren.
Zit er al iets in de pijplijn mbt het niet laten suggereren van soorten die niet in NL/BE voorkomen wanneer de coördinaten van de foto/waarneming wel in NL/BE zijn?
Ik heb het bij de paddenstoelen geprobeerd, maar bij de niet in NL/BE voorkomende soorten heb ik uitsluitend namen voorgesteld gekregen van soorten die wel in NL/BE voorkomen. Voor de rest is het model voor mijn gevoel het net zo goed/slecht als het huidige model: een aantal soorten worden beter herkend, andere slechter, goed herkenbare algemene soorten worden vrij goed benoemd, bij de slecht herkenbare of zeldzame soorten (die zijn er veel bij de paddenstoelen) krijg je nog steeds de meest uiteenlopende suggesties.
k hoop dat men per ongeluk het Europese model nog niet heeft geactiveerd. Ik koos een groep met enkele tientallen bijensoorten met zeer karakteristiek contrasterend geel-zwart of rood-zwart patroon waarvan ik weet dat NIA de Belgische/Nederlandse soorten zeer goed kan herkennen. Het resultaat is dat zelfs voor soorten met helemaal andere unieke kleurpatronen ik nog steeds de Belgische/Nederlandse soorten als suggestie krijg. Van die Europese soorten bestaan tientallen goedgekeurde foto's, van lage tot zeer hoge kwalite
https://www.inaturalist.org/journal/optilete/43578-inaturalist-en-het-computer-vision-een-korte-geschiedenis
https://www.inaturalist.org/blog/59122-new-vision-model-training-started
Een presentatie hoe een be-nl model samengesteld is https://observation.org/download/Biodiv%20Next%20-%20Dutch_Belgian%20species%20ID%20.pptx
Hierarchisch Model Ensemble is nauwkeuriger dan een singe model, mogelijk omdat bij 16.000 soorten te veel keuzes gemaakt moeten worden (Inception-v1, Inception-v3,Inception-v4, ResNet-18,, ResNet-34 , ResNet-101, GoogleLeNet, BN-NIN, GG-10)
Performance vs Voorkomen
https://forum.inaturalist.org/t/identification-quality-on-inaturalist/7507
AI Model 7 . July 2021
The number of taxa included in the model went from almost 25,000 to over 38,000. That’s an increase of 13,000 taxa compared to the last model, which, to put in perspective, is more than the total number of bird species worldwide. The number of training photos increased from 12 million to nearly 21 million.
Accuracy
Accuracy outside of North America has improved noticeably in this model. We suspect this is largely due to the nearly doubling of the data driving this model in addition to recent international growth in the iNaturalist community. We’re continuing to work on developing a better framework for evaluating changes in model accuracy, especially given tradeoffs among global and regional accuracy and accuracy for specific groups of taxa.
The recent changes removing non-nearby taxa from suggestions by default have helped reduce this global-regional accuracy tradeoff, but there’s still more work to do to improve how computer vision predictions are incorporating geographic information.
https://www.inaturalist.org/blog/54236-new-computer-vision-model
Participate in the annual iNaturalist challenges: Our collaborators Grant Van Horn and Oisin Mac Aodha continue to run machine learning challenges with iNaturalist data as part of the annual Computer Vision and Pattern Recognition conference. By participating you can help us all learn new techniques for improving these models.
Start building your own model with the iNaturalist data now: If you can’t wait for the next CVPR conference, thanks to the Amazon Open Data Program you can start downloading iNaturalist data to train your own models now. Please share with us what you’ve learned by contributing to iNaturalist on Github.
Een presentatie hoe een be-nl model samengesteld is https://observation.org/download/Biodiv%20Next%20-%20Dutch_Belgian%20species%20ID%20.pptx
Hierarchisch Model Ensemble is nauwkeuriger dan een singe model, mogelijk omdat bij 16.000 soorten te veel keuzes gemaakt moeten worden (Inception-v1, Inception-v3,Inception-v4, ResNet-18,, ResNet-34 , ResNet-101, GoogleLeNet, BN-NIN, GG-10)
Performance vs Voorkomen
https://www.inaturalist.org/blog/archives/2022/05
https://www.inaturalist.org/blog/66531-we-ve-passed-100-000-000-verifiable-observations-on-inaturalist
https://www.inaturalist.org/blog/63931-the-latest-computer-vision-model-updates
AI Model 8 . May 2022
In 2017 the amount of recognised species was 20.000 and now it is still.....20.000?
https://www.inaturalist.org/pages/help#cv-taxa
FWIW, there's also discussion and some additional charts at https://forum.inaturalist.org/t/psst-new-vision-model-released/10854/11
https://forum.inaturalist.org/t/identification-quality-on-inaturalist/7507
AI Model 5 . July 2019 included 16,000 taxa and 12 million training photos.
AI Model 6 . July 2020 included 25,000 taxa and xx million training photos.
AI Model 7 . July 2021 included 38,000 taxa and 21 million training photos. Training job in October 2021, we planned to train a AI Model 7 . May 2022 on 47,000 taxa and 25 million training images but finished with er 55,000 taxa and over 27 million training images.
March 2020 Model 6
https://www.inaturalist.org/blog/31806-a-new-vision-model
Juli 2021 Model 7
https://www.inaturalist.org/posts/54236-new-computer-vision-model
Sept 2022 Model 9 Sept 2022
https://www.inaturalist.org/blog/63931-the-latest-computer-vision-model-updates
https://stackoverflow.com/questions/44860563/can-vgg-19-fine-tuned-model-outperform-inception-v3-fine-tuned-model
https://stackoverflow.com/questions/44860563/can-vgg-19-fine-tuned-model-outperform-inception-v3-fine-tuned-model
https://www.inaturalist.org/posts/54236-new-computer-vision-model
https://www.inaturalist.org/blog/69958-a-new-computer-vision-model-including-4-717-new-taxa
Okt 2022 Model 10 Okt 2022
https://www.inaturalist.org/blog/71290-a-new-computer-vision-model-including-1-368-new-taxa-in-37-days
Model v1.3 (Nr 11), Oktober 2022 has 66,214 taxa, up from 64,884. https://www.inaturalist.org/blog/71290-a-new-computer-vision-model-including-1-368-new-taxa-in-37-days
This new model (v1.3) is the second we’ve trained in about a month using the new faster approach, but it’s the first with a narrow ~1 month interval between the export of the data it was trained on and the export of the data the model it is replacing (v1.2) was trained on. The previous model (v1.2) was replacing a model (v1.1) trained on data exported in April so there was a 4 month interval between these data exports (interval between A and B in the figure below). This 4 month interval is why model 1.2 added ~5,000 new taxa to the model. The new model (v1.3) was trained on data exported just 37 days after the data used to train model 1.2 (interval between B and C in the figure below) and added 1,368 new taxa.
Best een aardig verhaal
https://zenodo.org/record/7050651/files/Naturalis%20Biodiversity%20Center%20%282022%29.%20Eindrapportage%20project%20Automatische%20beeldherkenning%20voor%20museumcollecties.pdf?download=1
et model verboden toegang is, maar de fotos wer wel toegangkelijk. Scheelt in elk geval wel weer 2800 eiren rapen mocht je zelf een vogeleieren model willen maken :-)
Waaarom is er niet gewoon een BEWERK button ?
Mocht je te lui zijn om te lezen..bij dit verhaal hoef je alleen maar je oortjes open te doen en het is een nog veel innovatiever onderwerp
https://www.youtube.com/watch?v=FUfrRcTNOh0
Ik snap niet dat dit onderwerp nog maar 59 keer bekeken is..
TAISIG Talks: Dan Stowell on Birdsong representations with AI
https://www.youtube.com/watch?v=FUfrRcTNOh0
To facilitate collaboration among researchers from different AI related fields, in the TAISIG Talks series, Tilburg University brings together AI experts from various domains to discuss their most recent findings. Each TAISIG talk features three scientists with different backgrounds and at different stages in their careers.
https://zenodo.org/record/7050651#.Y2ZqenbMK72 Naturalis Biodiversity Center (2022). Eindrapportage project Automatische beeldherkenning voor museumcollecties
Here's all of them going back to March 2020:
https://www.inaturalist.org/blog/31806-a-new-vision-model
https://www.inaturalist.org/posts/54236-new-computer-vision-model
https://www.inaturalist.org/blog/63931-the-latest-computer-vision-model-updates
https://www.inaturalist.org/blog/69193-new-computer-vision-model
https://www.inaturalist.org/blog/69958-a-new-computer-vision-model-including-4-717-new-taxa
https://www.inaturalist.org/blog/71290-a-new-computer-vision-model-including-1-368-new-taxa-in-37-days
https://www.inaturalist.org/blog/72693-a-new-computer-vision-model-including-1-383-new-taxa-in-40-days
https://www.inaturalist.org/posts/72692-a-new-computer-vision-model-including-1-403-new-taxa-in-32-days
https://www.inaturalist.org/blog/74424-a-new-computer-vision-model-including-1-465-new-taxa-in-40-days
https://www.inaturalist.org/posts/75633-a-new-computer-vision-model-v2-1-including-1-770-new-taxa