If you are curious about the inner workings of #cassandra, #debezium, #druid, #elasticsearch, #lucene, #kafka, #neo4j, or #spark then check out https://glennengstrand.info/software/opensource/analysis which presents a static code analysis of these eight open source giants.
nvidia GTC is coming to the bay area next week. we'll be there with a
* talk about bringing #lucene to the GPU
* a "guess that prompt" meetup between galileo + UnstructuredIO + elastic. join us to outsmart AI ;)
https://lu.ma/guess-that-prompt
#lucene 9 end of life cleanup 
https://github.com/apache/lucene/pull/13882
Just blogged about "How to sort items by a #custom date in an #Umbraco v13+ #Examine Index".
https://www.nurhakkaya.com/2024/10/how-to-sort-items-by-custom-date-in.html
Погружение в недра Apache Lucene: архитектура индекса, выполнение поиска и репликация данных
Это перевод моей статьи в моем блоге про архитектуру Apache Lucene , про одну из самых известных библиотек реализации поискового индекса. Elasticsearch и Solr, широко известные реализации масштабируемых решений для поиска, они используют эту библиотеку под капотом. Я работаю над созданием решений для поиска в сфере электронной коммерции, и постоянно сталкиваюсь с этой библиотекой при повседневной работе. Apache Lucene реализует большую часть необходимого функционала для построения поисковой системы. Начиная с процесса токенизации, который извлекает канонические формы слов в виде токенов, продолжая полной реализацией инвертированного индекса, и завершая репликацией сегментов в режиме близком к реальному времени. Количество практически полезных фичей, реализованных за два десялилетия существования библиотеки, колоссально. Эта библиотека интегрирует знания из лингвистики, математики и компьютерных наук. Инвертированный индекс Apache Lucene реализует архитектуру инвертированного индекса. На уровне реализации логический индекс содержит коллекцию неизменяемых сегментов, хранящихся как файлы в файловой системе. Каждый сегмент сам по себе является инвертированным индексом. Такой индекс — это структура данных словаря с терминами в качестве ключей и данными по размещению (postings) в качестве значений. Постинг — это список идентификаторов документов и количеств вхождений термина в данном документе. Этот словарь использует Finite State Transducers, FST [1] для поиска терминов, что можно представить как нечто похожее на отсортированные списки с пропусками [2]. Такая отсортированная навигационная карта является краеугольным камнем для эффективного поиска по огромным обьемам документов. Lucene также очень эффективен в использовании памяти. Среди прочих алгоритмов, он использует алгоритмы кодирования разницами для сжатия идентификаторов документов в постингах [3]. Упрощенно идея этого сжатия заключается в сортировке списока целых чисел и сохранения дельт между ними. Это также повышает производительность операций ввода-вывода диска.
#lucene 10 is out: https://lucene.apache.org/core/corenews.html#apache-lucenetm-1000-available
and the #elasticsearch upgrade is already kicking off, starting the countdown for version 9: https://github.com/elastic/elasticsearch/pull/114741
Some people blog about K8s, I prefer to blog about K9. https://opensourceconnections.com/blog/2024/10/10/dogfights-in-open-source-search-solr-opensearch-and-elasticsearch/ #solr #elasticsearch #opensearch #opensource #lucene
@timbray The dk.brics.automaton Java library comes to my mind immediately. Very minimalistic, incredibly fast and efficient (C-like code actually) and only Junit test dependencies.
https://github.com/cs-au-dk/dk.brics.automaton
https://www.brics.dk/automaton/
Plus, it is widely used in e.g. #lucene and via this in things like #solr or #ElasticSearch
.
approximate kNN search based on HNSW with float vectors on the _knn endpoint. this like many other (but not all) changes is based on improvements in #lucene 3/18
Elasticsearch is Open Source, Again
Vous sauriez s'il existe une option dans une Lucene Query de Grafana de passer une variable de majuscule à minuscule ou inversement ?
J'ai une variable Grafana que le user doit renseigner en majuscule mais qui doit être exploitée en minuscule dans des graphiques...
approximate kNN search:
* good estimate
* you can control speed vs precision through the num_candidates setting (basically overfetching on the approximation for getting very close to exact kNN)
* #lucene uses HNSW: think of it as highways, roads & streets 
3/9
great validation on all the progress #elasticsearch and #lucene have made as a vector database (besides all the other features and improvements)
guess we'll "just" have to do a lot more shouting about it 
https://reddit.com/r/elasticsearch/comments/1d3xtds/is_elastic_search_better_than_chromadb/
Any friends (or potential friends :)) in #stockholm ? I'll be in Stockholm and have some availability to meet up. Interested in connecting in general as well as with folks in #search, #informationretrieval, #knowledgemanagement, #library sciences.
pgvector 0.7 is out: https://www.postgresql.org/about/news/pgvector-070-released-2852/
1. never forget about #postgresql
2. fascinating what the "right" quantization / granularity per vector dimension is for each system. postgres picks 4 and 2 byte plus 1 bit. whereas #lucene / #elasticsearch are going for 4 and 1 byte plus 4 bit. who can pick the right tradeoffs here?
Found this in the 
