#RStats #duckdb gurus, is thread safety the main reason we don't have (as of today) R level user defined functions like the duckdb's snake binding ? Or the reason is that we don't really have scalar functions ? github.com/duckdb/duckd...

User Defined Functions with R ...

updates about #DuckDB #spatial joins
#geo #gis #geodata #gistribe #gischat #sql
https://duckdb.org/2025/08/08/spatial-joins.html

My talks at @useR_conf is here https://defuneste.codeberg.page/useR_2025/

tldr: I think storing "big" data as a parquet files, stored in s3 accessed with duckDB and wrapped in an R package is a nice way to save some of your sanity.

Now that we know that DuckDB is great let start showing how R can make it in production!

Side notes: loved using {litedown} and codeberg for the prez. Mermai.js you are also great but I am not rdy!

Get 9-30x speed doing areal-weighted interpolation with my new {𝐝𝐮𝐜𝐤𝐬𝐟} #rstats package compared to {sf}/{areal}. Experimental, but tested against both {areal} and {sf}. https://github.com/e-kotov/ducksf . Despite the costs of moving data between R and #DuckDB, the performance of {𝐝𝐮𝐜𝐤𝐬𝐟} is impressive, thanks to #DuckDB . Look at the attached benchmark results. And be sure to read the recent post of @duckdb about the performance improvements of their spatial joins here: https://duckdb.org/2025/08/08/spatial-joins.html

I’ve always known that the #DuckDB appender interface was the way to go for bulk loading data. But today I had reason to write a #Golang benchmark to see just how much faster it is and discovered it’s at least 250x faster (on my laptop) at inserting a bigint into a table.

I tested both in-memory and on-disk as well as testing INSERT with auto-commit and with batched commits at various batch sizes.

https://gist.github.com/rkennedy-argus/9e9b2a9fe79d7b098ff40bfb4ffc0384

I suppose I should test INSERTs with prepared statements, too. But I doubt they’ll put much of a dent in that difference.

Xorq：以 Python 簡潔性實現 SQL 規模的機器學習目錄、組合與部署
➤ 打造具備 Python 簡潔性與 SQL 擴展能力的下一代 ML 管道
✤ https://github.com/xorq-labs/xorq
Xorq 是一個新穎的機器學習框架，旨在簡化並標準化 ML 管道的建置、分享與部署流程。它透過結合 Python 的易用性與 SQL 的強大擴展性，讓開發者能夠以聲明式的方式跨多個計算引擎（如 DuckDB、Snowflake 和 DataFusion）建立可重複使用的 ML 管道。Xorq 的核心技術包括使用 Apache Arrow 進行零拷貝資料傳輸，以及利用 Ibis 和 DataFusion 實現高效運算。其特點包括：支援 pandas 風格語法與 Ibis 的多引擎聲明式表達；將 Python 運算式定義為 YAML 格式，確保可重複性；提供可移植的 UDF 與 UDAF，並支援自動序
#機器學習 #資料工程 #管道 #Python #SQL #Ibis #DuckDB #Snowflake #DataFusion #Apache Arrow

Nerd post!

I just discovered that #DuckDB (follow at @duckdb), which is a really cool #opensource tool that allows you to directly do SQL queries against csv, json, and many more file types (among with many other features), also lets you output query results directly to #LaTeX.

Note to self: use #DuckDB more often. #Pandas' syntax for aggregation is a pain, SQL is cool.

https://codecut.ai/deep-dive-into-duckdb-data-scientists/

I track Stratosphere's posts & their bot has a daily top 10 sketch IPs list. My kept lots of "*.100" IPs & I was curious how frequently they showed up. Went back 200 posts w/GH:McKael/madonctl using both R and DuckDB. Def block these. — #DuckDB: ray.so/SdMcBZa — #RStats: ray.so/naTBBMS

I track @stratosphere's posts & their bot has a daily top 10 sketch IPs list. My kept lots of "*.100" IPs & I was curious how frequently they showed up.

Went back 200 posts w/GH:McKael/madonctl using both R and DuckDB.

Def block these.

— #DuckDB: https://ray.so/SdMcBZa
— #RStats: https://ray.so/naTBBMS

This week, I learned how to create and explore a data lake with duckdb, using its new ducklake extension. It was surprisingly easy to hand over the creation and management of parquet files with larg(ish) tables to ducklake. I loved being able to explore the data using R, python or plain SQL - even within the same Quarto document! https://tomsing1.github.io/blog/posts/ducklake/ #RStats #python #duckdb #ducklake #quarto

Analyzing #Database Trends Through 1.8 Million Hacker News Headlines #mongo #mysql #postgresql #duckdb https://camelai.com/blog/hn-database-hype/

DuckDBを使ってS3に格納されているParquetファイルを調査してみた
https://dev.classmethod.jp/articles/analyze-s3-parquet-with-duckdb/

Работа с данными в DuckDB или не pandas’ом единым сыт DS

В проектах по разработке ML-моделей я регулярно сталкиваюсь с тем, что значительная часть времени уходит не на саму модель, а на приведение данных в нужный формат: очистку, трансформацию, агрегацию. Этот этап требует не только времени, но и вычислительных ресурсов, особенно когда речь идет о больших объемах информации. В этой статье я расскажу о своем небольшом исследовании DuckDB — инструменте, который может значительно упростить и ускорить работу с данными.

https://habr.com/ru/companies/cinimex/articles/913878/

Что в чёрной коробочке? Выясняем самостоятельно, не привлекая внимания коллег

Всем привет, меня зовут Миша, и я разрабатываю платформу Яндекс Еды. Первые компоненты были написаны почти 10 лет назад (когда Еда ещё была стартапом Foodfox), и у нас накопилось много кода, который просто хорошо работает, а иногда даже «работает — не трогай». Но в процессе развития и устоявшиеся части системы нужно трогать, про что мои коллеги уже писали — как мы повышали версию PHP , пилили монолит и снимали нагрузку с БД . Наконец настал черёд рассказать про процессинг заказов доставки еды из кафе и ресторанов (а также продуктов из магазинов и многого другого). За годы эволюционного развития он значительно разросся, что стало заметно затруднять дальнейшее развитие — например, изменения, связанные с выходом на новые рынки, — а также влиять на надёжность. Поэтому мы решили вынести процессинг заказа в отдельный специализированный сервис. Чтобы определить, что выносить, а что оставлять, нужно было составить исчерпывающий и актуальный список процессов, которые происходят с заказом. И здесь мы столкнулись с вызовом: это знание распределено по многим людям и документам, поскольку на протяжении долгого времени в процессинг заказов вносили изменения многие команды. И перед нами встал вопрос — как собрать нужную информацию о системе с заметной долей легаси быстро, да так, чтобы информация была актуальна?

https://habr.com/ru/companies/yandex/articles/921122/