ΤΕΥΧΟΣ 086  ·  17 ΝΟΕΜΒΡΙΟΥ 2026 ELEN RSS
CodeCity
ΓΝΩΣΗ № 0085

DuckDB: SQL ανάλυση μέσα στο πρόγραμμα, χωρίς διακομιστή

Το DuckDB είναι μια αναλυτική βάση δεδομένων που ζει μέσα στην εφαρμογή σου και δουλεύει χωρίς ξεχωριστό διακομιστή. Μιλάει SQL, διαβάζει CSV, JSON και Parquet απευθείας, και σου δίνει γρήγορες απαντήσεις πάνω σε αρχεία χωρίς να στήσεις βαριά υποδομή.

DuckDB: SQL ανάλυση μέσα στο πρόγραμμα, χωρίς διακομιστή

Δύο λέξεις πρώτα

Αν έχεις ένα αρχείο γεμάτο γραμμές και θες να ρωτήσεις κάτι πάνω του χωρίς να στήσεις ολόκληρη βάση, το DuckDB είναι φτιαγμένο γι’ αυτό. Δεν είναι server που τον καλείς από μακριά. Είναι εργαλείο ανάλυσης που μπαίνει μέσα στην εφαρμογή σου και δουλεύει δίπλα στα δεδομένα.

Η βασική του ιδέα είναι απλή. Φορτώνεις τη βιβλιοθήκη και τρέχεις ερωτήματα εκεί που βρίσκονται τα δεδομένα. Δεν ανοίγεις ξεχωριστή υπηρεσία, δεν ρυθμίζεις δίκτυο και δεν προσθέτεις ένα ακόμη πράγμα που πρέπει να μείνει ζωντανό. Αυτό το «μέσα στο πρόγραμμα» είναι και η ουσία του. Παίρνεις SQL χωρίς το βάρος μιας πλήρους εγκατάστασης server.

Για τον αρχάριο, αυτό σημαίνει ότι μπορείς να ανοίξεις ένα CSV σαν να ήταν πίνακας. Για τον έμπειρο, σημαίνει ότι γράφεις κανονικό SQL για μέτρηση, φιλτράρισμα, ομαδοποίηση και joins χωρίς να αλλάζεις εργαλείο. Το DuckDB δεν προσποιείται ότι είναι όλα για όλους. Είναι πολύ καλό σε ένα πράγμα: αναλυτική δουλειά πάνω σε δεδομένα που ήδη έχεις.

Τι κάνει

Το DuckDB παίρνει μεγάλα σύνολα δεδομένων και τα αναλύει γρήγορα μέσα σε τοπική διεργασία. Η επίσημη σελίδα το περιγράφει ως αναλυτική SQL βάση δεδομένων που τρέχει in-process και διαβάζει κοινές μορφές δεδομένων τοπικά ή από αποθήκευση στο σύννεφο duckdb.org. Το αποθετήριο το λέει πιο ωμά: δεν χρειάζεται ξεχωριστό server και προσφέρει πλούσιο SQL με window functions και σύνθετους τύπους GitHub.

Για κάποιον που κρατά μετρήσεις σε CSV, η χρησιμότητα φαίνεται αμέσως. Αν έχεις χιλιάδες ή εκατοντάδες χιλιάδες γραμμές και θέλεις να βγάλεις σύνολα ανά ημέρα, ανά πελάτη ή ανά κατηγορία, δεν χρειάζεται να τις μεταφέρεις πρώτα σε άλλη βάση. Τις ανοίγεις και ρωτάς. Αυτό είναι πολύτιμο όταν η δουλειά σου δεν είναι η διαχείριση υποδομής αλλά η απάντηση. Ο άνθρωπος που μετρά clicks, συμβάντα, κόστη ή παραδόσεις θέλει να φτάσει γρήγορα σε αποτέλεσμα, όχι να περάσει από τρεις φάσεις εισαγωγής.

Για κάποιον που ψάχνει σε αρχεία καταγραφής, η αξία είναι διαφορετική αλλά το ίδιο πρακτική. Μπορείς να φορτώσεις ένα CSV ή ένα JSON log, να φιλτράρεις σφάλματα, να μετρήσεις ανά ώρα και να βρεις μοτίβα χωρίς να γράψεις ειδικό parser ή να στήσεις ELT pipeline μόνο και μόνο για μια ερώτηση. Το DuckDB ταιριάζει σε αυτή τη μικρή, επώδυνη ανάγκη: «έχω τα δεδομένα ήδη, δώσε μου απάντηση τώρα».

Για κάποιον που θέλει να ενώσει δύο αρχεία χωρίς να στήσει βάση, το κέρδος είναι ακόμη πιο καθαρό. Ένα αρχείο μπορεί να έχει πωλήσεις και ένα άλλο προϊόντα. Με ένα join παίρνεις το σύνολο, υπολογίζεις μέσο όρο, βρίσκεις αποκλίσεις και τελειώνεις. Δεν χρειάζεται να φτιάξεις μόνιμο σχήμα για δουλειά που είναι προσωρινή. Αυτό αρκεί για αναλύσεις μιας μέρας, για έλεγχο ποιότητας, για δοκιμές πριν περάσεις σε κάτι βαρύτερο.

Το DuckDB διαβάζει CSV, Parquet και JSON χωρίς να χρειάζεται πρώτα να τα φορτώσεις σε δικό του αποθηκευτικό χώρο GitHub. Αυτό αφαιρεί βήματα, χρόνο και διπλά αντίγραφα. Αν το αρχείο σου είναι ήδη σε Parquet, κερδίζεις περισσότερο, γιατί το Parquet είναι στηλο-προσανατολισμένο. Αυτό σημαίνει ότι τα δεδομένα δεν είναι αποθηκευμένα κυρίως γραμμή-γραμμή, αλλά στήλη-στήλη. Για αναλυτικά ερωτήματα αυτό είναι κρίσιμο. Αν ψάχνεις μόνο δύο στήλες σε έναν πίνακα με πολλές, το σύστημα δεν χρειάζεται να διαβάσει όλο το βάρος της γραμμής. Διαβάζει μόνο ό,τι χρειάζεται. Έτσι μειώνει I/O, κόβει χρόνο και συχνά πιέζει λιγότερο τη μνήμη DuckDB Parquet docs.

Το Parquet δεν είναι απλώς «μικρότερο αρχείο». Είναι μορφή που ταιριάζει στον τρόπο που σκέφτεται η ανάλυση. Αντί να βάζει μαζί όλα τα πεδία της ίδιας εγγραφής, τα κρατά οργανωμένα ανά στήλη. Αυτό βοηθά όταν κάνεις SUM, AVG, COUNT, φίλτρα και ομαδοποιήσεις πάνω σε λίγες στήλες από ένα πολύ μεγαλύτερο σύνολο. Γι’ αυτό και στο DuckDB συχνά βλέπεις πιο γρήγορη ανάγνωση από Parquet σε σχέση με CSV. Το CSV είναι βολικό για ανταλλαγή, αλλά το Parquet είναι πιο κοντά στην ιδέα της ανάλυσης DuckDB Parquet docs.

Το DuckDB έχει επίσης καθαρή συμπεριφορά στα λάθη. Όταν το ερώτημα σπάσει, δείχνει πού έγινε το πρόβλημα και βάζει τον δείκτη κοντά στο σημείο. Αυτό δεν είναι μικρό πράγμα. Σε ερωτήματα με πολλά joins και υποερωτήματα, ο χρόνος που κερδίζεις από ένα καθαρό μήνυμα είναι πραγματικός. Δεν ψάχνεις στα τυφλά για το λάθος.

Τι δεν κάνει

Το DuckDB δεν είναι κλασικός διακομιστής βάσης δεδομένων. Δεν είναι φτιαγμένο για να δέχεται μόνιμη δικτυακή κίνηση, πολλούς ταυτόχρονους συγγραφείς και βαριά παραγωγική λειτουργία σαν κεντρικό σύστημα μιας εφαρμογής. Η δική του θέση είναι η αναλυτική δουλειά μέσα στη διεργασία που το καλεί duckdb.org.

Δεν είναι επίσης η σωστή απάντηση όταν η εφαρμογή σου απαιτεί αυστηρή server αρχιτεκτονική, λεπτομερή διαχείριση ρόλων, συνεχείς εγγραφές από πολλούς πελάτες και επιχειρησιακό περιβάλλον που πρέπει να είναι πάντα διαθέσιμο. Μπορεί να συνδεθεί με άλλες βάσεις και να διαβάσει δεδομένα από PostgreSQL, MySQL ή SQLite GitHub, αλλά αυτό δεν το κάνει αυτόματα τον πυρήνα κάθε συστήματος. Είναι εργαλείο ανάλυσης και μετασχηματισμού, όχι καθολική λύση για κάθε βάση.

Δεν φτιάχνει μόνο του συστάδες, αντιγραφή ή αρχιτεκτονική υψηλής διαθεσιμότητας. Αν θέλεις υποδομή με τέτοια χαρακτηριστικά, χρειάζεσαι άλλο είδος βάσης και άλλο επίπεδο λειτουργίας. Το DuckDB είναι το γρήγορο εργαλείο που μπαίνει δίπλα στα δεδομένα και βγάζει απαντήσεις, όχι ο μηχανισμός που οργανώνει όλο το οικοσύστημα υπηρεσιών γύρω του.

Δεν είναι καλή επιλογή όταν το βασικό σου πρόβλημα είναι συνεχείς εγγραφές από πολλούς χρήστες σε πραγματικό χρόνο. Εκεί προέχει η αντοχή σε ταυτόχρονη γραφή και η δικτυακή λειτουργία, όχι η ταχύτητα της τοπικής ανάλυσης. Σε τέτοια σενάρια, κάποιος συνήθως κρατά το DuckDB για πειραματισμό, γρήγορο έλεγχο ή ενδιάμεση ανάλυση, και αφήνει την παραγωγή σε σύστημα που σχεδιάστηκε γι’ αυτό.

Τέλος, δεν εξαφανίζει τα φυσικά όρια. Αν τα δεδομένα γίνουν τεράστια, η μνήμη και ο δίσκος παραμένουν πραγματικοί περιορισμοί. Το DuckDB είναι αποδοτικό, αλλά δεν ακυρώνει τη φυσική. Χρήσιμο δεν σημαίνει μαγικό.

Η δοκιμή μας με τα χέρια

Στη δοκιμή μας, σε αρχείο 50.000 γραμμών, το CSV ήταν 934.185 bytes. Το φόρτωμα και το μέτρημα πήραν 0,12 δευτ. Το GROUP BY με άθροισμα πήρε 0,005 δευτ. Αυτό δείχνει τι σημαίνει στην πράξη η φράση αναλυτική βάση DuckDB docs.

Το ίδιο σύνολο δεδομένων σε Parquet βγήκε 152.706 bytes. Αυτό είναι περίπου έξι φορές μικρότερο από το CSV. Η ερώτηση πάνω στο Parquet χρειάστηκε 0,016 δευτ. Δεν είναι απλώς μικρότερο αρχείο. Είναι μορφή που ταιριάζει φυσικά με τον τρόπο που διαβάζει το DuckDB, επειδή και τα δύο δουλεύουν γύρω από τις στήλες DuckDB Parquet docs.

Στη δοκιμή μας, η συνεδρία χρησιμοποίησε περίπου 62 MB μνήμης. Αυτό έχει σημασία γιατί δείχνει ότι το εργαλείο μπορεί να δώσει γρήγορη ανάλυση χωρίς να ζητά βαρύ αποτύπωμα για τέτοιου μεγέθους δεδομένα. Η ταχύτητα είναι το πρώτο κέρδος. Η ελαφριά λειτουργία είναι το δεύτερο.

Τα σφάλματα ήταν καθαρά. Ένα συντακτικό λάθος έδωσε μήνυμα τύπου Parser Error: syntax error at or near "WHERE", με σαφή δείκτη κάτω από τη λέξη. Οι συναρτήσεις παραθύρου, όπως το rank() OVER, λειτούργησαν κανονικά. Αυτό δείχνει ότι μιλάμε για κανονική SQL και όχι για περιορισμένο υποσύνολο.

Χρήση από το κέλυφος

Αν θέλεις να το δοκιμάσεις χωρίς μεγάλο στήσιμο, ξεκινάς απλά. Η Python βιβλιοθήκη εγκαθίσταται με pip και μετά ανοίγεις σύνδεση μέσα στο πρόγραμμα. Δεν χρειάζεται να το αντιμετωπίσεις σαν διακομιστή. Είναι βιβλιοθήκη και κέλυφος μαζί.

pip install duckdb

Στη Python, μια ελάχιστη αρχή μοιάζει έτσι:

python -c "import duckdb; print(duckdb.connect().execute('select 42').fetchall())"

Από εκεί και πέρα, το μοτίβο μένει απλό. Φτιάχνεις σύνδεση, τρέχεις SQL και παίρνεις αποτέλεσμα. Αν θέλεις να διαβάσεις CSV, Parquet ή JSON, το κάνεις μέσα στο ίδιο ερώτημα ή με τα εργαλεία του DuckDB, χωρίς να μετατρέπεις πρώτα τα δεδομένα σου σε κάτι άλλο DuckDB docs.

Για τον άνθρωπο που δεν ξεχωρίζει ακόμη καθαρά βάση από αρχείο, η πιο χρήσιμη εικόνα είναι αυτή: το DuckDB είναι σαν να βάζεις έναν πολύ γρήγορο αναλυτή πάνω στο τραπέζι εργασίας σου. Δεν σου ζητά να μετακινήσεις τα πράγματα αλλού. Τα κοιτάζει εκεί που ήδη είναι.

Εγκατάσταση

Η εγκατάσταση είναι από τις πιο ήσυχες πλευρές του εργαλείου. Η τελευταία έκδοση στο PyPI είναι η 2.0.0 και υπάρχουν έτοιμα wheels για σύγχρονες εκδόσεις της Python PyPI. Το πακέτο περιγράφεται εκεί ως in-process database PyPI.

Αν θες τη μία γραμμή που θυμάται εύκολα ένας αρχάριος, είναι αυτή:

pip install duckdb

Αν θες τη λογική πίσω από τη γραμμή, είναι απλή. Δεν στήνεις υπηρεσία. Δεν ανοίγεις port. Δεν φτιάχνεις server config. Παίρνεις τη βιβλιοθήκη και δουλεύεις. Η επίσημη τεκμηρίωση για εγκατάσταση και clients βρίσκεται στο duckdb.org/docs DuckDB docs.

Πότε σου λύνει τα χέρια

Το DuckDB σε σώζει όταν έχεις δεδομένα σε αρχεία και θες γρήγορη απάντηση χωρίς να στήσεις ολόκληρη υποδομή. Είναι ιδανικό για διερευνητική ανάλυση, γρήγορες δοκιμές, τοπικά pipelines, notebooks και περιπτώσεις όπου η ταχύτητα του στησίματος μετρά όσο και η ταχύτητα του ερωτήματος DuckDB docs.

Είναι επίσης χρήσιμο όταν η μορφή των δεδομένων σου είναι ήδη αναλυτική. Το Parquet ταιριάζει φυσικά εδώ γιατί γράφει και διαβάζει στη στήλη και συχνά βγαίνει πιο μικρό και πιο φιλικό στην ανάλυση από το CSV DuckDB Parquet docs. Αν τα δεδομένα σου ζουν ήδη σε αυτή τη μορφή, το DuckDB μοιάζει με εργαλείο που μπαίνει στο φυσικό τους περιβάλλον.

Σου λύνει τα χέρια και όταν χρειάζεσαι γρήγορη σύνδεση ανάμεσα σε δύο απλά αρχεία. Ένα CSV με πωλήσεις και ένα CSV με πελάτες μπορούν να ενωθούν αμέσως. Ένα αρχείο με συμβάντα και ένα με περιγραφές μπορούν να γίνουν ένα σύνολο χωρίς να στήσεις βάση για κάτι προσωρινό. Αυτό είναι μικρό στην όψη, αλλά μεγάλο στην πράξη. Πολλά προβλήματα δεν χρειάζονται μόνιμη υποδομή. Χρειάζονται σωστό ερώτημα.

Χρήσιμο είναι επίσης όταν η εργασία σου είναι μια αλυσίδα από έλεγχο και επιβεβαίωση. Μπορείς να φέρεις δεδομένα, να τα καθαρίσεις, να τα συγκρίνεις και να τα βγάλεις σε αποτέλεσμα χωρίς να περάσεις από ξεχωριστό database server. Για ομάδα που κάνει γρήγορα audits ή για άνθρωπο που θέλει να δει αν κάτι στέκει πριν το στείλει παρακάτω, αυτό κόβει πολύ χρόνο.

Πότε να το αποφύγεις

Αν χτίζεις ζωντανή εφαρμογή με πολλούς ταυτόχρονους χρήστες που γράφουν συνεχώς, αυτό δεν είναι το πρώτο σου όπλο. Αν θες κλασική παραγωγική βάση με δικτυακή παρουσία, διαχείριση ρόλων, μόνιμες ρυθμίσεις server και βαριά επιχειρησιακή λειτουργία, το DuckDB δεν είναι φτιαγμένο για να μπει μόνο του εκεί και να κάνει τον ήρωα GitHub.

Δεν είναι επίσης η σωστή επιλογή όταν το σύστημά σου πρέπει να δέχεται συνεχή ροή εγγραφών από πολλούς πελάτες ταυτόχρονα. Σε τέτοια περίπτωση, ο στόχος δεν είναι η τοπική ταχύτητα αλλά η σταθερή εξυπηρέτηση και η πειθαρχία της υποδομής. Εκεί το DuckDB είναι καλύτερο ως βοηθητικό εργαλείο ανάλυσης, όχι ως κεντρικός αποδέκτης όλων των δεδομένων.

Δεν σε απαλλάσσει από το να σκέφτεσαι μέγεθος, μορφή και ροή. Αν τα δεδομένα μεγαλώνουν γρήγορα, αν οι ρυθμοί γράψιμου ανεβαίνουν ή αν χρειάζεσαι μακροχρόνια λειτουργία ως υπηρεσία, πρέπει να διαλέξεις κάτι που έχει χτιστεί γι’ αυτό. Το DuckDB είναι ακριβές εργαλείο. Δεν είναι απάντηση σε όλα.

Τι κρατάω

Αυτό που μένει από το DuckDB είναι η αίσθηση ότι ένα αναλυτικό εργαλείο μπορεί να σέβεται τον χρόνο σου. Δεν σε σπρώχνει σε ξεχωριστό server, δεν σε αναγκάζει να χτίσεις πολλές ενδιάμεσες κινήσεις και δεν κρύβει τη γλώσσα του. Αν ξέρεις SQL, ξεκινάς γρήγορα. Αν δεν ξέρεις, πάλι μπορείς να το δεις σαν καθαρό τρόπο να ρωτήσεις αρχεία χωρίς να τα μεταφέρεις αλλού πρώτα.

Και το πιο πρακτικό συμπέρασμα είναι αυτό. Το DuckDB δεν θέλει να γίνει η βάση για όλα. Θέλει να είναι η πιο σύντομη διαδρομή από το αρχείο στο συμπέρασμα. Για πολλή καθημερινή δουλειά, αυτό αρκεί και περισσεύει.

Τι κοστίζει

Σε tokens: μηδέν. Το DuckDB δεν είναι διακομιστής με εργαλεία που δηλώνονται σε ένα μοντέλο. Δεν υπάρχει σχήμα που φορτώνεται σε κάθε κουβέντα, άρα δεν υπάρχει φόρος πλαισίου. Αυτό είναι συμπέρασμα από τη ροή, όχι μέτρηση tokens: ό,τι του δίνεις είναι μια εντολή.

Σε χώρο: το πακέτο Python κατεβάζει 14,7 MB και θέλει Python 3.11 ή νεότερη. Δεν χρειάζεται ξεχωριστό περιβάλλον, ούτε διακομιστής, ούτε δεύτερη εγκατάσταση.

Σε μνήμη — δική μας μέτρηση: στη δοκιμή μας η συνεδρία, μαζί με τη διεργασία της Python, κράτησε περίπου 62 MB φορτώνοντας 50.000 γραμμές (CSV 934.185 bytes). Όσο μεγαλώνει το σύνολο, μεγαλώνει και το αποτύπωμα· το DuckDB είναι γρήγορο, αλλά δεν ακυρώνει τη μνήμη.

Σε χρήμα: μηδέν. Άδεια MIT, χωρίς κλειδί, χωρίς λογαριασμό, χωρίς συνδρομή. Ό,τι κάνεις τρέχει στο μηχάνημα που το τρέχεις.

Δικό μας ή ισχυρισμός κατασκευαστή: τα νούμερα χώρου, μνήμης και χρόνου είναι δικές μας μετρήσεις, σε αρχείο που φτιάξαμε. Το ότι είναι αναλυτική βάση in-process με άδεια MIT είναι ισχυρισμός του κατασκευαστή — και τον επαληθεύσαμε: η άδεια είναι όντως MIT και το πακέτο περιγράφεται όντως ως in-process.

Πηγές:
https://github.com/duckdb/duckdb
https://duckdb.org
https://duckdb.org/docs/2.0/data/parquet/overview.html
https://duckdb.org/docs/stable/
https://pypi.org/project/duckdb/

Εγκατάσταση

2 ΒΗΜΑΤΑ
  1. pip install duckdb
  2. python -c "import duckdb; print(duckdb.connect().execute('select 42').fetchall())"
DuckDB: SQL ανάλυση μέσα στο πρόγραμμα, χωρίς διακομιστή · ΑΠΟΤΕΛΕΣΜΑ
ΠΗΓΗ
github.com/duckdb/duckdb