Uitdaging
Lime gebruikte een externe leverancier van ETL-pipelines om Stripe-gegevens naar Snowflake te exporteren. ETL staat voor 'extract, transform, load', oftewel extraheren, transformeren en laden. Het viel het bedrijf op dat de gegevens uit de ETL-pipeline niet altijd overeenkwamen met de gegevens van Stripe. Bij elke discrepantie moest een data-engineer op zoek gaan naar de oorzaak, wat voor elke inconsistente transactie al gauw twee uur in beslag nam. Omdat Lime werkte met een externe leverancier van ETL, kon het de hoofdoorzaak van deze discrepanties niet zelf oplossen. Het bedrijf besefte dat het een betrouwbaardere oplossing nodig had om Stripe-gegevens naar Snowflake te verzenden.
Oplossing
Lime koos ervoor om de overstap te maken naar Stripe Data Pipeline, waarmee automatisch de volledige Stripe-dataset naar de Snowflake Data Cloud wordt verzonden. Met de implementatie van Stripe Data Pipeline bespaarde het bedrijf weken aan engineering-werk omdat het geen API voor elke Stripe-dataset hoefde te bouwen en te onderhouden. Met deze kant-en-klare oplossing kreeg Lime direct toegang tot de actuele Stripe-gegevens in Snowflake.
Resultaten
Sinds de implementatie van Stripe Data Pipeline heeft Lime de financiële rapportages geautomatiseerd en versneld. Engineers hoeven niet meer naar gegevensverschillen te kijken omdat alle transactiegegevens overeenkomen met hun rapporten. Zo kan het team zich richten op productinitiatieven en de productsnelheid verhogen.
"De kwaliteit en actualiteit van de gegevens van Stripe Data Pipeline zijn een welkome verademing ten opzichte van de externe leveranciers van ETL-pipelines", aldus Nabil Barakati, Software Engineer bij Lime. "Gegevens die via Stripe Data Pipeline zijn geïmporteerd, komen altijd precies overeen met onze rapporten. Waar het via een ETL-pipeline drie dagen zou duren om transactiegegevens te verkrijgen, duurt het met Stripe Data Pipeline slechts één dag."
Lime profiteert ook van uitgebreidere bedrijfsrapporten met toegang tot de volledige Stripe-dataset. Het financiële team van Lime kan terugbetalingen nu vrijwel in realtime volgen, zodat het precies weet hoe de cashflow ervoor staat. Het fraudeteam van Lime maakt nu ook verbeterde fraudemodellen. Dit doen ze door fraudesignalen op basis van de risicoscores per transactie van Stripe samen te voegen met hun eigen fraudegegevens.
Stripe biedt de meest gedetailleerde transactiegegevens en geen enkele andere betaaldienstverlener kan tippen aan de kwaliteit van de gegevens. We zijn ontzettend blij dat we nu via ons datawarehouse rechtstreeks toegang hebben tot nauwkeurige en volledige Stripe-gegevens en niet meer hoeven te vertrouwen op een ETL-pipeline van een externe leverancier.
