Azure Data Factory Copy Activity timeout lè m ap transfere gwo kantite done

The problem

Mwen itilize Azure Data Factory pou transfere yon gwo tab ki soti nan SQL Server ale nan Azure SQL. Lè tab la gen kèk milyon liy, Copy Activity a pran twòp tan epi li fini pa bay timeout.

#1 Source: SQL Server Destination: Azure SQL Database Table: SalesTransactions Rows: 25,000,000

#2 Copy Activity: Status: Failed Duration: 2 hours

#3 Mesaj Erè ErrorCode=UserErrorOperationTimedOut The operation has timed out.

#4 Sa mwen eseye Mwen ogmante timeout la epi mwen aktive parallel copy.

#5 Rezilta mwen espere Mwen vle transfè a fini san timeout epi nan yon tan rezonab.

The solution

Rezime pwoblèm nan

Timeout sa a se yon pwoblèm klasik lè w ap kopye tab ki gen anpil milyon liy san yo pa pati (partition) ni gen degre paralelis ase pou finalize nan tan rezonab. Ogmante timeout la sèlman pa rezoud pwoblèm nan — li retade echèk la, li pa akselere transfè a.

Sa pou w eseye (bon pratik jeneralman rekòmande pou senaryo sa a)

1. Aktive Data Partitioning nan Source Nan Copy Activity, anba "Source", aktive "Enable partition option" (Dynamic Range oswa Physical Partitions of Table si SQL Server la sipòte l). Sa a pèmèt ADF li done a an paralèl pa chèn (chunks) olye l fè yon sèl gwo requête sekans.

2. Verifye/Ogmante DIU (Data Integration Units) Si w ap itilize Azure Integration Runtime, ogmante DIU count (pa egzanp 16-256) ka bay plis débit pou gwo volume done.

3. Configure "Degree of Copy Parallelism" Anplis "Enable Parallel Copy" ou di w deja aktive, verifye valè "Degree of copy parallelism" la pa rete sou "Auto" — eseye mete yon valè eksplisit (pa egzanp 4-32) selon kapasite source ak sink la.

4. Verifye Sink (Azure SQL Database) Configuration

• Sèvi ak PolyBase oswa Copy Command (Bulk API) kòm sink copy method si Azure SQL sipòte l — sa pi rapid pase ekri liy pa liy.
• Verifye tab destinasyon an pa gen twòp endèks/trigè ki ap ralanti insert yo pandan chaj la; konsidere dezaktive endèks yo epi rebuild yo apre chaj la.
• Verifye tier/DTU/vCore Azure SQL Database a — si li twò piti, li ka bloke débit la kèlkeswa jan ADF configuré.

5. Divize chaj la an batch/enkremantal Si posib, olye w fè yon sèl gwo kopi 25M liy, divize chaj la an batch (pa egzanp pa dat, pa ID range, oswa watermark) pou chak Copy Activity fè mwens travay epi diminye risk timeout.

Sa ki poko klè

Nou pa gen detay sou:

• Kalite Integration Runtime w ap itilize a (Azure IR oswa Self-hosted IR) — sa enpòtan paske Self-hosted IR ka limite pa resous machin lokal la.
• Sink write behavior configuration (Copy method) aktyèl la.
• Si w gen endèks/trigè sou tab destinasyon an.

Si w ka pataje configuration Copy Activity a (JSON definition) ansanm ak enfo sou IR w ap itilize a, sa ta ede idantifye egzakteman ki paramèt pou ajiste.