Masalah Utama pada Parallel Computing

Jika 1 pekerjaan diselesaikan dalam waktu 20 menit oleh satu komputer maka 2 pekerjaan akan selesai dalam waktu 10 menit. dan seterusnya. Namun jika jumlah komputer diperbanyak justru menjadi tidak seindah itu. Hal ini disebabkan karena adanya waktu komunikasi antar komputer.
Jika saya dahulu kala mensimulasikan distribusi suhu pada plat 2 dimensi, plat tersebut dibagi menjadi 2 sama besar (plat A & B) dan dikerjakan oleh 2 komputer (CPU A & B). Untuk melakukan perhitungan si komputer A harus mendapat data dari komputer B karena ada bagian yang saling melengkapi. Nah, waktu komputasi ini yang yang membuat masalah ini tidak indah.