Im Gegensatz zu einigen Ländern wie etwa der Schweiz, ist es in der Bundesrepublik zwar eine vertragliche Zusicherung, jedoch kein Bestandteil des Gesetzes, dass Banken die Pflicht zur Verschwiegenheit wahren müssen und das Recht der Auskunftsverweigerung gegenüber Dritten haben. In seinem Ursprung gilt das Bankgeheimnis als Verpflichtung der Banken, Verschwiegenheit über sämtliche Informationen zu wahren, die in Zusammenhang mit einer geschäftlichen Verbindung zwischen Kunden und Kreditinstitut bestehen. Es sind nur gesetzlich festgelegte Fälle, in denen Kreditinstitute auf Verlangen Auskunft gegenüber entsprechenden Institutionen erteilen müssen. Hauptsächlich wird die Regelung des Bankgeheimnisses in Deutschland aus den Allgemeinen Geschäftsverbindungen der Banken ersichtlich.
Demnach ist ein Kreditinstitut zur Verschwiegenheit bezüglich kundenbezogener Wertungen und Tatsachen erst einmal grundsätzlich verpflichtet. Allerdings darf die Bank dann Informationen über einen Kunden weitergeben, sollte dieser ausdrücklich hierfür die Einwilligung gegeben haben oder wenn gesetzliche Bestimmungen dies verlangen. Deutsche Kreditinstitute geben mittlerweile den Finanzbehörden neben der Höhe der angemeldeten Freibeträge für Kapitalerträge auch Auskunft darüber, inwieweit diese beansprucht wurden. Personen, die öffentliche Leistungen wie Arbeitslosengeld, Sozialhilfe oder BAföG beziehen, müssen damit rechnen, dass im Falle eines begründeten Verdachtes auf Missbrauch ihre Bank den staatlichen Instanzen Auskunft über ihre Vermögensverhältnisse, Einkünfte und Kontostände erteilen muss.
Innerhalb des deutschen Steuerrechts wird das Bankgeheimnis zum größten Teil jedoch respektiert, denn nach Lage des Gesetzes müssen die Finanzbehörden das zwischen Banken und Kunden bestehende Vertrauensverhältnis berücksichtigen. So dürfen zum Beispiel bei Außenprüfungen der Banken die Daten der Kunden nicht automatisch mit deren Angaben innerhalb ihrer Steuererklärung verglichen werden. Andererseits haben die Finanzbehörden allerdings auch ein Recht auf Auskunft. Durch eine neue Gesetzesregelung, die seit April 2005 Gültigkeit hat, wurde dieses Auskunftsrecht sowie die Befugnisse weiterer staatlicher Institutionen stark erweitert. Da das Bankgeheimnis mit dem Tod eines Kunden endet, unterliegen die Kreditinstitute der Verpflichtung, die zu diesem Zeitpunkt vorhandenen Guthaben sowie eventuell angemietete Schließfächer der Erbschaftssteuerstelle zu melden.