Longam Villam aux environs de 1130, Longa Villa Giffardi dès 1150, Longueville sur Scie s’est développée dans la vallée, enserrée entre le plateau de Sainte-Foy à l’est et le plateau couvrant la ville de Bacqueville-en-Caux à l’ouest. Cette localité prend son essor le long de la rivière la traversant de part en part ; la Giffarde, appellation que l’on retrouve dans une confirmation de fons de Gilbert de Falaise aux moines de Sainte-Foy, témoigne de l’empreinte de cette famille seigneuriale sur la destinée de cette bourgade aux cours du XI° et du XII° siècle.
Le premier représentant de cette lignée nous est rapporté par le chroniqueur de Guillaume le conquérant, Orderic Vital. Ce dernier nous indique qu’Osbern de Bolbec était l’aïeul des Giffard et donc situe dans la région de la basse-seine les origines de cette famille. En s’unissant avec Wéwie, sœur du duc Richard de Normandie, Osbern s’assure de sa protection ainsi que de son développement. Au cours de la troisième décennie du XI° siècle, ce dernier bénéficie, en plus, de la redistribution des terres du domaine ducal : Montivilliers devient le nouveau centre de l’honneur des Giffard.
Ouvert vers la Seine et la Manche, limitrophe du domaine ducal au nord et à l’est, l'honneur de Montivilliers devient la base d’un vaste réseau de clientèle propre aux Giffard avec des familles telles que les sires d’Epouville, du Bec, de Neuville, des Mallet ou de Graville. Gauthier Giffard I (1015-1084), fils d’Osbern et de Wéwie, prend part, dès son plus jeune âge, à la vie politique normande. Fidèle aux ducs de Normandie, Gauthier Giffard I apparaît dès 1046-1047 à la signature d’un acte approuvant la charte d’Hugues de la Ferté consentant à des dons à Saint-Ouen. Se succèdent, par la suite, au moins dix cachets de la prépondérance de ce seigneur dans la politique normande de 1047 à 1066. Rôle politique confirmé mais aussi rôle militaire ; dès 1052, Gauthier se voit confier par le duc Guillaume, la levée d’un siège face au château d’Arques tenu par Guillaume, seigneur des lieux, soutenu par le roi de France et autoproclamé « comte par la grâce du roi des cieux ». Son dévouement, sa fidélité politique et militaire vis-à-vis du pouvoir ducal fait de Gauthier Giffard I un précieux vassal. Son implication dans le siège du château d’Arques et sa victoire sur le seigneur du Talou en 1054 en fait le principal bénéficiaire du démembrement du comté. Longueville sera le nouveau siège de son honneur, délaissant l’honneur de Montivilliers à son frère Raoul.
Aux cotés du duc Guillaume à Hastings en 1066, Gauthier Giffard I se voit attribuer en 1071 le titre de comte de Buckingham et celui de seigneur de Longueville, légitimant ainsi ses possessions de la Scie. Par ses possessions, l’honneur des Giffard forment une zone tampon entre le domaine ducal de Fécamp et la partie orientale du duché.
Présent à coté de son père à Hastings, Gauthier Giffard II, participe à la mort du roi Harold aux cotés d’Eustache de Boulogne et d’Hugues de Ponthieu.
Suite au décès du duc en 1087, la guerre fratricide qui s’ouvre entre Guillaume le Roux, héritier du royaume d’Angleterre et Robert Courteheuse, duc de Normandie divise en deux l’aristocratie normande. Au fil des mois, le roi d’Angleterre, qui désire s’approprier les terres de son frère, convertit de plus en plus de barons et de seigneurs normands à sa cause, Gauthier Giffard II se rallie à sa cause en 1089-1090. Parti en Palestine, le duc Robert cède moyennant finance son duché, Guillaume le Roux s’assure ainsi la mainmise sur la Normandie. Le seigneur de Longueville, par sa loyauté, se voit notamment confié, en 1097, le commandement d’une partie des troupes du roi d’Angleterre dans le Vexin contre les troupes française.
La longévité et la puissance des Giffard, qui s’accumulent aux cours des décennies, est la résultante du politique habile où le seigneur de Longueville change aisément d’alliance. Ainsi, à la mort du roi d’Angleterre en 1100, Gauthier Giffard II, se rallie tout naturellement à Robert Courteheuse jusqu’à sa mort en 1102. Mort en Angleterre, Gauthier désire être inhumé dans l’église du prieuré de Sainte-Foy e Longueville qu’il avait érigé de son vivant, montrant ainsi son attachement à son honneur.
Gauthier Giffard III, encore adolescent à la mort de son père, sa mère, Agnès de Ribemont, s’occupe de l’honneur jusqu’à sa majorité. Plus en retrait que ses aïeuls, Gauthier Giffard III participe partiellement à la vie militaire du duché notamment à la bataille de Brémule aux cotés d’Henri Beauclerc. Cependant, ses brèves campagnes lui permettent de sauver Longueville. En, effet, par un acte d’octobre 1106 Henri I décide de détruire tous les châteaux construits illicitement ainsi que les châteaux partisans de son frère.
D’un caractère très pieux, ce dernier se révèle comme le bienfaiteur de Longueville et notamment du prieuré en léguant aux moines bénédictins toutes ses possessions de Neuville, du Puys ainsi que le bois du Héron. De plus, à l’initiative de sa femme, Hermengarde, Gauthier Giffard III établit une léproserie dans le hameau de Vaudreville, en aval de Longueville.
Fort du soutien du prieuré, le seigneur de Longueville leur confit la charge de la léproserie. Par sa piété, il unit la société au pouvoir, s’allie le soutien de tout un peuple qui voit en lieu le bienfaiteur. Réciproquement, les moines pérennisent le siège des Giffard par leur aura. La mort de Gauthier Giffard III en 1164 met fin à cette politique constructrice.
Répandu de la Seine jusqu’au-delà de la Scie et ayant sous leur juridiction d’importantes maisons normandes telles que les Hautot, les Cany ou encore les Varennes Mortemer, les Giffard comptabilisent 102 chevaliers en 1172. Cette possibilité de lever plus d’une centaine de chevaliers au service des Giffard démontre l’importance majeure de cette famille sur la partie septentrionale de la Seine faisant d’eux une des principales familles de Normandie au même titre que les comtes d‘Evreux ou des seigneurs de Tancarville. Cette rapide ascension donne à cette famille les moyens financiers et matériels d’établir dans leur cité le régime comparable à l’étendue de leur pouvoir. En désirant y installer les bases d’un bourg, ceux-ci désirent marquer de leur empreinte la genèse de cette ville.